背景介绍

在云原生环境中，Pod 依赖持久卷（如云盘、PVC、emptyDir）存储日志、缓存和业务数据。磁盘空间耗尽常由日志无限增长、缓存未清理或异常写入引起，一旦发生，可能导致文件写入失败、配置无法更新、数据库无法落盘、服务崩溃或系统重启。通过模拟磁盘耗尽演练，可提升对资源耗尽问题的预警、防护和恢复能力，增强业务系统弹性。

基本原理

通过dd命令将数据写入文件。

故障注入

1、纳管实例资源

1. 导航至 故障演练 > 目标应用 > 应用资源 页面。

2. 在资源类型页签中选择云容器引擎，然后单击添加资源。

3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。

4. 在应用资源页面的云容器引擎列表中，找到您的目标集群，单击其操作列的pod列表。

5. 在弹出的对话框中，单击添加pod。

6. 勾选您希望进行故障演练的一个或多个pod，然后单击确定。

2、编排演练任务

1. 导航至 故障演练 > 目标应用 > 演练管理页面，单击新建演练。

2. 在基本信息页面，按提示填写演练名称和描述，然后单击下一步。

3. 在演练对象配置页面：

   • 配置动作组：为动作组命名，资源类型选择云容器引擎Pod。

   • 添加实例：单击添加实例，勾选上一步中添加的云容器引擎Pod实例。

   • 添加故障动作：单击立即添加，在列表中选择磁盘填充动作。

4. 在弹出的参数配置框中，配置所需参数，然后单击确定。

   • 持续时间：故障动作持续时间。

   • 文件大小(MB)：填充的文件大小，取值是整数，例如1024。

   • 磁盘使用率：目标占用率，例如50代表50%的使用率。

   • 保留大小(MB)：保留的磁盘大小，如果文件大小、磁盘使用率、保留大小参数都存在，优先级是磁盘使用率>保留大小>文件大小。

   • 容器选择模式：选择攻击pod中容器，可以“按资源定义的首个容器”，也可以“指定容器名称”，当选择指定容器名称时，需要输入容器的名称。

   • 容器名称：填写攻击目标的容器名称

3、配置全局策略

1. 在全局配置页面，按需添加保护策略和监控指标。

2. 配置完成后，单击完成按钮，创建演练任务。

4、发起故障注入

1. 发起演练：在演练管理列表找到对应演练任务，单击操作列的执行演练，在新页面中点击发起新演练。

2. 进入实验：系统将自动跳转到本次演练的运行详情页，或在演练执行记录列表点击对应执行实例的详情进入。

3. 注入故障：在动作组中，找到磁盘填充动作卡片，单击执行。

4. 查看日志：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。

效果验证

在故障注入期间，您可以通过以下方式验证演练效果：

1、观测实例指标：

• 登录云容器引擎控制台，进入目标实例节点的监控指标页，观测磁盘使用率指标。

2、业务应用验证：

• 检查运行在目标节点上的业务 Pod 的日志，确认是否存在因“设备上没有剩余空间”而导致的错误。

• 测试依赖磁盘写入的功能（如日志记录、文件上传、数据持久化到 emptyDir 卷等），确认其是否按预期失败或触发了正确的降级逻辑。