云容器集群节点内存高负载 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面,单击新建演练。 2. 在基本信息 页面,按提示填写演练名称和描述,然后单击下一步。 3. 在演练对象配置页面: 配置动作组 :为动作组 命名,资源类型选择云容器引擎节点。 添加实例 :单击添加实例 ,勾选上一步中添加的云容器引擎节点实例。 添加故障动作 :单击立即添加 ,在列表中选择内存高负载动作。 4. 在弹出的参数配置框中,配置所需参数,然后单击确定。 持续时间:故障动作持续时间。 内存占用率:目标占用率(取值 0100)。 注意 建议您将目标内存占用率设置在 95% 以下,为操作系统内核和 kubelet 等关键系统进程预留足够的内存。若内存被完全耗尽,可能导致节点无响应、探针失联甚至节点进入 NotReady 状态,从而需要强制重启节点才能恢复。 3、配置全局策略 1. 在全局配置 页面,按需添加保护策略 和监控指标。 2. 配置完成后,单击完成 按钮,创建演练任务。 4、发起故障注入 1. 发起演练 :在演练管理 列表找到对应演练任务,单击操作列的执行演练, 在新页面中点击发起新演练。 2. 进入实验 :系统将自动跳转到本次演练的运行详情 页,或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 :在动作组 中,找到内存高负载动作卡片,单击执行。 4. 查看日志 :单击动作卡片本身,在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间,您可以通过以下方式验证演练效果: 1、观测实例指标: 登录云容器引擎控制台,进入目标实例节点的监控指标页,观测内存使用率指标。 2、业务应用验证: 观察运行在目标节点上的业务 Pod 是否出现响应变慢、处理失败率升高等现象。 执行 kubectl get pod o wide 查看 Pod 状态,确认是否有 Pod 因 OOMKilled 而被重启。 如果为相关 Pod 配置了基于内存的 HPA 策略,观察是否触发了自动扩容。 验证您的业务监控告警系统是否成功捕获到节点资源异常或应用性能劣化,并触发了相应告警。
来自: