背景介绍

云容器引擎（CCE）Master节点是集群控制核心，负责容器调度、资源管理等关键职责，硬件故障、系统异常、软件故障及网络中断等均可能导致其异常。Master节点宕机可能会造成集群调度失效、管控异常，波及上层业务，本演练可测试系统应对与恢复能力，提升集群及业务高可用性。

基本原理

通过关闭云容器引擎Master节点主机，模拟Master节点宕机（支持托管版本和智算版）。

故障注入

1、纳管实例资源

1. 导航至 故障演练 > 目标应用 > 应用资源 页面。

2. 在资源类型页签中选择云容器引擎，然后单击添加资源。

3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。

2、编排演练任务

1. 导航至 故障演练 > 目标应用 > 演练管理页面，单击新建演练。

2. 在基本信息页面，按提示填写演练名称和描述，然后单击下一步。

3. 在演练对象配置页面：

   • 配置动作组：为动作组命名，资源类型选择云容器引擎。

   • 添加实例：单击添加实例，勾选上一步中添加的云容器引擎实例。

   • 添加故障动作：单击立即添加，在列表中选择托管Master节点宕机动作。

4. 在弹出的参数配置框中，配置所需参数，然后单击确定。

   • 持续时间：故障动作持续时间。

   • Master节点：故障动作的目标节点。

3、配置全局策略

1. 在全局配置页面，按需添加保护策略和监控指标。

2. 配置完成后，单击完成按钮，创建演练任务。

4、发起故障注入

1. 发起演练：在演练管理列表找到对应演练任务，单击操作列的执行演练，在新页面中点击发起新演练。

2. 进入实验：系统将自动跳转到本次演练的运行详情页，或在演练执行记录列表点击对应执行实例的详情进入。

3. 注入故障：在动作组中，找到托管Master节点宕机动作卡片，单击执行。

4. 查看日志：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。

效果验证

在故障注入期间，您可以通过以下方式验证演练效果：

1、观测实例指标：

• 登录云容器引擎控制台，进入目标实例节点的监控指标页，观测相关监控指标。

2、业务应用验证：

• 观察集群已运行的业务 Pod 是否保持稳定（Master 宕机不直接影响已调度运行的 Pod）。

• 验证集群调度、Pod 创建 / 删除 / 扩缩容等管控操作是否失效。