背景介绍

高性能高可靠的分布式消息服务 Kafka 在复杂分布式环境中仍可能因 Broker 节点宕机引发数据丢失、集群可用性下降、请求延迟升高、副本同步滞后等严重问题，本演练可测试业务系统应对此类核心组件故障的响应能力、高可用切换机制及数据一致性保障效果。

基本原理

指定或随机一个Broker节点进行关机。

故障注入

1、纳管实例资源

1. 导航至 故障演练 > 目标应用 > 应用资源 页面。

2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。

3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。

2、编排演练任务

1. 导航至 故障演练 > 目标应用 > 演练管理页面，单击新建演练。

2. 在基本信息页面，按提示填写演练名称和描述，然后单击下一步。

3. 在演练对象配置页面：

   • 配置动作组：为动作组命名，资源类型选择分布式消息服务Kafka。

   • 添加实例：单击添加实例，勾选上一步中添加的分布式消息服务Kafka实例。

   • 添加故障动作：单击立即添加，在列表中选择Broker宕机动作。

4. 在弹出的参数配置框中，配置所需参数，然后单击确定。

   • 持续时间：故障动作持续时间。

   • 故障节点：可选择随机一个节点或者特定的节点。

3、配置全局策略

1. 在全局配置页面，按需添加保护策略和监控指标。

2. 配置完成后，单击完成按钮，创建演练任务。

4、发起故障注入

1. 发起演练：在演练管理列表找到对应演练任务，单击操作列的执行演练，在新页面中点击发起新演练。

2. 进入实验：系统将自动跳转到本次演练的运行详情页，或在演练执行记录列表点击对应执行实例的详情进入。

3. 注入故障：在动作组中，找到Broker宕机动作卡片，单击执行。

4. 查看日志：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。

效果验证

在故障注入期间，您可以通过以下方式验证演练效果：

1、观测实例指标：

• 在演练运行详情页的监控指标页签，观测存活节点数、 节点存活状态指标。

2、业务应用验证：

• 检查您的生产者和消费者应用的日志，确认是否存在因连接被拒绝、找不到领导者（No Leader available）、请求超时等原因导致的错误。

• 确认您的业务监控系统是否成功捕获到 Kafka 集群异常或客户端错误，并触发了相应的告警。

• 验证您的客户端重试和故障转移逻辑是否按预期工作。