背景介绍

分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。

基本原理

指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。

故障注入

1、纳管实例资源

1. 导航至 故障演练 > 目标应用 > 应用资源 页面。

2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。

3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。

2、编排演练任务

1. 导航至 故障演练 > 目标应用 > 演练管理页面，单击新建演练。

2. 在基本信息页面，按提示填写演练名称和描述，然后单击下一步。

3. 在演练对象配置页面：

   • 配置动作组：为动作组命名，资源类型选择分布式消息服务Kafka。

   • 添加实例：单击添加实例，勾选上一步中添加的分布式消息服务Kafka实例。

   • 添加故障动作：单击立即添加，在列表中选择Broker CPU高负载动作。

4. 在弹出的参数配置框中，配置所需参数，然后单击确定。

   • 持续时间：故障动作持续时间。

   • CPU占用率：指定 CPU 负载百分比，取值在0 - 100之间

3、配置全局策略

1. 在全局配置页面，按需添加保护策略和监控指标。

2. 配置完成后，单击完成按钮，创建演练任务。

4、发起故障注入

1. 发起演练：在演练管理列表找到对应演练任务，单击操作列的执行演练，在新页面中点击发起新演练。

2. 进入实验：系统将自动跳转到本次演练的运行详情页，或在演练执行记录列表点击对应执行实例的详情进入。

3. 注入故障：在动作组中，找到Broker CPU高负载动作卡片，单击执行。

4. 查看日志：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。

效果验证

在故障注入期间，您可以通过以下方式验证演练效果：

1、观测实例指标：

• 在演练运行详情页的监控指标页签，观测CPU使用率指标。

• 登录分布式消息服务Kafka控制台，进入目标实例的监控指标页，观测CPU使用率指标。

2、业务应用验证：

• 检查生产者和消费者应用的日志，确认是否存在因连接超时、请求处理缓慢或发送/拉取失败而产生的错误或警告。