背景介绍
分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力,高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈,引发消息持久化延迟等问题,本演练可测试业务系统的响应与恢复能力。
基本原理
指定或随机一个Broker节点先通过dd命令将数据写入文件中,然后再通过循环读写文件占用磁盘带宽。
故障注入
1、纳管实例资源
导航至 故障演练 > 目标应用 > 应用资源 页面。
在资源类型页签中选择分布式消息服务Kafka,然后单击添加资源。
在弹出的对话框中,勾选目标分布式消息服务Kafka实例,单击确定。
2、编排演练任务
导航至 故障演练 > 目标应用 > 演练管理页面,单击新建演练。
在基本信息页面,按提示填写演练名称和描述,然后单击下一步。
在演练对象配置页面:
配置动作组:为动作组命名,资源类型选择分布式消息服务Kafka。
添加实例:单击添加实例,勾选上一步中添加的分布式消息服务Kafka实例。
添加故障动作:单击立即添加,在列表中选择Broker 磁盘IO高负载动作。
在弹出的参数配置框中,配置所需参数,然后单击确定。
持续时间:故障动作持续时间。
读负载:开启读压力模式,创建一个临时文件并对其进行持续的读取操作。
写负载:开启写压力模式,持续向一个临时文件写入数据。
块大小:控制单次读写操作的数据块大小,单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。
3、配置全局策略
在全局配置页面,按需添加保护策略和监控指标。
配置完成后,单击完成按钮,创建演练任务。
4、发起故障注入
发起演练:在演练管理列表找到对应演练任务,单击操作列的执行演练,在新页面中点击发起新演练。
进入实验:系统将自动跳转到本次演练的运行详情页,或在演练执行记录列表点击对应执行实例的详情进入。
注入故障:在动作组中,找到Broker 磁盘IO高负载动作卡片,单击执行。
查看日志:单击动作卡片本身,在右侧弹出的侧边栏中查看执行详情。
效果验证
在故障注入期间,您可以通过以下方式验证演练效果:
1、观测实例指标:
在演练运行详情页的监控指标页签,观测磁盘读/写速率指标。
登录分布式消息服务Kafka控制台,进入目标实例的监控指标页,观测磁盘读/写速率指标。
2、业务应用验证:
检查生产者和消费者应用的日志,确认是否存在因连接超时、请求处理缓慢或发送/拉取失败而产生的错误或警告。