ALM-38009 Broker磁盘IO繁忙 本章节主要介绍ALM38009 Broker磁盘IO繁忙的告警。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况,当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值(默认80%)时,产生该告警。 平滑次数为3,当该磁盘IO低于阈值(默认80%)时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。 处理步骤 检查Topic副本数配置 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”。 1. 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”,搜索发生告警的Topic,查看副本数量。 2. 如果副本数量值大于3,则考虑减少该Topic的复制因子(减少为3)。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划: kafkareassignpartitions.sh zookeeper {zkhost}:{port} /kafka reassignmentjsonfile {manual assignment json file path} execute 例如: /opt/Bigdata/client/Kafka/kafka/bin/kafkareassignpartitions.sh zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka reassignmentjsonfile expandclusterreassignment.json execute 说明 在expandclusterreassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为:{"partitions":[{"topic": " topicName ","partition":1,"replicas": [1,2,3] }],"version":1}。 3. 观察一段时间,看告警是否消失。如果告警没有消失,执行步骤5。