本章节主要介绍翼MapReduce运行kafka作业。 用户可将自己开发的程序提交到翼MR中，执行程序并获取结果。本章节教您在翼MR集群后台如何提交一个新的kafka作业。 通过后台提交作业 1. 登录翼MR管理控制台。 2. 选择“我的集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3. 在“节点管理”页选中单击Master节点，选择要进入的Master节点。 4. 单击该节点右侧的“远程连接”。 5. 根据界面提示，输入Master节点的用户名和密码，用户名、密码分别为root和创建集群时设置的密码。 6. 创建kafka的topic。 plaintext /usr/local/kafka/bin/kafkatopics.sh zookeeper :2181/kafka topic create 7. 当前集群默认开启Kerberos认证，执行以下命令添加认证信息。 plaintext export KAFKAOPTS"Djava.security.krb5.conf/etc/krb5.conf Djava.security.auth.login.config/usr/local/kafka/config/kafkajaas.conf" 8. 向topic中写入消息。 plaintext /usr/local/kafka/bin/kafkaconsoleproducer.sh brokerlist :9092 topic producer.config /usr/local/kafka/config/producer.properties 9. 消费topic中的消息。 plaintext /usr/local/kafka/bin/kafkaconsoleconsumer.sh bootstrapserver :9092 topic consumer.config /usr/local/kafka/config/consumer.properties frombeginning maxmessages 5 注意 frombeginning：只能消费未被消费的历史数据，已消费数据不会出现。 maxmessages：最多消费多少条数据。

功能特性 分布式消息服务RabbitMQ的功能特性主要体现在以下几个方面： 访问接口 支持通过API调用，提供交换器、队列增删查改等管控工作。管理控制台上进行的操作用于对交换器、队列、用户、策略等增删查改等管控工作。 队列能力 （1）优先级队列：相比低优先级的消息，要优先投递给消费者进行处理。 （2）延迟队列：延时消息，实现秒级精准定时；简单易用，在代码上只需一个参数设置即可完成，解决开源 RabbitMQ无延时队列的痛点。 （3）死信队列：支持被拒绝消息、TTL 过期消息、队列达到最大长度（消息队列 AMQP队列长度无上限）等 3 种类型消息自动进入死信队列的能力，确保消息不丢失。 消息能力 （1）广播消息：在同一个消费组内对所有消费者投递相同消息。 （2）事务消息：支持事务消息，可用于分布式应用。 （3）定时消息：支持消息延迟发送，解决开源 RabbitMQ 无延时队列的痛点。 安全防护 可追溯租户管理操作的记录。 起源于金融系统，支持权限控制和SSL协议。 运维监控 提供集群、交换器、队列的管理；集群、信道、连接、交换器、队列多维度指标监控。 更多信息请参见功能特性。 应用场景 分布式消息服务RabbitMQ适用于电子商务、金融服务、电信、物流和供应链管理、社交媒体、游戏开发、科学和研究领域等行业，通常用于业务的应用解耦、错峰流控与流量削峰、异步通信等场景。更多信息请参见应用场景。

本文为您介绍分布式消息服务MQTT的产品优势。 分布式消息服务MQTT（Message Queuing Telemetry Transport）是一种轻量级的、发布/订阅模式的消息传递协议，通常用于分布式消息服务和物联网（IoT）应用。以下是MQTT的一些优势： 轻量级协议： MQTT是一种非常轻量级的协议，适用于各种网络环境，包括低带宽、高延迟或不稳定的网络。这使得它非常适合在IoT设备之间传递消息，因为这些设备通常有限的资源和能源。 发布/订阅模式： MQTT采用发布/订阅模式，允许客户端订阅感兴趣的主题，以接收与这些主题相关的消息。这种模式具有灵活性，能够支持多对多的通信，而不需要直接点对点的连接。 异步通信： MQTT允许异步通信，客户端可以发布消息而不必等待接收方的响应。这有助于提高系统的响应速度和吞吐量。 保留消息： MQTT支持保留消息，这意味着最新的消息可以保留在主题中，以便新订阅者可以立即获取到最新数据，而不必等待下一个消息发布。 服务质量（QoS）： MQTT允许设置不同级别的服务质量，从不保证消息送达（QoS 0）到确保消息送达且不重复传递（QoS 2）。这使得可以根据应用的需求选择适当的传递质量。 可伸缩性： MQTT协议可以在大规模分布式系统中轻松扩展，支持成千上万的客户端同时连接到Broker，使其适用于大型IoT解决方案。 消息过滤： MQTT支持使用通配符来订阅主题，这允许客户端根据特定模式匹配多个主题，以接收相关消息。 支持遗愿消息： MQTT支持遗愿消息（Will Messages），允许客户端指定在异常断开连接时发送一条预定义消息。这对于检测设备在线状态非常有用。 跨平台和多语言支持： MQTT具有广泛的跨平台和多语言支持，因此可以在各种设备和编程语言上使用，使得它非常灵活。 安全性： MQTT可以与安全机制（如TLS/SSL）结合使用，确保消息在传输过程中的安全性和隐私。 总的来说，MQTT是一种高效、灵活和可靠的协议，特别适用于分布式消息传递和IoT应用，因此在物联网、远程监控、实时通信等领域得到广泛应用。它的轻量级特性和异步通信使得它成为连接数众多的设备的理想选择。

本节介绍取消Kafka消费组和Topic的订阅关系。 消费者订阅Topic消费消息后，在消费组详情页可以查看消费进度。如果消费者不再消费某个Topic，您可以取消消费组和此Topic的订阅关系，避免由于此Topic的消息堆积，导致的告警误报。 约束与限制 已创建的1.1.0版本的Kafka实例可能不支持取消订阅功能，您可以通过升级实例的内核版本来解决此问题。 取消消费组和Topic的订阅关系会删除消费组对该Topic的消费位点信息，删除后无法恢复，请谨慎操作。 取消Kafka消费组和Topic的订阅关系 1. 登录Kafka控制台。 2. 在管理控制台左上角单击，选择Kafka实例所在的区域。 3. 单击Kafka实例的名称，进入实例详情页面。 4. 在左侧导航栏选择“实例管理 > 消费组管理”，进入消费组列表页面。 5. 单击待取消订阅关系的消费组名称，进入消费组详情页。 6. 在“消费进度”页签中，勾选待取消订阅关系的Topic，每次最多勾选50个，单击信息栏左上侧的“取消订阅”。 7. 在“取消订阅”对话框中，单击“确定”。 取消订阅成功后，在“消费进度”页签，不再显示取消订阅的Topic。

此小节介绍数据库审计的产品术语。 Agent 本文中所述的Agent指的是审计代理插件，是安装在数据库系统或者业务系统上的插件，其功能是捕获访问数据库系统的数据包，并将数据包发送至数据库审计。 Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中所有动作流数据。这些数据通常由于吞吐量要求而通过处理日志和日志聚合来解决。 SNMP SNMP是简单网络管理协议（Simple Network Management Protocol）的简称，是标准IP网络管理协议，支持目前主流的网络管理系统。 SQL SQL是结构化查询语言（Structured Query Language）的简称，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。 Syslog Syslog是一种行业标准的协议，可用来记录设备的日志。Syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收Syslog的服务器。服务器可以对多个设备的Syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 数据库 数据库（Database）是用于存放数据的仓库，按照一定的数据结构（即数据的组织形式或数据之间的联系）来组织、存储，用户可以通过数据库提供的多种方法来管理数据库中的数据。 规则 本文中所述的规则是指根据一些特征（如客户端、服务端、SQL语句）定义的危险行为（安全规则）及可以信任的行为（过滤规则）。当系统审计到对数据库的操作匹配安全规则时会触发告警，对于匹配过滤规则的行为则不进行审计。

名词 说明 环境 用于隔离不同应用的逻辑单元。 应用 一组资源的逻辑集合，通常代表一个业务系统。应用是进行演练和管理的核心对象。 资源 构成应用的组件节点，例如云主机、容器、分布式缓存服务Redis版、分布式消息服务Kafka等实例。 演练 通过向应用的特定资源注入指定故障，并观察其影响，从而验证系统稳定性与韧性的过程。 动作 注入到目标资源上的一个原子性故障，例如“CPU高负载”或“网络延迟”。用户可以在一次演练中对多个动作进行自由组合和编排。 动作组 一个或多个动作的逻辑分组，通常代表一个完整的故障场景。在一个演练任务中，不同的动作组之间可以并行执行。 探针 安装在目标资源（如云主机）上，用于执行具体故障注入动作的代理程序（Agent）。 保护策略 一种自动化的安全机制，用于控制演练的“爆炸半径”。当触发预设条件时，系统会依据此策略自动中止演练并回滚故障。

名词 说明 环境 用于隔离不同应用的逻辑单元。 应用 一组资源的逻辑集合，通常代表一个业务系统。应用是进行演练和管理的核心对象。 资源 构成应用的组件节点，例如云主机、容器、分布式缓存服务Redis版、分布式消息服务Kafka等实例。 演练 通过向应用的特定资源注入指定故障，并观察其影响，从而验证系统稳定性与韧性的过程。 动作 注入到目标资源上的一个原子性故障，例如“CPU高负载”或“网络延迟”。用户可以在一次演练中对多个动作进行自由组合和编排。 动作组 一个或多个动作的逻辑分组，通常代表一个完整的故障场景。在一个演练任务中，不同的动作组之间可以并行执行。 探针 安装在目标资源（如云主机）上，用于执行具体故障注入动作的代理程序（Agent）。 保护策略 一种自动化的安全机制，用于控制演练的“爆炸半径”。当触发预设条件时，系统会依据此策略自动中止演练并回滚故障。

分布式系统异步通信场景 在单体或传统大型单机应用场景中，系统涉及模块众多，接口调用错综繁杂，业务流程耦合导致系统对用户请求响应慢，可以通过将拆分子系统，并用消息队列作为子系统间的异步通信通道进行系统解耦，提升整个系统的响应速度。 数据同步和交换场景 在大中型分布式系统中，各个子系统数据需最终保持一致，比如金融业务场景，需要有可靠消息传递，能保证业务的连续性。分布式消息队列可用于子系统间的高可靠数据传递，实现两者之间数据同步和交换，降低实现难度和成本，并提供数据通道帮助触发其他的业务流程。 削峰填谷场景 在电子商务系统或大型网站，比如大型电商场景，通常会涉及到订单、支付和通知等等场景的业务处理，系统上下游处理能力存在差异，当处理能力高的系统上游突发请求超过系统下游处理能力时，系统对外呈现的服务能力为0。此时可以通过队列服务堆积请求消息，对请求消息实现削峰填谷，错峰处理，避免下游因突发流量崩溃。

本文介绍天已支持翼云APP产品控制台的云产品。 天翼云支持在天翼云APP对云产品进行管理。 天翼云APP产品控制台支持的云产品 1、弹性云主机（一类节点） 2、天翼云电脑（政企版）（一类节点） 3、分布式消息服务Kafka（一类节点） 4、分布式缓存服务Redis版（一类节点） 5、云容器引擎（一类节点） 6、关系数据库MySQL版（一类节点 II 类型资源池） 7、媒体存储（通用） 8、对象存储（经典版）I型（一类节点） 9、备案（通用） 更多产品管理控制台正在接入中，敬请期待，如对产品控制台有任何建议，欢迎提交建议与反馈

本章节主要介绍翼MapReduce组件Kafka支持的协议类型。 Kafka目前支持4种协议类型的访问：PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL。 PLAINTEXT是最简单的协议，它以明文形式传输数据，不提供任何加密或身份验证机制。 SSL（Secure Sockets Layer） 是一种安全的协议，用于在客户端和服务器之间加密通信。通过使用 SSL，可以确保数据在传输过程中是加密的，从而提高了安全性。SSL协议通常需要在Kafka服务器上配置SSL证书以进行安全通信。 SASLPLAINTEXT （Simple Authentication and Security Layer with Plain Text）使用简单身份验证机制，通常用于在不使用加密的情况下进行用户身份验证，但是用户名和密码以明文形式传输。 SASLSSL （Simple Authentication and Security Layer with SSL）结合了 SSL 和 SASL，提供了更强大的安全性。它通过 SSL 加密通信，并使用 SASL 进行身份验证。这是Kafka中最安全的选项之一，适用于在不同网络环境中进行安全通信。 在Kafka中，选择适当的协议取决于集群的安全需求和网络环境。

本章节主要介绍ALM38009 Broker磁盘IO繁忙的告警。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况，当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值（默认80%）时，产生该告警。 平滑次数为3，当该磁盘IO低于阈值（默认80%）时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙，产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大，当前Partition的设置不合理。 处理步骤 检查Topic副本数配置 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看定位信息中上报告警的“主题名”。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”，搜索发生告警的Topic，查看副本数量。 2. 如果副本数量值大于3，则考虑减少该Topic的复制因子（减少为3）。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划： kafkareassignpartitions.sh zookeeper {zkhost}:{port} /kafka reassignmentjsonfile {manual assignment json file path} execute 例如： /opt/Bigdata/client/Kafka/kafka/bin/kafkareassignpartitions.sh zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka reassignmentjsonfile expandclusterreassignment.json execute 说明 在expandclusterreassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为：{"partitions":[{"topic": " topicName ","partition":1,"replicas": [1,2,3] }],"version":1}。 3. 观察一段时间，看告警是否消失。如果告警没有消失，执行步骤5。

本节介绍了分布式消息服务RabbitMQ产品常见应用场景。 行业应用 RabbitMQ在需要高效、可靠的消息传递和处理的任何行业都有广泛的应用，常见行业及其实际业务场景如下。 电子商务：RabbitMQ可用于处理订单和库存管理，处理支付通知及其它与物流相关的消息。 金融服务：RabbitMQ可以用于处理实时交易数据、通知和报价，并支持金融机构之间的异步通信。 电信：RabbitMQ可用于处理电话呼叫记录、短信和多媒体消息的分发等。 物流和供应链管理：RabbitMQ可以用于跟踪货物的位置和状态，以及协调供应链中各个环节的消息传递。 社交媒体：RabbitMQ可以用于实现实时消息推送、聊天和通知功能，以及处理用户生成内容。 游戏开发：RabbitMQ可用于处理游戏中的多人互动、玩家间的消息传递和协作。 科学和研究领域：RabbitMQ可以用于分布式计算、任务队列和数据流处理。 RabbitMQ通常用于业务的应用解耦、错峰流控与流量削峰和异步通信场景。 应用解耦 RabbitMQ可以将应用程序之间的耦合度降低，使得系统更加灵活和可扩展。以下是一些使用RabbitMQ实现应用解耦的举例： 订单和库存管理系统：假设有一个在线商店，订单系统负责接收和处理用户的订单，而库存管理系统则负责跟踪库存并更新库存状态。通过使用RabbitMQ，订单系统可以将订单信息发送到一个名为"orderqueue"的消息队列中，而库存管理系统则监听该队列，并在收到订单消息时进行库存更新。这样，订单系统和库存管理系统可以解耦，并且可以独立地进行扩展和维护。 日志处理系统：在一个大规模的分布式系统中，各个服务都会生成大量的日志信息。为了对这些日志进行集中管理和分析，可以使用RabbitMQ作为日志消息的中间代理。每个服务将其产生的日志消息发送到RabbitMQ的一个名为"logqueue"的消息队列中，然后日志处理系统从该队列中消费日志消息，并进行相应的处理和存储。这样，每个服务的日志处理可以独立进行，互不影响。 流量控制系统：在一个微服务架构中，可能会有多个服务实例同时运行，当某个服务实例过载时，传统的负载均衡器无法有效地控制流量分发。通过使用RabbitMQ，可以实现基于消息的流量控制。每个服务实例将其当前的负载情况发送到一个名为"loadqueue"的消息队列中，一个负载控制器订阅该队列，并根据各个服务实例的负载情况来动态调整流量分发。这样，流量控制仍然可以在应用层面进行解耦。

本文带您了解分布式消息服务RocketMQ的功能特性。 消息生产 消息压缩：将较大的消息进行压缩后发送到服务端，有效利用带宽。 延迟消息：设计消费时延，消息发送到服务端后，过了预设时间才可以被消费。 事务消息：根据预设的事务，事务消息可保证分布式系统之间的数据最终一致。 消息消费 有序消费：支持普通有序消息和严格有序消息两种方式。 集群消费：一个主题可被一个或多个消费者组消费，消费者组中消费者实例可平均分摊消费信息。 消费位置设置：支持设置消费组首次启动消费的位置，包括队列头、队列尾及由客户端指定。 消息回溯：支持按时间回溯消费进度，将订阅组在某主题上的消费进度重置到过去或者未来。 完善的运维能力 应用用户管理：集群租户隔离，应用接入集群权限管理。 主题管理：支持对实例下的主题进行管理，执行创建删除等操作。 订阅组管理：支持对实例下的订阅组进行管理。 生产者和消费者管理：用户可查看当前实例下的生产者和消费者信息，并实时更新。 消息查询：按消息ID、消息逻辑偏移量、消息key。 完善的运维功能，节点状态检测、启停；实例状态检测、启停；SLA监控等。 顺序消息 顺序消息是指消费消息的顺序要同发送消息的顺序一致，在RocketMQ中，主要有两种有序消息：全局有序消息和局部有序消息（又称普通有序消息、分区有序消息）。 普通有序消息：在正常情况下可以保证完全的顺序消息，但是一旦发生通信异常造成Broker重启，队列总数发生变化，哈希取模后定位的队列会变化，因此会产生短暂的消息顺序不一致。如果业务能容忍在集群异常情况（如某个Broker宕机或者重启）下消息短暂的乱序，使用普通顺序方式比较合适。 严格有序消息：无论正常异常情况都能保证顺序，但是牺牲了分布式Failover特性，即Broker集群中只要有一台机器不可用，则整个集群都不可用（或者影响hash 值对应队列的使用），服务可用性大大降低。如果服务器部署为同步双写模式，此缺陷可通过备机自动切换为主避免，不过仍然会存在几分钟的服务不可用。

RocketMQ触发器可以订阅分布式消息服务RocketMQ并根据消息触发关联的函数，借此能力，使得函数可以消费指定topic的消息，执行自定义处理逻辑。 注意事项 RocketMQ触发器订阅的分布式消息服务RocketMQ实例必须和函数计算的函数实例在相同地域。 前提条件 创建函数。 开通分布式消息服务RocketMQ实例（RocketMQ引擎类型），详情请参考开通RocketMQ实例。 创建Topic和GroupID。 创建用户，且默认Topic权限设置为：PUBSUB，默认消费组权限为SUB。详情请参考创建用户。 操作步骤 1. 登录函数计算控制台，点击目标函数，进入函数详情。 2. 选择详情下顶部的配置选项卡。 3. 在配置 选项卡中，选择左边的触发器选项卡。 4. 点击创建触发器 ，在弹出的右抽屉中选择RocketMQ触发器，配置参数解释如下。 配置项 操作 示例 触发器类型 选择RocketMQ触发器。 RocketMQ触发器 名称 填写自定义的触发器名称。 rocketmqtrigger 版本或别名 默认值为LATEST，支持选择任意函数版本或函数别名。 LATEST RocketMQ 实例 选择已创建的RocketMQ实例。 Topic 选择已创建的RocketMQ实例的Topic。 Group ID 选择已创建的RocketMQ实例的Group ID。 消费位点 选择消息的消费位点，即触发器从RocketMQ实例开始拉取消息的位置。取值说明如下。 最新位点 ：从最新位点开始消费。 最早位点 ：从最早位点开始消费。 指定时间戳：从指定时间戳开始消费。 最新位点 调用方式 选择函数调用方式。 同步调用 ：指触发器消费topic消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。 异步调用：指触发器消费topic消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 同步调用 用户ID RocketMQ实例用户ID，需要在RocketMQ控制台创建。 密钥 RocketMQ实例用户密钥，需要在RocketMQ控制台创建。 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 推送配置 批量推送条数：批量推送的最大值，积压值达到后立刻推送，取值范围为 [1, 10000]。 批量推送间隔：批量推送的最大时间间隔，达到后立刻推送，单位秒，取值[0,15]。默认0无需等待，数据直接推送。 推送格式：函数收到的事件格式，详情请查阅触发器事件消息格式。 重试策略 消息推送函数失败后重试的策略，共两种： 指数退避：指数退避重试，重试5次，重试周期为2，4，8，16，32（秒）。 线性退避：线性退避重试，重试5次，重试周期为1，2，3，4，5（秒）。 容错策略 当重试次数耗尽后仍然失败时的处理方式： 允许容错：当异常发生并超过重试策略配置时直接丢弃。 禁止容错：当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为：允许容错时，可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时，消息会被投递到指定的消息队列里，当前只支持投递到kafka和rocketmq

DLI数据源约束 使用CDM服务迁移数据到DLI时，当前用户需拥有OBS的读取权限。 Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务（DCS ）和Redis数据源约束 1. 由于分布式缓存服务（DCS）限制了获取所有Key的命令，CDM无法支持DCS作为源端，但可以作为迁移目的端，第三方云的Redis服务也无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 2. 仅支持Hash和String两种数据格式。 文档数据库服务（DDS ）和MongoDB数据源约束 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 云搜索服务和Elasticsearch数据源约束 1. CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 2. 索引下的字段类型创建后不能修改，只能创建新字段。如果一定要修改字段类型，需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建（数据也会删除）。 3. CDM自动创建的索引，字段类型为date时，要求数据格式为“yyyyMMdd HH:mm:ss.SSS Z”，即“20180808 08:08:08.888 +08:00”。迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求，可以通过CDM的表达式转换功能转换为上述格式。 Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。

配置处理任务 1. 在云搜索服务实例创建页面选择Logstash实例管理，选择已经加装的Logstash实例。 2. 选择“管道管理”，选择“新建管道”。 3. 在“管道配置”窗口中,配置相关的管道配置。 python input { kafka { autooffsetreset > "latest" bootstrapservers > "ip:port,ip:port,ip:port" consumerthreads > 88 groupid > "yourgroupid" topics > ["yourkafkatopic"] codec > json } } filter { } output { elasticsearch { hosts > ["ip:port"] index > "yourindexname%{+YYYY.MM.dd}" user > "yourusername" password > "yourpassword" } } input部分用于定义数据的来源，即Logstash从哪里获取数据。这里以Kafka为例： autooffsetreset：会决定从哪个位置开始消费消息 bootstrapservers：Kafka集群的地址 consumerthreads：控制 Kafka 消费者线程的数量 groupid：消费者组ID topics：Kafka的主题列表 codec：指定数据格式 filter部分可以进行消息处理、数据解析等操作。根据实际业务规则来处理。 output部分用于将处理后的数据推送到外部系统（如数据库、消息队列、搜索引擎等）。这里以Elasticsearch为例： hosts：指定Elasticsearch的地址。 index：指定存储到Elasticsearch的索引名称，可以使用日期变量%{+YYYY.MM.dd} 来动态生成基于日期的索引。 user/password：提供Elasticsearch用户名和密码 配置完点击“预校验”，预校验会使用Logstash的语法功能来检测基础的语法，不检测逻辑和连通性。 预校验通过后可以执行后续操作。 4. 在“参数配置”中,配置相关的参数。 参数 说明 管道名称 只能包含字母、数字、中划线或下划线，且必须以字母开头，限制430个字符，实例内唯一 管道描述 限制长度50 管道工作线程数 控制Logstash同时处理事件的线程数 管道批处理大小 单个线程从input部分收集的最大事件数 管道批处理延迟 不满足批处理大小最大等待时间 队列类型 memory模式、persisted模式 memory：内存队列 persisted：磁盘队列 队列最大字节数 persisted模式生效 队列最大存储大小 队列检查点写入数 persisted模式生效 队列检查点数量 5. 启动处理任务 配置完参数后点击“保存并部署”。就启动了读取Kafka中的数据转换后写入到Elasticsearch的管道任务。 等到管道“运行中”可以尝试配置的Kafka的topics中导入一些数据，例如使用Filebeat或其他程序。 可以通过Curl命令查看logstash中配置的索引名，在Elasticsearch实例是否有数据进来。 plaintext curl " 6. 停止任务 当任务执行结束后，可以在“管道管理”页面，点击“停止”，会执行停止管道操作。

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

产品优势 分布式消息服务MQTT具有协议丰富、安全可靠、低成本高性能、消息互通等优势，适用于大规模分布式系统中的消息传递和处理场景。 协议丰富： 兼容支持原生多种标准协议，如MQTT、MQTTSN、CoAP、LwM2M；兼容任何支持MQTT协议的 SDK覆盖绝大多数移动端开发平台及开发语言。 安全可靠： 数据安全，支持SSL加密通信，提供身份认证，数据传输更安全可靠。 低成本高性能： 稳定承载大规模终端设备连接，资源占用少；消息路由快速低延时，单集群支持百万规模的路由。 更多信息请参见产品优势。 应用场景 分布式消息服务MQTT可以用于许多应用场景，其灵活性和轻量级特性使其适用于各种需要实时消息传输和发布/订阅模型的应用，如物联网通信、远程监控及控制、传感器数据采集等。 物联网（IoT）通信 MQTT广泛用于连接和管理大规模的物联网设备。它允许传感器、嵌入式设备和其他物联网终端之间进行实时数据通信，以监测环境、收集数据和实现智能控制。 远程监控和控制 MQTT可用于远程监控和控制系统，如监控能源设备、工业自动化、智能家居系统等。它使操作员能够实时监测设备状态，同时可以通过发布命令来实现设备控制。 传感器数据采集 MQTT用于将传感器数据从分布式传感器网络传送到数据中心或云平台，以进行分析和处理。这对于监测环境、天气预报、农业数据收集等非常有用。 更多信息请参见应用场景。

支持多语言客户端 RabbitMQ是一款基于AMQP协议的开源服务，用于在分布式系统中存储转发消息，服务器端用Erlang语言（支持高并发、分布式以及健壮的容错能力等特点）编写，支持多种语言的客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP、AJAX等。

本文为您介绍分布式消息服务MQTT的产品功能。 消息模型 支持发布/订阅消息模型，提供一对多的消息分发方式。这意味着一个发布者（发布消息的客户端）可以将消息发送到一个或多个订阅者（订阅相同主题的客户端），而不需要建立直接的点对点连接。 以下是MQTT的发布/订阅消息模型的关键特点： 主题（Topic）： 发布者在发送消息时会将消息与一个主题相关联。主题是消息的分类或标识，它用于告诉Broker消息应该发送到哪些订阅者。订阅者可以选择订阅感兴趣的主题，以接收与这些主题相关的消息。 订阅（Subscribe）： 订阅者告诉MQTT Broker它对哪些主题感兴趣。一旦订阅者订阅了特定主题，Broker会将匹配的消息发送给订阅者。订阅者可以同时订阅多个主题。 发布（Publish）： 发布者将消息发送到特定主题，然后Broker负责将消息传递给所有订阅了该主题的订阅者。这样，消息可以广播给所有订阅者，实现了一对多的消息分发。 多对多通信： MQTT支持多对多通信，这意味着多个发布者可以同时发布消息到相同或不同的主题，多个订阅者可以同时订阅一个或多个主题。这种灵活性使MQTT适用于各种应用场景，包括物联网、实时通信和分布式系统。 通配符支持： MQTT还支持通配符订阅，订阅者可以使用通配符来匹配多个主题，从而接收与通配符模式匹配的消息。这提供了更高级别的消息过滤和选择性订阅。 总之，MQTT的发布/订阅消息模型使其成为一种非常灵活的消息传递协议，特别适用于需要一对多消息分发的应用，如物联网、实时监控、传感器数据采集等。它的轻量级特性和广泛的跨平台支持也使其成为了许多分布式系统和应用程序的首选通信协议之一。

本文主要介绍应用性能监控的各语言使用限制。 自研JAVA探针使用限制 类型 名称 版本 工具 JDK jdk8、jdk11、jdk17 通讯协议 httpclient apache httpclient2.0+、apache asynchttpclient1.9+ Java框架 spring 3.1.x～5.0.x Java框架 springboot 1.2.x~1.5.x、2.0.4～2.0.9 Java框架 Dubbo 2.7+ Java框架 gRPC 1.6+ 数据库 MySQL mysqlconnectorjava 5.1.X 数据库 Oracle ojdbc5、ojdbc6、ojdbc14 数据库 druid 1.0 数据库 c3p0 0.9.2+ 数据库 dbcp2 2.0+ 数据库 JDBC java8+ web服务器 Tomcat 7.0.x, 8.5.x, 9.0.x, 10.0.x 消息队列 RabbitMQ springrabbit1.0+、amqpclient 2.7+ 消息队列 Kafka kafkaproducer 0.11+、kakfaconsumer 0.11+、kafkastream 0.11+ NoSQL Redis jedis 1.4+，lettuce 4.0+ NoSQL Mongodb 3.1+ NoSQL ElasticSearch 5.0+ Rest Client Common HTTP java http client java11+、HttpURLConnection java8+ Go使用限制 Opentelemetry支持的框架列表 OpenTelemetry提供了若干半自动埋点插件，支持为常见的框架自动创建Span。

KafkaConsumer 总消费次数&总消费字节数 显示总消费次数和总消费字节数的趋势图。 总消费次数：这个指标表示消费者从Kafka中成功读取并处理的消息数量。它是一个计数器，用于跟踪消费者在其生命周期内接收到的消息总数。这对于监控消费者的工作负载和性能非常有用，可以帮助开发者了解消费者是否有效地从生产者那里获取了数据。 总消费字节数：这个指标表示消费者从Kafka中成功读取的数据总量，以字节为单位。它考虑了每条消息的大小，并累加起来给出一个总和。这对于评估网络带宽使用情况、存储需求以及数据传输效率等方面非常重要。例如，如果一个主题有20个分区和5个消费者，每个消费者需要至少4MB的可用内存来接收记录。因此，通过监控总消费字节数，可以更好地理解数据流的规模和处理速度。 这两个指标共同提供了对Kafka消费者行为的全面视图，使得开发者能够优化系统性能，确保数据处理的高效性和稳定性。 通过消息队列接收消息 显示topic列表，表头如下。 topic：是指消息队列中接收到的特定主题（topic）的消息。主题用于将相关的消息进行归类和分组。 调用次数：是指在一段时间内，通过消息队列接收消息的总调用次数。每次调用消息队列的接收操作（例如KafkaConsumer的poll()方法）并成功获取一条消息都会被计算为一次调用。 平均响应时间(ms)：是指从发起接收请求到接收到消息的平均时间。它表示了接收消息的速度和效率。 错误数：表示在接收消息的过程中发生的错误次数。这些错误可能包括接收消息失败、网络连接问题或其他异常情况。 最慢调用(ms)：是指在一段时间内，接收消息过程中最耗时的一次调用的时间。它反映了接收消息中的性能瓶颈或延迟情况。 操作：点击详情，出现弹层显示调用次数、平均响应时间(ms)、错误数在筛选时间段内的趋势图。 这些指标共同构成了对消息队列系统性能和可靠性的全面评估，有助于管理员和开发者优化系统配置，提高系统的稳定性和效率。

本节介绍kafka实例连接数限制 基准带宽为100MB/s时，Kafka客户端连接数在3000以内。 基准带宽为300MB/s时，Kafka客户端连接数在10000以内。 基准带宽为600MB/s时，Kafka客户端连接数在20000以内。 基准带宽为1200MB/s时，Kafka客户端连接数在20000以内。 实例规格为s7.xlarge.4（通用型4u16g）时，单个代理客户端总连接数上限为1000。 实例规格为s7.2xlarge.4 （通用型8u32g）时，单个代理客户端总连接数上限为2000。 实例规格为s7.4xlarge.4 （通用型16u64g）时，单个代理客户端总连接数上限为4500。 实例规格为c7.xlarge.2（计算增强型4u8g）时，单个代理客户端总连接数上限为4500。 实例规格为c7.2xlarge.2（计算增强型8u16g）时，单个代理客户端总连接数上限为6000。 实例规格为c7.4xlarge.2（计算增强型16u32g）时，单个代理客户端总连接数上限为10000。

Kafka常用端口 版本：2.8.1 配置参数 默认参数 当前配置端口 端口说明 com.sun.management.jmxremote.port 8096 kafka broker jmx 端口 zookeeper.connect 2181 2181 连接zk client端口 listeners(SASLPLAINTEXT) 9092 9092 kafka SASLPLAINTEXT 端口 listeners(PLAINTEXT) 9091 9091 kafka PLAINTEXT 端口 Spark常用端口 版本：3.2.2 配置参数 默认参数 当前配置端口 端口说明 spark.yarn.historyServer.address 18081 spark history webUI端口 spark.shuffle.service.port 7337 7337 spark shuffle 端口 spark.ui.port 4040 4040 应用 dashboard UI端口 ZooKeeper常用端口 版本：3.7.1 配置参数 默认参数 当前配置端口 端口说明 admin.serverPort 8080 8080 zk admin 服务端口 clientPort 2181 2181 连接zk client端口 com.sun.management.jmxremote.port 2182 2182 zk jmx 端口 server.x 2888:3888;2181 2888:3888;2181 zk 服务端口、选举leader端口，client端口。 Kerberos常用端口 配置参数 默认端口 当前配置端口 端口说明 kdcports 88 88 kdc 端口 ipropport 744 744 iprop 端口 kpasswd 464 464 kpasswd 端口 adminserver 749 749 kerberos admin server 端口

功能 功能描述 HTTP触发器 给函数配置HTTP触发器，函数响应HTTP请求事件，执行指定的逻辑。 定时触发器 给函数配置定时器触发器，函数可以根据定时器配置周期性执行业务逻辑。 Kafka触发器 给函数配置Kafka触发器，函数可以监听Kafka消息来执行业务逻辑。 RocketMQ触发器 给函数配置RocketMQ触发器，函数可以监听RocketMQ消息来执行业务逻辑。 日志触发器 给函数配置日志触发器，函数可以根据日志的写入来执行业务逻辑。 对象存储触发器 给函数配置对象存储触发器，函数可以监听对象存储的创建、删除、更新等事件来执行业务逻辑。 云原生网关触发器 给函数配置云原生网关触发器，函数可以监听网关的事件来执行业务逻辑。

视频 天翼云媒体存储服务等级协议 容器与企业中间件 云容器引擎服务等级协议 微服务云应用平台服务等级协议 分布式消息服务RabbitMQ服务等级协议 分布式消息服务RocketMQ服务等级协议 分布式消息服务Kafka服务等级协议 天翼云软件开发生产线CodeArts服务等级协议 天翼云应用性能监控APM服务等级协议 天翼云容器安全卫士服务等级协议 天翼云应用服务网格服务等级协议 天翼云微服务引擎服务等级协议 天翼云容器镜像服务等级协议 天翼云函数计算服务等级协议 安全 Web应用防火墙（边缘云版）服务等级协议 天翼云高防（边缘云版）服务等级协议 天翼云网站安全监测服务等级协议 天翼云爬虫管理平台服务等级协议 天翼云容器安全平台服务等级协议 天翼云托管检测与响应服务（原生版）服务等级协议 天翼云密评专区服务等级协议 天翼云日志审计服务等级协议 天翼云证书管理服务等级协议 天翼云云堡垒机服务等级协议 天翼云密钥管理服务等级协议 天翼云云安全中心服务等级协议 天翼云Web应用防火墙（原生版）服务等级协议 天翼云云防火墙（原生版）服务等级协议 天翼云Web应用防火墙（独享版）服务等级协议 天翼云漏洞扫描（专业版）服务等级协议 天翼云企业主机安全服务等级协议 天翼云态势感知（专业版）服务等级协议 天翼云云防火墙服务等级协议 天翼云运维安全中心（云堡垒机）服务等级协议

本节介绍Kafka不推荐使用Sarama Go客户端收发消息 问题现象 所有Sarama Go版本客户端存在以下已知问题： 当Topic新增分区时，Sarama Go客户端无法感知并消费新增分区，需要客户端重启后，才能消费到新增分区。 当Sarama Go客户端同时订阅两个以上的Topic时，有可能会导致部分分区无法正常消费消息。 当Sarama Go客户端的消费位点重置策略设置为Oldest(earliest)时，如果客户端宕机或服务端版本升级，由于Sarama Go客户端自行实现OutOfRange机制，有可能会导致客户端从最小位点开始重新消费所有消息。 解决方案 建议尽早将Sarama Go客户端替换为Confluent Go客户端。

本节介绍Kafka业务过载最佳实践 方案概述 Kafka业务过载，一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时，系统的运行速度会降低，并有加速硬件损坏的风险。 当磁盘写满时，相应磁盘上的Kafka日志目录会出现offline问题。此时，该磁盘上的分区副本不可读写，降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点，会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数（num.io.threads、num.network.threads、num.replica.fetchers）过多，导致CPU繁忙。 分区设置不合理，所有的生产和消费都集中在某个节点上，导致CPU利用率高。 磁盘写满的原因 业务数据增长较快，已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡，生产的消息集中在某个分区，导致分区所在的磁盘写满。 Topic的数据老化时间设置过大，保存了过多的历史数据，容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施： 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数，但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区，分区一般设置为节点个数的倍数。 生产消息时，给消息Key加随机后缀，使消息均衡分布到不同分区上。 磁盘写满的处理措施： 扩容磁盘，使磁盘具备更大的存储空间。 迁移分区，将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间，减少历史数据的容量大小。 在CPU资源情况可控的情况下，使用压缩算法对数据进行压缩。 常用的压缩算法包括：ZIP，GZIP，SNAPPY，LZ4等。选择压缩算法时，需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法，压缩耗时也越高。对于性能要求高的系统，可以选择压缩速度快的算法，比如LZ4；对于需要更高压缩比的系统，可以选择压缩率高的算法，比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。 Properties props new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 开启GZIP压缩 props.put("compression.type", "gzip"); Producer producer new KafkaProducer<>(props);

本章节主要介绍节点参考的Kafka Client。 功能 通过Kafka Client向Kafka的Topic中发送数据。 参数 用户可参考下表配置Kafka Client节点的参数。 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择需要上传数据的Topic，如果有多个partition，默认发送到partition 0。 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 发送数据 是 发送到Kafka的文本内容。可以直接输入文本或单击使用EL表达式编辑。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

分布式消息服务Kafka实例回收站可展示到期、已退订的实例，您可以在回收站对这些实例执行恢复、彻底销毁等操作。 说明 回收站功能目前为白名单特性，如需要使用该特性，请联系技术支持开通后使用。 注意事项 根据付费方式的不同，当实例到期或欠费后，各时间节点对应的影响有所不同。更多信息，请参见续费、到期与欠费。 一旦实例到达被彻底销毁的时间点或者执行销毁实例操作后，实例中的数据将被彻底销毁且无法找回。 操作步骤 1. 登录管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在左侧菜单导航栏，单击【回收站】。 4. 在回收站的实例列表中，根据业务需求执行目标实例操作列中对应的操作： 操作 说明 恢复 跳转到恢复实例页面，用户续订后，完整恢复退订前所有数据，按所选续订时长从恢复时间起自动顺延实例到期时间。 销毁 彻底删除实例及其数据备份。 ⚠️注意：执行该操作后，实例的数据将被彻底删除且无法找回，请谨慎操作。

字段名 类型 参数说明 例子 messaging.system string 消息系统 kafka messaging.destination string 消息目的 myTopic messaging.operation string 消息操作 publish

操作步骤 磁盘自动扩容 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”按钮。 4. 点击“智能运维”、“弹性伸缩”菜单进入磁盘水位处理页面。 5. 在磁盘水位处理页面开启磁盘自动扩容。 6. 点击“配置”按钮，可调整配置参数。 动态策略：当磁盘使用量达到指定比例后，系统自动扩容磁盘指定比例的容量，单节点最低扩容100GB。 最高磁盘：实例磁盘总容量扩容到指定值后不再扩容。 7. 点击“确定”按钮保存配置。 8. 点击调整记录列的“查看”按钮跳转至任务列表查看磁盘自动扩容调整记录。 动态消息保留策略 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”按钮。 4. 点击“智能运维”、“弹性伸缩”菜单进入磁盘水位处理页面。 5. 在磁盘水位处理页面开启动态消息保留策略。 6. 点击“配置”按钮，可调整配置参数。 动态策略：当磁盘使用量达到指定比例后，系统自动调整主题的消息保留时长，删除指定比例的最早消息数据。 保底时长：主题消息的最低保留时长，当某个主题的保留时长调整到该值后，该主题不会再被调整。 7. 点击“确定”按钮保存配置。 8. 点击调整记录列的“查看”按钮跳转至任务列表查看动态消息保留记录。