场景描述 在某些情况下，您可能需要将Kafka开启公网访问。以下是一些可能的场景描述： 跨地域数据传输：如果您有多个位于不同地理位置的数据中心或云服务提供商，您可能希望在它们之间传输数据。通过将Kafka开启公网访问，您可以轻松地在不同地区之间进行数据传输。 跨组织数据共享：如果您需要与其他组织或合作伙伴共享数据，而且这些组织不在同一个网络环境中，您可以将Kafka开启公网访问，以便安全地共享数据。 远程访问和监控：有时候，您可能需要从外部网络访问和监控Kafka集群。通过配置Kafka开启公网访问，您可以远程连接到Kafka集群，监控其运行状态，并执行必要的管理操作。 请注意，在设置Kafka开启公网访问时，确保采取适当的安全措施，比如使用安全组或者用户权限来限制访问权限，以保护Kafka集群的安全性。 约束与限制 开启公网访问功能只支持绑定IPv4弹性IP地址，不支持绑定IPv6弹性IP地址。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“实例详情”后找到如下接入点信息模块。 （5）点击右上角“添加路由策略”按钮，选择“公网接入”方式。 （6）需要为每个节点设置对应的弹性IP地址，点击其右侧的“绑定”按钮，在弹窗中选择某个弹性IP绑定。如果没有足够数量的弹性IP地址，可参考申请弹性IP购买弹性IP地址。 （7）点击刷新按钮查看弹性IP绑定状态，待所有节点都绑定弹性IP后点击“确定”按钮下发开启公网后台任务。 （8）当实例状态重新变为“运行中”后，表示开启公网访问成功。 （9）开启公网访问后，需要设置好对应的安全组规则 才能成功连接Kafka，设置规则参考如下: 安全组参考规则（先判断安全组的出/入方向是否放通了对弹性ip地址的访问，如果没有，可以参考如下规则配置）： 方向 协议 类型 端口 远端(源地址) 说明 入方向 TCP IPv4 Kafka公网接入端口(8094)，或更大范围 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka （10）如果创建了 网络ACL规则 ，则ACL规则也需要正确配置才能成功连接Kafka，设置规则参考如下: 网络ACL参考规则（先判断网络ACL的出/入方向是否放通了客户端地址的访问，如果没有，可以参考如下规则配置）： 方向 协议 IP版本 策略 源地址 源端口范围 目的地址 目的端口范围 描述 入方向 TCP IPv4 允许 Kafka客户端所在的IP地址或地址组 165535 VPC IP地址组 Kafka公网接入端口(8094)，或更大范围 控制入方向ACL规则 出方向 TCP IPv4 允许 VPC IP地址组 Kafka公网接入端口(8094)，或更大范围 Kafka客户端所在的IP地址或地址组 165535 控制出方向ACL规则 （11）连接Kafka可以根据开启公网访问时选择的SASLPLAINTEXT或SASLSSL协议接入。

本章介绍函数工作流如何使用开源Kafka（OPENSOURCEKAFKA）触发器。 使用开源Kafka触发器后，FunctionGraph会定期轮询开源Kafka指定Topic下的新消息，FunctionGraph将轮询得到的消息作为参数传递来调用函数。 前提条件 进行操作之前，需要做好以下准备。 已经创建函数。 创建Kafka触发器，必须开启函数工作流VPC访问，请参见配置网络。 创建开源Kafka触发器 1、登录函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、选择“设置 > 触发器”，单击“创建触发器”，弹出“创建触发器”对话框。 4、设置以下信息。 触发器类型：选择“开源Kafka（OPENSOURCEKAFKA）”。 连接地址：搭建kafka的broker地址列表，以逗号分隔。 主题：用户自建的topic。 批处理大小：单次函数拉取最大数据量。 5、单击“确定”，完成开源kafka触发器的创建。 说明 函数网络配置需要和创建kafka的ecs节点网络配置一样，包括vpc和子网。 激活kafka触发器 开源Kafka触发器创建完成后默认是停用状态，需要在触发器界面上单击“启动”。 说明 如果启动失败可以联系技术支持工程师。 配置Kafka事件触发函数 1、返回函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、在函数详情页，选择函数版本。 4、在“代码”页签下，单击“测试”，弹出“配置测试事件”对话框。 5、填写如下所示测试信息后，单击“保存”。 表 测试信息 参数 说明 配置测试事件 可创建新的测试事件也可编辑已有的测试事件。选择默认值：“创建新的测试事件”。 事件模板 选择"kafkaeventtemplate"模板，使用系统内置Kafka事件模板。 事件名称 事件名称必须以大写或小写字母开头，支持字母（大写或小写），数字和下划线“”（或中划线“”），并以字母或数字结尾，长度为125个字符，例如kafka123test。 测试事件 自动加载系统内置kafka事件模板，本例不做修改。 6、单击“测试”，可以得到函数运行结果，函数会返回输入kafka消息数据。

本章节主要介绍翼MapReduce集群组件使用规则。 Kafka支持四种协议类型的访问，分别为：PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL。当前，翼MR集群默认采用Kerberos安全验证服务，Kafka协议类型建议使用SASLPLAINTEXT、SASLSSL这两种。

参数 描述 Topic 选择目标端需要同步到的Topic。 投送到kafka的数据格式 选择Oracle投送到kafka的数据格式。 Avro：可以显示Avro二进制编码，高效获取数据。 Json：为Json消息格式。详细格式可参考Kafka消息格式。 同步对象 同步对象支持表级同步，您可以根据业务场景选择对应的数据进行同步。 选择对象的时候支持搜索，以便您快速选择需要的数据库对象。

本页面主要介绍分布式消息服务MQTT对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中，选择事件来源为“容器与中间件”，资源类型选择“分布式消息服务Kafka”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。

本章节主要介绍翼MapReduce运行kafka作业。 用户可将自己开发的程序提交到翼MR中，执行程序并获取结果。本章节教您在翼MR集群后台如何提交一个新的kafka作业。 通过后台提交作业 1. 登录翼MR管理控制台。 2. 选择“我的集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3. 在“节点管理”页选中单击Master节点，选择要进入的Master节点。 4. 单击该节点右侧的“远程连接”。 5. 根据界面提示，输入Master节点的用户名和密码，用户名、密码分别为root和创建集群时设置的密码。 6. 创建kafka的topic。 plaintext /usr/local/kafka/bin/kafkatopics.sh zookeeper :2181/kafka topic create 7. 当前集群默认开启Kerberos认证，执行以下命令添加认证信息。 plaintext export KAFKAOPTS"Djava.security.krb5.conf/etc/krb5.conf Djava.security.auth.login.config/usr/local/kafka/config/kafkajaas.conf" 8. 向topic中写入消息。 plaintext /usr/local/kafka/bin/kafkaconsoleproducer.sh brokerlist :9092 topic producer.config /usr/local/kafka/config/producer.properties 9. 消费topic中的消息。 plaintext /usr/local/kafka/bin/kafkaconsoleconsumer.sh bootstrapserver :9092 topic consumer.config /usr/local/kafka/config/consumer.properties frombeginning maxmessages 5 注意 frombeginning：只能消费未被消费的历史数据，已消费数据不会出现。 maxmessages：最多消费多少条数据。

RabbitMQ触发器可以订阅分布式消息服务RabbitMQ并根据消息触发关联的函数，借此能力，使得函数可以消费指定Queue的消息，执行自定义处理逻辑。 前提条件 已创建函数。 已创建RabbitMQ实例 操作步骤 1. 登录函数计算控制台，点击目标函数，进入函数详情。 2. 选择详情下顶部的配置选项卡。 3. 在配置选项卡中，选择左边的触发器选项卡。 4. 点击创建触发器 ，在弹出的右抽屉中选择RabbitMQ触发器，配置参数解释如下: 配置项 操作 示例 触发器类型 选择RabbitMQ触发器。 RabbitMQ触发器 名称 填写自定义的触发器名称。 rabbitmqtrigger 版本或别名 默认值为LATEST，支持选择任意函数版本或函数别名。 LATEST RabbitMQ实例 选择已创建的RabbitMQ实例。 Vhost 选择订阅的目标虚拟主机。 / Queue 选择订阅的目标队列。 myqueue 调用方法 选择函数调用方式。 同步调用 ：指触发器消费消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。 异步调用：指触发器消费消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 User name 访问分布式消息服务RabbitMQ 版服务端时，需要传入用户名和密码进行权限认证，认证通过才允许访问服务端。 Password 访问分布式消息服务RabbitMQ 版服务端时，需要传入用户名和密码进行权限认证，认证通过才允许访问服务端。 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用 推送配置 批量推送条数：批量推送的最大值，积压值达到后立刻推送，取值范围为 [1, 10000]。 批量推送间隔：批量推送的最大时间间隔，达到后立刻推送，单位秒，取值[0,15]。默认0无需等待，数据直接推送。 推送格式：函数收到的事件格式，详情请查阅触发器事件消息格式。 重试策略 消息推送函数失败后重试的策略，共两种： 指数退避：指数退避重试，重试5次，重试周期为2，4，8，16，32（秒）。 线性退避：线性退避重试，重试5次，重试周期为1，2，3，4，5（秒）。 容错策略 当重试次数耗尽后仍然失败时的处理方式： 允许容错：当异常发生并超过重试策略配置时直接丢弃。 禁止容错：当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为：允许容错时，可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时，消息会被投递到指定的消息队列里，当前只支持投递到kafka和rocketmq 注意 请确保使用的用户名已经对选择的虚拟主机授权。

Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka，其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时，相关参数详见下表：Apache Kafka连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 kafkalink Kafka broker Kafka broker的IP地址和端口。 192.168.1.1:9092 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。

本文主要介绍准备实例依赖资源。 概述 在创建Kafka实例前，您需要提前准备相关依赖资源，包括虚拟私有云（Virtual Private Cloud，以下简称VPC）、子网和安全组，并配置安全组策略。每个Kafka实例都部署在某个VPC中，并绑定具体的子网和安全组，通过这样的方式为Kafka提供一个隔离的、用户自主配置和管理的虚拟网络环境以及安全保护策略，提升实例的安全性。 如果需要通过公网访问Kafka实例，请提前准备弹性IP地址。 准备依赖资源 Kafka实例所需资源的具体要求和创建指导如下表所示。 表 Kafka实例依赖资源 准备资源 要求 创建指导 ::: VPC和子网 不同的Kafka实例可以重复使用相同的VPC和子网，也可以使用不同的VPC和子网，请根据实际需要进行配置。 在创建VPC和子网时应注意如下要求： 创建的VPC与Kafka实例在相同的区域。 子网开启IPv6后，Kafka实例支持IPv6功能。Kafka实例开启IPv6后，客户端可以使用IPv6地址连接实例。 创建VPC和子网的操作指导请参考《虚拟私有云 用户指南》的创建虚拟私有云和子网。 安全组 不同的Kafka实例可以重复使用相同的安全组，也可以使用不同的安全组，请根据实际需要进行配置。 在创建安全组时应注意如下要求： 创建安全组时，“模板”选择“自定义”。 使用Kafka实例前，添加下表中的安全组规则，其他规则请根据实际需要添加。 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加下表中的规则。 创建安全组的操作指导请参考《虚拟私有云 用户指南》的创建安全组，为安全组添加规则的操作指导请参考《虚拟私有云 用户指南》的添加安全组规则。 弹性IP地址 在创建弹性IP地址时，应注意如下要求： 创建的弹性IP地址与Kafka实例在相同的区域。 弹性IP地址的数量必须与Kafka实例的代理个数相同。 Kafka控制台无法识别开启IPv6转换功能的弹性IP地址。 创建弹性IP地址的操作指导请参考《弹性IP 用户指南》的“申请和绑定弹性IP”。 表 安全组规则 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9094 0.0.0.0/0 通过公网访问Kafka实例（明文接入）。 入方向 TCP IPv4 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（明文接入）。 使用对等连接跨VPC访问Kafka实例（明文接入）。 入方向 TCP IPv6 9192 ::/0 通过IPv6地址访问Kafka实例（关闭SSL加密）（内网和公网都适用）。 入方向 TCP IPv4 9095 0.0.0.0/0 通过公网访问Kafka实例（密文接入）。 入方向 TCP IPv4 9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（密文接入）。 使用对等连接跨VPC访问Kafka实例（密文接入）。 入方向 TCP IPv6 9193 ::/0 通过IPv6地址访问Kafka实例（开启SSL加密）（内网和公网都适用）。 入方向 TCP IPv4 9011 198.19.128.0/17 通过VPC终端节点实现跨VPC访问Kafka实例（密文接入和明文接入都适用）。 入方向 TCP IPv4 9011 0.0.0.0/0 使用DNAT访问Kafka实例（密文接入和明文接入都适用）。

配置Kafka外发 用户可配置通过Kafka通知方式将资产审计日志或资产告警日志发送到指定的Kafka服务器。 1.在左侧导航栏选择“通知外送 > 日志外送 > KAFKA”进入告警通知页面。 2.单击页面中的“新增”按钮，弹出Kafka配置对话框，编辑相关信息。 配置项 说明 名称 必须为中文字符、字母、数字、下划线()、点(.)或短横()，长度不超过64。 Kafka节点地址 必须为已经存在的节点，支持IP加端口或域名加端口，多个以英文逗号相连。 Kafka主题 必须填写已经存在的主题。 Kafka分区 分区从0 开始计算，如分区为24，则最大位需填写23。 审计日志模板 发送审计日志信息的模板，可修改默认模板，具体字段请依据填写说明编辑。 告警日志模板 发送告警日志信息的模板，可修改默认模板，具体字段请依据填写说明编辑。 3.配置好Kafka发送模板后，需配置需要发送通知的资产及接收人，点击“添加”按钮即可添加接收人。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

Kafka实例信息准备 实例连接地址与端口 实例创建后，从Kafka实例控制台的实例详情页签中的接入点信息栏获取。若Kafka实例为集群部署，至少有3个连接地址，在客户端配置时，建议将地址都配上。 如果开启公网访问，还可以使用实例详情页签中的接入点信息栏中的公网连接地址访问Kafka实例。 Topic名称 从Kafka实例控制台的Topic管理页签中获取Topic名称。 SASL信息 如果实例创建时开启SASL访问，则需要获得SASLSSL用户名与密码、SSL证书、Kafka安全机制和SASL认证机制。 SASL用户名在Kafka实例控制台的“用户管理”页签中查看，如果忘记密码，可以点击“修改”重置密码。 SSL证书 SSL证书，在Kafka实例控制台的实例详情页中的接入点信息栏，选择希望的接入类型，点击其右侧的“查看所有IP和端口信息”，在弹窗中点击SSL接入点右侧的“下载”按钮即可获得。 使用Java语言连接实例时，需要用jks格式的证书。使用Python语言连接实例时，需要用pem格式的证书(可通过jks格式证书转换)。

本文主要介绍应用性能监控的各语言使用限制。 自研JAVA探针使用限制 类型 名称 版本 工具 JDK jdk8、jdk11、jdk17 通讯协议 httpclient apache httpclient2.0+、apache asynchttpclient1.9+ Java框架 spring 3.1.x～5.0.x Java框架 springboot 1.2.x~1.5.x、2.0.4～2.0.9 Java框架 Dubbo 2.7+ Java框架 gRPC 1.6+ 数据库 MySQL mysqlconnectorjava 5.1.X 数据库 Oracle ojdbc5、ojdbc6、ojdbc14 数据库 druid 1.0 数据库 c3p0 0.9.2+ 数据库 dbcp2 2.0+ 数据库 JDBC java8+ web服务器 Tomcat 7.0.x, 8.5.x, 9.0.x, 10.0.x 消息队列 RabbitMQ springrabbit1.0+、amqpclient 2.7+ 消息队列 Kafka kafkaproducer 0.11+、kafkaconsumer 0.11+、kafkastream 0.11+ NoSQL Redis jedis 1.4+，lettuce 4.0+ NoSQL Mongodb 3.1+ NoSQL ElasticSearch 5.0+ Rest Client Common HTTP java http client java11+、HttpURLConnection java8+ Go使用限制 Opentelemetry支持的框架列表 OpenTelemetry提供了若干半自动埋点插件，支持为常见的框架自动创建Span。

名词 说明 环境 用于隔离不同应用的逻辑单元。 应用 一组资源的逻辑集合，通常代表一个业务系统。应用是进行演练和管理的核心对象。 资源 构成应用的组件节点，例如云主机、容器、分布式缓存服务Redis版、分布式消息服务Kafka等实例。 演练 通过向应用的特定资源注入指定故障，并观察其影响，从而验证系统稳定性与韧性的过程。 动作 注入到目标资源上的一个原子性故障，例如“CPU高负载”或“网络延迟”。用户可以在一次演练中对多个动作进行自由组合和编排。 动作组 一个或多个动作的逻辑分组，通常代表一个完整的故障场景。在一个演练任务中，不同的动作组之间可以并行执行。 探针 安装在目标资源（如云主机）上，用于执行具体故障注入动作的代理程序（Agent）。 保护策略 一种自动化的安全机制，用于控制演练的“爆炸半径”。当触发预设条件时，系统会依据此策略自动中止演练并回滚故障。

本节介绍取消Kafka消费组和Topic的订阅关系。 消费者订阅Topic消费消息后，在消费组详情页可以查看消费进度。如果消费者不再消费某个Topic，您可以取消消费组和此Topic的订阅关系，避免由于此Topic的消息堆积，导致的告警误报。 约束与限制 已创建的1.1.0版本的Kafka实例可能不支持取消订阅功能，您可以通过升级实例的内核版本来解决此问题。 取消消费组和Topic的订阅关系会删除消费组对该Topic的消费位点信息，删除后无法恢复，请谨慎操作。 取消Kafka消费组和Topic的订阅关系 1. 登录Kafka控制台。 2. 在管理控制台左上角单击，选择Kafka实例所在的区域。 3. 单击Kafka实例的名称，进入实例详情页面。 4. 在左侧导航栏选择“实例管理 > 消费组管理”，进入消费组列表页面。 5. 单击待取消订阅关系的消费组名称，进入消费组详情页。 6. 在“消费进度”页签中，勾选待取消订阅关系的Topic，每次最多勾选50个，单击信息栏左上侧的“取消订阅”。 7. 在“取消订阅”对话框中，单击“确定”。 取消订阅成功后，在“消费进度”页签，不再显示取消订阅的Topic。

此小节介绍数据库审计的产品术语。 Agent 本文中所述的Agent指的是审计代理插件，是安装在数据库系统或者业务系统上的插件，其功能是捕获访问数据库系统的数据包，并将数据包发送至数据库审计。 Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中所有动作流数据。这些数据通常由于吞吐量要求而通过处理日志和日志聚合来解决。 SNMP SNMP是简单网络管理协议（Simple Network Management Protocol）的简称，是标准IP网络管理协议，支持目前主流的网络管理系统。 SQL SQL是结构化查询语言（Structured Query Language）的简称，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。 Syslog Syslog是一种行业标准的协议，可用来记录设备的日志。Syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收Syslog的服务器。服务器可以对多个设备的Syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 数据库 数据库（Database）是用于存放数据的仓库，按照一定的数据结构（即数据的组织形式或数据之间的联系）来组织、存储，用户可以通过数据库提供的多种方法来管理数据库中的数据。 规则 本文中所述的规则是指根据一些特征（如客户端、服务端、SQL语句）定义的危险行为（安全规则）及可以信任的行为（过滤规则）。当系统审计到对数据库的操作匹配安全规则时会触发告警，对于匹配过滤规则的行为则不进行审计。

名词 说明 环境 用于隔离不同应用的逻辑单元。 应用 一组资源的逻辑集合，通常代表一个业务系统。应用是进行演练和管理的核心对象。 资源 构成应用的组件节点，例如云主机、容器、分布式缓存服务Redis版、分布式消息服务Kafka等实例。 演练 通过向应用的特定资源注入指定故障，并观察其影响，从而验证系统稳定性与韧性的过程。 动作 注入到目标资源上的一个原子性故障，例如“CPU高负载”或“网络延迟”。用户可以在一次演练中对多个动作进行自由组合和编排。 动作组 一个或多个动作的逻辑分组，通常代表一个完整的故障场景。在一个演练任务中，不同的动作组之间可以并行执行。 探针 安装在目标资源（如云主机）上，用于执行具体故障注入动作的代理程序（Agent）。 保护策略 一种自动化的安全机制，用于控制演练的“爆炸半径”。当触发预设条件时，系统会依据此策略自动中止演练并回滚故障。

配置处理任务 1. 在云搜索服务实例创建页面选择Logstash实例管理，选择已经加装的Logstash实例。 2. 选择“管道管理”，选择“新建管道”。 3. 在“管道配置”窗口中,配置相关的管道配置。 python input { kafka { autooffsetreset > "latest" bootstrapservers > "ip:port,ip:port,ip:port" consumerthreads > 88 groupid > "yourgroupid" topics > ["yourkafkatopic"] codec > json } } filter { } output { elasticsearch { hosts > ["ip:port"] index > "yourindexname%{+YYYY.MM.dd}" user > "yourusername" password > "yourpassword" } } input部分用于定义数据的来源，即Logstash从哪里获取数据。这里以Kafka为例： autooffsetreset：会决定从哪个位置开始消费消息 bootstrapservers：Kafka集群的地址 consumerthreads：控制 Kafka 消费者线程的数量 groupid：消费者组ID topics：Kafka的主题列表 codec：指定数据格式 filter部分可以进行消息处理、数据解析等操作。根据实际业务规则来处理。 output部分用于将处理后的数据推送到外部系统（如数据库、消息队列、搜索引擎等）。这里以Elasticsearch为例： hosts：指定Elasticsearch的地址。 index：指定存储到Elasticsearch的索引名称，可以使用日期变量%{+YYYY.MM.dd} 来动态生成基于日期的索引。 user/password：提供Elasticsearch用户名和密码 配置完点击“预校验”，预校验会使用Logstash的语法功能来检测基础的语法，不检测逻辑和连通性。 预校验通过后可以执行后续操作。 4. 在“参数配置”中,配置相关的参数。 参数 说明 管道名称 只能包含字母、数字、中划线或下划线，且必须以字母开头，限制430个字符，实例内唯一 管道描述 限制长度50 管道工作线程数 控制Logstash同时处理事件的线程数 管道批处理大小 单个线程从input部分收集的最大事件数 管道批处理延迟 不满足批处理大小最大等待时间 队列类型 memory模式、persisted模式 memory：内存队列 persisted：磁盘队列 队列最大字节数 persisted模式生效 队列最大存储大小 队列检查点写入数 persisted模式生效 队列检查点数量 5. 启动处理任务 配置完参数后点击“保存并部署”。就启动了读取Kafka中的数据转换后写入到Elasticsearch的管道任务。 等到管道“运行中”可以尝试配置的Kafka的topics中导入一些数据，例如使用Filebeat或其他程序。 可以通过Curl命令查看logstash中配置的索引名，在Elasticsearch实例是否有数据进来。 plaintext curl " 6. 停止任务 当任务执行结束后，可以在“管道管理”页面，点击“停止”，会执行停止管道操作。

功能特性 分布式消息服务RabbitMQ的功能特性主要体现在以下几个方面： 访问接口 支持通过API调用，提供交换器、队列增删查改等管控工作。管理控制台上进行的操作用于对交换器、队列、用户、策略等增删查改等管控工作。 队列能力 （1）优先级队列：相比低优先级的消息，要优先投递给消费者进行处理。 （2）延迟队列：延时消息，实现秒级精准定时；简单易用，在代码上只需一个参数设置即可完成，解决开源 RabbitMQ无延时队列的痛点。 （3）死信队列：支持被拒绝消息、TTL 过期消息、队列达到最大长度（消息队列 AMQP队列长度无上限）等 3 种类型消息自动进入死信队列的能力，确保消息不丢失。 消息能力 （1）广播消息：在同一个消费组内对所有消费者投递相同消息。 （2）事务消息：支持事务消息，可用于分布式应用。 （3）定时消息：支持消息延迟发送，解决开源 RabbitMQ 无延时队列的痛点。 安全防护 可追溯租户管理操作的记录。 起源于金融系统，支持权限控制和SSL协议。 运维监控 提供集群、交换器、队列的管理；集群、信道、连接、交换器、队列多维度指标监控。 更多信息请参见功能特性。 应用场景 分布式消息服务RabbitMQ适用于电子商务、金融服务、电信、物流和供应链管理、社交媒体、游戏开发、科学和研究领域等行业，通常用于业务的应用解耦、错峰流控与流量削峰、异步通信等场景。更多信息请参见应用场景。

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

本文介绍天已支持翼云APP产品控制台的云产品。 天翼云支持在天翼云APP对云产品进行管理。 天翼云APP产品控制台支持的云产品 1、弹性云主机（一类节点） 2、天翼云电脑（政企版）（一类节点） 3、分布式消息服务Kafka（一类节点） 4、分布式缓存服务Redis版（一类节点） 5、云容器引擎（一类节点） 6、关系数据库MySQL版（一类节点 II 类型资源池） 7、媒体存储（通用） 8、对象存储（经典版）I型（一类节点） 9、备案（通用） 更多产品管理控制台正在接入中，敬请期待，如对产品控制台有任何建议，欢迎提交建议与反馈

本文为您介绍分布式消息服务MQTT的产品优势。 分布式消息服务MQTT（Message Queuing Telemetry Transport）是一种轻量级的、发布/订阅模式的消息传递协议，通常用于分布式消息服务和物联网（IoT）应用。以下是MQTT的一些优势： 轻量级协议： MQTT是一种非常轻量级的协议，适用于各种网络环境，包括低带宽、高延迟或不稳定的网络。这使得它非常适合在IoT设备之间传递消息，因为这些设备通常有限的资源和能源。 发布/订阅模式： MQTT采用发布/订阅模式，允许客户端订阅感兴趣的主题，以接收与这些主题相关的消息。这种模式具有灵活性，能够支持多对多的通信，而不需要直接点对点的连接。 异步通信： MQTT允许异步通信，客户端可以发布消息而不必等待接收方的响应。这有助于提高系统的响应速度和吞吐量。 保留消息： MQTT支持保留消息，这意味着最新的消息可以保留在主题中，以便新订阅者可以立即获取到最新数据，而不必等待下一个消息发布。 服务质量（QoS）： MQTT允许设置不同级别的服务质量，从不保证消息送达（QoS 0）到确保消息送达且不重复传递（QoS 2）。这使得可以根据应用的需求选择适当的传递质量。 可伸缩性： MQTT协议可以在大规模分布式系统中轻松扩展，支持成千上万的客户端同时连接到Broker，使其适用于大型IoT解决方案。 消息过滤： MQTT支持使用通配符来订阅主题，这允许客户端根据特定模式匹配多个主题，以接收相关消息。 支持遗愿消息： MQTT支持遗愿消息（Will Messages），允许客户端指定在异常断开连接时发送一条预定义消息。这对于检测设备在线状态非常有用。 跨平台和多语言支持： MQTT具有广泛的跨平台和多语言支持，因此可以在各种设备和编程语言上使用，使得它非常灵活。 安全性： MQTT可以与安全机制（如TLS/SSL）结合使用，确保消息在传输过程中的安全性和隐私。 总的来说，MQTT是一种高效、灵活和可靠的协议，特别适用于分布式消息传递和IoT应用，因此在物联网、远程监控、实时通信等领域得到广泛应用。它的轻量级特性和异步通信使得它成为连接数众多的设备的理想选择。

本章节主要介绍翼MapReduce组件Kafka支持的协议类型。 Kafka目前支持4种协议类型的访问：PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL。 PLAINTEXT是最简单的协议，它以明文形式传输数据，不提供任何加密或身份验证机制。 SSL（Secure Sockets Layer） 是一种安全的协议，用于在客户端和服务器之间加密通信。通过使用 SSL，可以确保数据在传输过程中是加密的，从而提高了安全性。SSL协议通常需要在Kafka服务器上配置SSL证书以进行安全通信。 SASLPLAINTEXT （Simple Authentication and Security Layer with Plain Text）使用简单身份验证机制，通常用于在不使用加密的情况下进行用户身份验证，但是用户名和密码以明文形式传输。 SASLSSL （Simple Authentication and Security Layer with SSL）结合了 SSL 和 SASL，提供了更强大的安全性。它通过 SSL 加密通信，并使用 SASL 进行身份验证。这是Kafka中最安全的选项之一，适用于在不同网络环境中进行安全通信。 在Kafka中，选择适当的协议取决于集群的安全需求和网络环境。

本章节主要介绍ALM38009 Broker磁盘IO繁忙的告警。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况，当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值（默认80%）时，产生该告警。 平滑次数为3，当该磁盘IO低于阈值（默认80%）时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙，产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大，当前Partition的设置不合理。 处理步骤 检查Topic副本数配置 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看定位信息中上报告警的“主题名”。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”，搜索发生告警的Topic，查看副本数量。 2. 如果副本数量值大于3，则考虑减少该Topic的复制因子（减少为3）。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划： kafkareassignpartitions.sh zookeeper {zkhost}:{port} /kafka reassignmentjsonfile {manual assignment json file path} execute 例如： /opt/Bigdata/client/Kafka/kafka/bin/kafkareassignpartitions.sh zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka reassignmentjsonfile expandclusterreassignment.json execute 说明 在expandclusterreassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为：{"partitions":[{"topic": " topicName ","partition":1,"replicas": [1,2,3] }],"version":1}。 3. 观察一段时间，看告警是否消失。如果告警没有消失，执行步骤5。

DLI数据源约束 使用CDM服务迁移数据到DLI时，当前用户需拥有OBS的读取权限。 Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务（DCS ）和Redis数据源约束 1. 由于分布式缓存服务（DCS）限制了获取所有Key的命令，CDM无法支持DCS作为源端，但可以作为迁移目的端，第三方云的Redis服务也无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 2. 仅支持Hash和String两种数据格式。 文档数据库服务（DDS ）和MongoDB数据源约束 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 云搜索服务和Elasticsearch数据源约束 1. CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 2. 索引下的字段类型创建后不能修改，只能创建新字段。如果一定要修改字段类型，需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建（数据也会删除）。 3. CDM自动创建的索引，字段类型为date时，要求数据格式为“yyyyMMdd HH:mm:ss.SSS Z”，即“20180808 08:08:08.888 +08:00”。迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求，可以通过CDM的表达式转换功能转换为上述格式。 Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。

RocketMQ触发器可以订阅分布式消息服务RocketMQ并根据消息触发关联的函数，借此能力，使得函数可以消费指定topic的消息，执行自定义处理逻辑。 注意事项 RocketMQ触发器订阅的分布式消息服务RocketMQ实例必须和函数计算的函数实例在相同地域。 前提条件 创建函数。 开通分布式消息服务RocketMQ实例（RocketMQ引擎类型），详情请参考开通RocketMQ实例。 创建Topic和GroupID。 创建用户，且默认Topic权限设置为：PUBSUB，默认消费组权限为SUB。详情请参考创建用户。 操作步骤 1. 登录函数计算控制台，点击目标函数，进入函数详情。 2. 选择详情下顶部的配置选项卡。 3. 在配置 选项卡中，选择左边的触发器选项卡。 4. 点击创建触发器 ，在弹出的右抽屉中选择RocketMQ触发器，配置参数解释如下。 配置项 操作 示例 触发器类型 选择RocketMQ触发器。 RocketMQ触发器 名称 填写自定义的触发器名称。 rocketmqtrigger 版本或别名 默认值为LATEST，支持选择任意函数版本或函数别名。 LATEST RocketMQ 实例 选择已创建的RocketMQ实例。 Topic 选择已创建的RocketMQ实例的Topic。 Group ID 选择已创建的RocketMQ实例的Group ID。 消费位点 选择消息的消费位点，即触发器从RocketMQ实例开始拉取消息的位置。取值说明如下。 最新位点 ：从最新位点开始消费。 最早位点 ：从最早位点开始消费。 指定时间戳：从指定时间戳开始消费。 最新位点 调用方式 选择函数调用方式。 同步调用 ：指触发器消费topic消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。 异步调用：指触发器消费topic消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 同步调用 用户ID RocketMQ实例用户ID，需要在RocketMQ控制台创建。 密钥 RocketMQ实例用户密钥，需要在RocketMQ控制台创建。 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 推送配置 批量推送条数：批量推送的最大值，积压值达到后立刻推送，取值范围为 [1, 10000]。 批量推送间隔：批量推送的最大时间间隔，达到后立刻推送，单位秒，取值[0,15]。默认0无需等待，数据直接推送。 推送格式：函数收到的事件格式，详情请查阅触发器事件消息格式。 重试策略 消息推送函数失败后重试的策略，共两种： 指数退避：指数退避重试，重试5次，重试周期为2，4，8，16，32（秒）。 线性退避：线性退避重试，重试5次，重试周期为1，2，3，4，5（秒）。 容错策略 当重试次数耗尽后仍然失败时的处理方式： 允许容错：当异常发生并超过重试策略配置时直接丢弃。 禁止容错：当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为：允许容错时，可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时，消息会被投递到指定的消息队列里，当前只支持投递到kafka和rocketmq

本节介绍kafka实例连接数限制 基准带宽为100MB/s时，Kafka客户端连接数在3000以内。 基准带宽为300MB/s时，Kafka客户端连接数在10000以内。 基准带宽为600MB/s时，Kafka客户端连接数在20000以内。 基准带宽为1200MB/s时，Kafka客户端连接数在20000以内。 实例规格为s7.xlarge.4（通用型4u16g）时，单个代理客户端总连接数上限为1000。 实例规格为s7.2xlarge.4 （通用型8u32g）时，单个代理客户端总连接数上限为2000。 实例规格为s7.4xlarge.4 （通用型16u64g）时，单个代理客户端总连接数上限为4500。 实例规格为c7.xlarge.2（计算增强型4u8g）时，单个代理客户端总连接数上限为4500。 实例规格为c7.2xlarge.2（计算增强型8u16g）时，单个代理客户端总连接数上限为6000。 实例规格为c7.4xlarge.2（计算增强型16u32g）时，单个代理客户端总连接数上限为10000。

本文介绍分布式消息服务RocketMQ可广泛应用于分布式系统异步通信、数据同步和交换、削峰填谷等场景。 行业应用 RocketMQ在多个行业中都有广泛的应用。以下是一些典型的行业应用场景： 1. 电子商务：在电子商务行业中，RocketMQ可以用于订单处理、库存管理、支付通知等异步通信和事件驱动的场景。它可以实现订单的可靠传递和处理，同时支持高并发和高可扩展性的需求。 2. 金融服务：在金融服务行业中，RocketMQ可以用于实时交易通知、资金结算、风险控制等关键业务场景。它可以确保交易消息的可靠传递和顺序处理，同时支持高吞吐量和低延迟的要求。 3. 物流与供应链：在物流与供应链行业中，RocketMQ可以用于实时物流跟踪、订单状态更新、库存管理等消息通知和事件驱动的场景。它可以确保供应链各个环节的信息同步和协调，提高物流效率和准确性。 4. 社交媒体：在社交媒体行业中，RocketMQ可以用于实时消息推送、用户关系管理、活动通知等场景。它可以支持大规模用户同时在线的需求，确保消息的低延迟和高可靠性。 5. 物联网：在物联网行业中，RocketMQ可以用于设备状态监控、告警通知、数据采集等场景。它可以处理大量的设备消息，并支持设备之间的实时通信和协作。 这些是一些典型的RocketMQ行业应用场景，由于RocketMQ的高性能和可靠性，它在更多行业中也有广泛的应用。 分布式消息服务RocketMQ主要适用于以下几种业务场景：

KafkaConsumer 总消费次数&总消费字节数 显示总消费次数和总消费字节数的趋势图。 总消费次数：这个指标表示消费者从Kafka中成功读取并处理的消息数量。它是一个计数器，用于跟踪消费者在其生命周期内接收到的消息总数。这对于监控消费者的工作负载和性能非常有用，可以帮助开发者了解消费者是否有效地从生产者那里获取了数据。 总消费字节数：这个指标表示消费者从Kafka中成功读取的数据总量，以字节为单位。它考虑了每条消息的大小，并累加起来给出一个总和。这对于评估网络带宽使用情况、存储需求以及数据传输效率等方面非常重要。例如，如果一个主题有20个分区和5个消费者，每个消费者需要至少4MB的可用内存来接收记录。因此，通过监控总消费字节数，可以更好地理解数据流的规模和处理速度。 这两个指标共同提供了对Kafka消费者行为的全面视图，使得开发者能够优化系统性能，确保数据处理的高效性和稳定性。 通过消息队列接收消息 显示topic列表，表头如下。 topic：是指消息队列中接收到的特定主题（topic）的消息。主题用于将相关的消息进行归类和分组。 调用次数：是指在一段时间内，通过消息队列接收消息的总调用次数。每次调用消息队列的接收操作（例如KafkaConsumer的poll()方法）并成功获取一条消息都会被计算为一次调用。 平均响应时间(ms)：是指从发起接收请求到接收到消息的平均时间。它表示了接收消息的速度和效率。 错误数：表示在接收消息的过程中发生的错误次数。这些错误可能包括接收消息失败、网络连接问题或其他异常情况。 最慢调用(ms)：是指在一段时间内，接收消息过程中最耗时的一次调用的时间。它反映了接收消息中的性能瓶颈或延迟情况。 操作：点击详情，出现弹层显示调用次数、平均响应时间(ms)、错误数在筛选时间段内的趋势图。 这些指标共同构成了对消息队列系统性能和可靠性的全面评估，有助于管理员和开发者优化系统配置，提高系统的稳定性和效率。

本节介绍了分布式消息服务RabbitMQ产品常见应用场景。 行业应用 RabbitMQ在需要高效、可靠的消息传递和处理的任何行业都有广泛的应用，常见行业及其实际业务场景如下。 电子商务：RabbitMQ可用于处理订单和库存管理，处理支付通知及其它与物流相关的消息。 金融服务：RabbitMQ可以用于处理实时交易数据、通知和报价，并支持金融机构之间的异步通信。 电信：RabbitMQ可用于处理电话呼叫记录、短信和多媒体消息的分发等。 物流和供应链管理：RabbitMQ可以用于跟踪货物的位置和状态，以及协调供应链中各个环节的消息传递。 社交媒体：RabbitMQ可以用于实现实时消息推送、聊天和通知功能，以及处理用户生成内容。 游戏开发：RabbitMQ可用于处理游戏中的多人互动、玩家间的消息传递和协作。 科学和研究领域：RabbitMQ可以用于分布式计算、任务队列和数据流处理。 RabbitMQ通常用于业务的应用解耦、错峰流控与流量削峰和异步通信场景。 应用解耦 RabbitMQ可以将应用程序之间的耦合度降低，使得系统更加灵活和可扩展。以下是一些使用RabbitMQ实现应用解耦的举例： 订单和库存管理系统：假设有一个在线商店，订单系统负责接收和处理用户的订单，而库存管理系统则负责跟踪库存并更新库存状态。通过使用RabbitMQ，订单系统可以将订单信息发送到一个名为"orderqueue"的消息队列中，而库存管理系统则监听该队列，并在收到订单消息时进行库存更新。这样，订单系统和库存管理系统可以解耦，并且可以独立地进行扩展和维护。 日志处理系统：在一个大规模的分布式系统中，各个服务都会生成大量的日志信息。为了对这些日志进行集中管理和分析，可以使用RabbitMQ作为日志消息的中间代理。每个服务将其产生的日志消息发送到RabbitMQ的一个名为"logqueue"的消息队列中，然后日志处理系统从该队列中消费日志消息，并进行相应的处理和存储。这样，每个服务的日志处理可以独立进行，互不影响。 流量控制系统：在一个微服务架构中，可能会有多个服务实例同时运行，当某个服务实例过载时，传统的负载均衡器无法有效地控制流量分发。通过使用RabbitMQ，可以实现基于消息的流量控制。每个服务实例将其当前的负载情况发送到一个名为"loadqueue"的消息队列中，一个负载控制器订阅该队列，并根据各个服务实例的负载情况来动态调整流量分发。这样，流量控制仍然可以在应用层面进行解耦。

本文带您了解分布式消息服务RocketMQ的功能特性。 消息生产 消息压缩：将较大的消息进行压缩后发送到服务端，有效利用带宽。 延迟消息：设计消费时延，消息发送到服务端后，过了预设时间才可以被消费。 事务消息：根据预设的事务，事务消息可保证分布式系统之间的数据最终一致。 消息消费 有序消费：支持普通有序消息和严格有序消息两种方式。 集群消费：一个主题可被一个或多个消费者组消费，消费者组中消费者实例可平均分摊消费信息。 消费位置设置：支持设置消费组首次启动消费的位置，包括队列头、队列尾及由客户端指定。 消息回溯：支持按时间回溯消费进度，将订阅组在某主题上的消费进度重置到过去或者未来。 完善的运维能力 应用用户管理：集群租户隔离，应用接入集群权限管理。 主题管理：支持对实例下的主题进行管理，执行创建删除等操作。 订阅组管理：支持对实例下的订阅组进行管理。 生产者和消费者管理：用户可查看当前实例下的生产者和消费者信息，并实时更新。 消息查询：按消息ID、消息逻辑偏移量、消息key。 完善的运维功能，节点状态检测、启停；实例状态检测、启停；SLA监控等。 顺序消息 顺序消息是指消费消息的顺序要同发送消息的顺序一致，在RocketMQ中，主要有两种有序消息：全局有序消息和局部有序消息（又称普通有序消息、分区有序消息）。 普通有序消息：在正常情况下可以保证完全的顺序消息，但是一旦发生通信异常造成Broker重启，队列总数发生变化，哈希取模后定位的队列会变化，因此会产生短暂的消息顺序不一致。如果业务能容忍在集群异常情况（如某个Broker宕机或者重启）下消息短暂的乱序，使用普通顺序方式比较合适。 严格有序消息：无论正常异常情况都能保证顺序，但是牺牲了分布式Failover特性，即Broker集群中只要有一台机器不可用，则整个集群都不可用（或者影响hash 值对应队列的使用），服务可用性大大降低。如果服务器部署为同步双写模式，此缺陷可通过备机自动切换为主避免，不过仍然会存在几分钟的服务不可用。