sectionaf1f4cd067bf253e)。 Kafka实例的SSL证书有效期多长？ Kafka实例开启SASL时，需进行单向认证，证书有效期足够长（超过15年），客户端不需要关注证书过期风险。 如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例之间没有好的实时同步方案，如果需要做实例迁移，可以同时向两个实例生产消息，源实例中的消息可继续消费，待源实例的消息数据全部被消费完或老化后，业务可迁移到新的Kafka实例。 Kafka实例的SASLSSL开关如何修改？ Kafka SASLSSL开关不支持购买实例后修改，在购买时，请慎重选择，如果购买后需要修改，需要重新购买实例。 开启IPv6的实例不支持动态修改SASLSSL开关。 SASL认证机制如何修改？ 实例创建后，不支持修改SASL认证机制。如果需要修改，请重新购买实例。 修改企业项目，是否会导致Kafka重启？ 修改企业项目不会导致Kafka重启。 Kafka服务和ZK是部署在相同的虚拟机中，还是分开部署？ Kafka服务和ZK部署在相同的虚拟机中。 Kafka包周期实例不支持删除吗？ 可以删除。登录Kafka控制台，在包周期实例所在行，单击“更多 > 退订”，完成实例的删除。 Kafka支持哪些加密套件？ 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 购买实例时选择的单AZ，怎样可以扩展为多AZ？ 已购买的实例无法扩展AZ，请重新购买多AZ的实例。

步骤二：测试验证 1. 登录分布式消息服务RabbitMQ控制台。 2. 在左侧导航栏，单击实例列表，选择事件流的源实例。 3. 在队列管理页面，选择源对应队列，点击生产拨测。 4. 在对话框输入想要发送的消息，然后点击发送。 5. 发送消息后返回实例列表，选择事件流的目标实例，进入管理。 6. 在队列管理页面，选择目标对应队列，点击消费拨测，查询目标队列对应的消息。 7. 查看查询到消息体与消息属性是否与预期一致，如图2所示。 图2 在分布式消息服务RabbitMQ管理控制台中查看消息详情

介绍分布式消息服务RocketMQ功能使用限制。 参数限制 RocketMQ是一个高性能、高可靠、可伸缩的分布式消息队列系统，但也有一些使用限制需要注意。以下是一些常见的RocketMQ使用限制： 限制项 限制说明 topic名字 限制2到64个字符，超过限制会导致创建主题失败，用户创建主题只能包含大小写字母数字以及和符号。 group名字 限制2到64个字符，超过限制会导致创建订阅组失败，用户创建订阅组只能包含大小写字母数字以及和符号。 AccessKey 高级版引擎在角色管理中创建AccessKey只能包含大小写字母数组以及符号，长度限制必须大于6个字符小于64个字符。 SecretKey 高级版引擎角色管理创建SecretKey必须包含大小写字母数字以及以下特殊符号：!@ $%，长度限制必须大于8位小于64个字符。 延时消息的发送时间点 最大支持40天的延时时间点，超过40天将发送失败。 消息大小 普通消息和顺序消息大小限制4MB，延时消息消息大小限制16KB，超过限制会导致消息发送失败。 消息存储时长 消息存储时长限制默认为7天，超过最长存储时间的消息会被删除。 资源配额 限制项 限制说明 单地域实例数 实例总数不超过100个。 单代理TPS 由购买的实例规格决定，具体限制值，请参见实例规格限制。 单代理Topic数量 由购买的实例规格决定，具体限制值，请参见实例规格限制。 单代理消费组数量 由购买的实例规格决定，具体限制值，请参见实例规格限制。

流程说明 1. 创建 死信交换机（DLX） 和 死信队列 2. 创建业务队列，并配置： xdeadletterexchange xdeadletterroutingkey 3. 消息进入业务队列并等待 TTL 到期 4. 消息过期后转入 DLX 5. 消费者从最终队列中消费消息 代码示例 java // 声明死信交换机 channel.exchangeDeclare("dlxexchange", "direct", true); // 声明死信队列 channel.queueDeclare("dlxqueue", true, false, false, null); channel.queueBind("dlxqueue", "dlxexchange", "dlxroutingkey"); // 创建业务队列并设置死信规则Map args new HashMap<>(); args.put("xdeadletterexchange", "dlxexchange"); args.put("xdeadletterroutingkey", "dlxroutingkey"); args.put("xmessagettl", 10000); //队列级TTL：10秒 channel.queueDeclare("businessqueue", true, false, false, args); //发送消息（消息级 TTL） AMQP.BasicProperties props new AMQP.BasicProperties.Builder() .expiration("5000") // 5 秒后过期 .build(); channel.basicPublish("","businessqueue",props,"延迟消息".getBytes(StandardCharsets.UTF8)); 特点说明 TTL 优先级 同时设置消息 TTL 和队列 TTL 时，取较小值 延迟精度 依赖队列头部过期检查机制，精度非严格实时 实现成本 无需额外组件，但配置相对复杂 方案二：延时消息插件方案 实现原理 通过声明特殊类型的交换机，使消息在 Exchange 层面延迟投递 。 消息在延迟时间到期前不会进入正常路由流程。

resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例Id。 说明 实例Id可在分布式消息服务Kafka管理控制台实例详情页获取。 无 topic 是 CONSTANT Kafka主题。 无 value 是 CONSTANT ORIGINAL JSONPATH TEMPLATE 消息体。 如果form选择TEMPLATE，则在此处配置模板。详见 key 是 CONSTANT EMPTY JSONPATH TEMPLATE 消息键值。 如果form选择TEMPLATE，则在此处配置模板。详见

使用场景 RabbitMQ仪表盘支持实时监控消息流、排查生产消费异常、配置与维护队列 / 交换机 / 绑定、权限管理及集群状态查看，是 RabbitMQ 运维与开发调试的核心工具。 指标说明 指标 指标含义 可消费消息数 队列中已经准备好等待消费者去获取和处理的消息数量。 连接数 当前与 RabbitMQ 服务器建立的 TCP 连接总数。每个生产者或消费者客户端都需要与 RabbitMQ 建立一个 TCP 连接。 信道数 在所有 TCP 连接上打开的 AMQP 信道总数。信道是在 TCP 连接内部建立的虚拟连接，用于多路复用，以减少建立和关闭 TCP 连接的开销。 消费者数 当前所有队列上注册的消费者总数。一个消费者可以监听一个或多个队列。 交换器生产速率 单位时间内发送到某个交换器的消息数量。 交换器消费速率 单位时间内从某个交换器路由到其绑定队列的消息数量。 队列生产速率 单位时间内发送到某个队列的消息数量。 队列消费速率 单位时间内从某个队列成功投递给消费者并收到确认（ACK）的消息数量。 队列可消费消息数 某个队列中当前处于 "Ready" 状态的消息数量。 队列消费者数 当前正在监听某个队列的消费者数量。 VHost连接数 当前连接到某个特定 VHost 的 TCP 连接总数。 VHost信道数 当前在某个特定 VHost 的所有连接上打开的信道总数。 VHost每个连接的信道数 某个 VHost 的信道总数除以其连接总数得到的平均值。

本章介绍函数工作流如何使用开源Kafka（OPENSOURCEKAFKA）触发器。 使用开源Kafka触发器后，FunctionGraph会定期轮询开源Kafka指定Topic下的新消息，FunctionGraph将轮询得到的消息作为参数传递来调用函数。 前提条件 进行操作之前，需要做好以下准备。 已经创建函数。 创建Kafka触发器，必须开启函数工作流VPC访问，请参见配置网络。 创建开源Kafka触发器 1、登录函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、选择“设置 > 触发器”，单击“创建触发器”，弹出“创建触发器”对话框。 4、设置以下信息。 触发器类型：选择“开源Kafka（OPENSOURCEKAFKA）”。 连接地址：搭建kafka的broker地址列表，以逗号分隔。 主题：用户自建的topic。 批处理大小：单次函数拉取最大数据量。 5、单击“确定”，完成开源kafka触发器的创建。 说明 函数网络配置需要和创建kafka的ecs节点网络配置一样，包括vpc和子网。 激活kafka触发器 开源Kafka触发器创建完成后默认是停用状态，需要在触发器界面上单击“启动”。 说明 如果启动失败可以联系技术支持工程师。 配置Kafka事件触发函数 1、返回函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数，单击进入函数详情页。 3、在函数详情页，选择函数版本。 4、在“代码”页签下，单击“测试”，弹出“配置测试事件”对话框。 5、填写如下所示测试信息后，单击“保存”。 表 测试信息 参数 说明 配置测试事件 可创建新的测试事件也可编辑已有的测试事件。选择默认值：“创建新的测试事件”。 事件模板 选择"kafkaeventtemplate"模板，使用系统内置Kafka事件模板。 事件名称 事件名称必须以大写或小写字母开头，支持字母（大写或小写），数字和下划线“”（或中划线“”），并以字母或数字结尾，长度为125个字符，例如kafka123test。 测试事件 自动加载系统内置kafka事件模板，本例不做修改。 6、单击“测试”，可以得到函数运行结果，函数会返回输入kafka消息数据。

介绍分布式消息服务RabbitMQ创建虚拟主机操作内容。 背景信息 虚拟主机，用作逻辑隔离，分别管理各自的交换器、队列和绑定，使得应用安全地运行在不同的虚拟主机上，相互之间不会干扰。一个实例下可以有多个虚拟主机，一个虚拟主机里面可以有若干个交换器和队列。生产者和消费者连接分布式消息服务 RabbitMQ 版需要指定一个虚拟主机。 操作步骤 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“集群管理”后点击“虚拟主机”到达虚拟主机管理页面，点击“新建”按钮。 （5）点击“新建”后出现以下创建，输入虚拟主机名称后点击确定。 注意：设置虚拟主机名称时，有如下要求： 虚拟主机名称只能包含字母、数字、短划线（）、下划线（）。 虚拟主机名称长度限制在1~64个字符。 虚拟主机创建成功后，Vhost名称不可修改。

本节介绍了分布式消息服务RabbitMQ产品常见操作类问题。 无法被路由的消息，去了哪里？ 如果没有任何设置，无法路由的消息会被直接丢弃。 无法路由的情况：Routing key不正确。 解决方案： 1.使用mandatorytrue配合ReturnListener，实现消息回发。 2.声明交换机时，指定备份交换机。 多个消费者监听一个队列时，消息如何分发？ 1.RoundRobin（轮询） 默认的策略，消费者轮流、平均地收到消息。 2.Fair dispatch（公平分发） 如果要实现根据消费者的处理能力来分发消息，给空闲地消费者发送更多消息，可以用basicQos(int prefetchcount)来设置。prefetchcount含义：当消费者有多条消息没有响应ACK时，不再给这个消费者发送消息。 消息在什么时候会变成Dead Letter(死信)？ 1.消息被拒绝并且没有设置重新入队：(NACK Reject ) && requeue false 2.消息过期(消息或者队列的TTL设置) 3.消息堆积，并且队列达到最大长度，先入队的消息编程DL。 解决方案：可以在声明队列时，指定一个Dead Letter Exchange，来实现Dead Letter的转发，保证消息不会丢失。 如何进行消息持久化？ 所谓持久化，就是RabbitMQ将内存中的数据（比如交换机、队列、消息等）固化到磁盘，以防止异常情况的发生时造成数据丢失。 持久化分类 说明 交换机持久化 在创建Exchange时设置durable参数参数。channel.exchangeDeclare(EXCHANGENAME, "direct", true); 队列持久化 同样也是设置设置durable参数。持久化的队列会存盘，在服务器重启的时候可以保证不丢失相关信息。channel.queueDeclare(QUEUENAME, true, false, false, null); 消息持久化 即使交换机、队列持久化不会因为重启丢失，但是存储在队列中的消息仍然会丢失。解决的办法就是设置消息的投递模式为2，即代表持久化(JAVA)。理论上，可以将所有的消息都设置为持久化，但是这会严重影响RabbitMQ性能，因为写入到磁盘的速度可比写入到内存的速度慢非常多。因此，在选择是否要持久化消息时，需要在可靠性和吞吐量之间做一个权衡。

分布式消息服务RabbitMQ的产品优势主要包括以下几个方面： 高可用性 分布式消息服务RabbitMQ主要通过以下三种方式保证服务的连续性和可靠性： 支持生产消费自动负载均衡 多个消费者：在RabbitMQ中，可以创建多个消费者来同时消费同一个队列中的消息。RabbitMQ会将消息平均地分配给这些消费者，从而实现负载均衡。 发布/订阅模式：使用RabbitMQ的发布/订阅模式可以实现自动负载均衡。在这种模式下，生产者将消息发送到交换机，然后交换机将消息广播给绑定到它的所有队列。每个队列上都可以有多个消费者，它们会共享接收到的消息负载。 优先级队列：RabbitMQ支持创建优先级队列，可以根据消息的优先级进行排序和传递。通过使用优先级队列，可以确保高优先级的消息能够更快地被处理，从而实现负载均衡。 lvs节点故障时的自动主备切换 配置镜像队列：首先，你需要在RabbitMQ集群的各个节点之间配置镜像队列。镜像队列会将消息复制到备用节点上，在主节点发生故障时，备用节点会接管主节点的工作。 心跳检测：RabbitMQ会通过心跳机制监测节点之间的连接状态。如果主节点无法进行正常通信（比如网络故障或节点崩溃），备用节点会被选举为新的主节点。 节点选举：当主节点无法通信时，RabbitMQ集群中的其他节点会开始进行选举，选择一个备用节点来替代主节点。选举过程中，节点会相互通信并比较彼此的状态和能力。最终，一个节点会被选举为新的主节点。 自动切换：一旦新的主节点被选举出来，RabbitMQ集群就会自动切换到新的主节点，并开始处理消息。客户端可以通过相同的连接重新连接到新的主节点，并继续发送和接收消息。 镜像队列安全备份 数据复制: RabbitMQ的镜像队列通过在多个节点之间复制队列的消息来提供冗余备份。每个节点都维护自己的完整队列副本，这样当一个节点发生故障时，其他节点将能够接管并继续处理消息。 同步复制: 镜像队列支持同步复制和异步复制两种模式。在同步复制模式下，所有的写入操作都会等待所有镜像节点都完成相同的操作，这样可以确保数据的一致性。但是这会增加写入操作的延迟。 容错机制: 当一个节点失效时，RabbitMQ会自动将该节点上的队列重新分配给其他正常工作的节点。这个过程是自动的，无需人工干预。因此，即使整个节点失效，消息也不会丢失。 高可用性: 镜像队列提供了高可用性的保证。如果一个节点故障，其他节点将自动接管该节点上的队列并继续处理消息，从而确保系统的可靠性和可用性。 故障恢复: 当一个节点失效后重新启动时，RabbitMQ会自动将该节点上的队列重新同步到新的镜像节点上，以确保数据的完整性和一致性。

参数 描述 Topic 选择目标端需要同步到的Topic。 投送到kafka的数据格式 选择Oracle投送到kafka的数据格式。 Avro：可以显示Avro二进制编码，高效获取数据。 Json：为Json消息格式。详细格式可参考Kafka消息格式。 同步对象 同步对象支持表级同步，您可以根据业务场景选择对应的数据进行同步。 选择对象的时候支持搜索，以便您快速选择需要的数据库对象。

介绍分布式消息服务Kafka认证与访问控制方式 分布式消息服务Kafka支持CTIAM身份认证和多种访问控制，多维度保障您数据的安全。 身份认证 CTIAM 统一身份认证（Identity and Access Management， 简称：CTIAM）是提供用户进行权限管理的基础服务，可以帮助您安全的控制天翼云服务和资源的访问及操作权限，包括：用户身份认证、权限分配、访问控制等功能。具体介绍请参考统一身份认证产品介绍。 您可以创建IAM用户，并为其设置关联分布式消息服务Kafka实例权限，该用户就可以通过用户名和密码访问授权的实例资源。具体请参见统一身份认证快速入门创建IAM用户。 访问控制 权限控制 购买分布式消息服务Kafka实例之后，您可以使用CTIAM为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，通过CTIAM进行精细的权限管理。 VPC和子网 虚拟私有云（Virtual Private Cloud，VPC）为分布式消息服务Kafka构建隔离、私密的虚拟网络环境，提升数据库的安全性，并简化用户的网络部署。您可以完全掌控自己的专有网络，VPC丰富的功能帮助您灵活管理云上网络，包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。通过子网与其他网络隔离，独享网络资源，提高网络安全性。具体内容请参见虚拟私有云用户指南创建虚拟私有云和子网 。 安全组 安全组是一个逻辑上的分组，可以为同一个虚拟私有云内具有相同安全保护需求并相互信任的Kafka实例提供相同的访问策略。您可以通过为数据库实例设置安全组，开通需访问Kafka实例的IP地址和端口，来保证保障其运行环境的安全性和稳定性。具体请参见配置安全组

介绍APM监控详情里消息监控中的KafkaConsumer相关指标的名称、含义等信息。 KafkaConsumer监控指标说明表 指标类别 指标 指标说明 数据类型 主题 (Topic，Kafka的Topic监控数据) id Clientid和IP信息 Enum 主题 (Topic，Kafka的Topic监控数据) topic Kafka的Topic名称 Enum 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerbytesconsumedrate 每秒消费字节 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerfetchsizeavg 请求获取平均字节 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerfetchsizemax 请求获取最大字节 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerrecordsconsumedrate 每秒消费消息数 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerrecordsperrequestavg 单次请求平均消息数 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerrecordsconsumedrate 总消费次数 Int 主题 (Topic，Kafka的Topic监控数据) kafkaconsumerrecordsperrequestavg 总消费字节数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) errorCount 错误数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) invokeCount 调用次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) maxTime 最慢调用 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms0To10Count 010ms次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms10To100Count 10100ms次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms100To500Count 100500ms次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms500To1000Count 5001000ms次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) ms1000To10000Count 110s次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) msMorethan10000Count 10s以上次数 Int Kafka消费方法监控 (Consumer，Kafka消费方法监控) totalTime 总响应时间 Int 汇总（Total，KafkaConsumer汇总信息统计） recordConsumedTotal 总消费次数 Int 汇总（Total，KafkaConsumer汇总信息统计） bytesConsumedTotal 总消费字节数 Int 异常 (Exception，Kafka消费异常信息) exceptionstacktrace 异常产生的堆栈信息 String 异常 (Exception，Kafka消费异常信息) exceptiontype 异常类型 String 异常 (Exception，Kafka消费异常信息) exceptioncount 错误数 Int

本节介绍了在RabbitMQ实例中如何创建、修改和删除操作策略。 背景信息 RabbitMQ操作策略管理是一种用于管理RabbitMQ服务器的功能，它允许管理员定义和控制各种操作策略以满足特定的需求和约束。 操作策略可以应用于多个方面，包括队列、交换机、绑定和连接等。通过操作策略管理，管理员可以定义以下内容： ● 长度限制：管理员可以设置队列的最大长度，以防止队列无限增长导致资源耗尽。当队列达到指定的长度限制时，可以选择丢弃新的消息或者拒绝新的连接。 ● 时间限制：管理员可以设置队列中消息的最大存活时间，以防止消息在队列中长时间滞留。一旦消息超过指定的时间限制，可以选择将其丢弃或者转发到其他队列。 ● 内存限制：管理员可以设置队列或交换机的最大内存使用量，以防止RabbitMQ服务器的内存资源被过度消耗。当达到指定的内存限制时，可以选择丢弃消息或者拒绝新的连接。 ● 消息优先级：管理员可以为消息设置优先级，以确保重要的消息能够优先处理。可以通过操作策略管理来定义消息优先级的规则和行为。 ● 连接限制：管理员可以设置连接的最大数量，以限制同时连接到RabbitMQ服务器的客户端数量。这可以用于控制系统的负载和资源消耗。 通过操作策略管理，管理员可以根据实际需求和约束对RabbitMQ服务器进行细粒度的控制和管理。这有助于提高系统的可靠性、性能和可伸缩性，并确保消息队列系统能够适应各种场景和负载。

本节介绍分布式消息服务Kafka计费类常见问题 可以购买哪些版本？ 不同资源池可购买的版本、规格不一致，具体请查看产品规格说明 （1）华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 可以选购Kafka引擎，选择主机类型、节点规格、节点数和存储空间。 （2）芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 可以选购高级版和基础版两个版本。 到期后如何续费？ 在集群列表中点击“续费”，进入购买时长页面，购买成功后自动续费。 手动续订：对于包年/包月订购的分布式缓存服务，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 产品订购时可选资源池节点不一致？ 已上线资源池节点的剩余容量达到一定比例后，为确保老客户权益，将不再面向新客户开放，产品订购时的可选资源节点范围以实际为准。

本文主要介绍消息堆积对业务的影响及解决办法。 消息堆积对业务的影响 过量的消息堆积可能会引起内存或磁盘告警，从而造成所有connection阻塞，进而影响到其他队列的使用，导致整体服务质量的下降。 消息堆积产生的原因 1. 一般来说消息堆积是由于生产消息的速率远大于消费消息的速率所导致的。比如某个时间段消费端处理消息异常缓慢，发送一条消息只要3秒钟，而消费一条消息需要1分钟，每分钟发送20个消息，只有一个消息被消费端处理，这样队列中就会产生大量的消息堆积。 2. 消费者出现异常，生产者一直在发送消息，但是消费者不能消费，造成消息积压。 3. 消费者没有出现异常，但是消费者与队列间的订阅可能出现了异常，也会导致消息无法被消费从而造成堆积的情况。 4. 消费者正常，与队列间的订阅也正常，但是消费端的代码本身逻辑耗费时间长导致了消费能力降低，这时候就会出现1中的情况从而导致消息堆积。 解决消息堆积的办法 1. 生产速率较快，消费速率较慢 ：您可以通过以下方法解决。 增加消费者数量提高消费速率。 采用生产者确认的发送模式，并监控生产端消息生产速度和时长，当消息生产时长有明显增加时进行流控措施。 2. 消费者异常 ：建议排查消费者逻辑是不是有问题，优化程序。 3. 消费者与队列间的订阅异常 ：建议排查队列和消费者之间的订阅是否正常。 4. 消费端的代码本身逻辑耗费时间长 ：建议给消息设置过期时间，设置方法如下： 在生产消息时，设置消息过期时间。消息过期时间以expiration值体现。 在properties中设置expiration值，单位为毫秒(ms)。 AMQP.BasicProperties properties new AMQP.BasicProperties().builder() .deliveryMode(2) .contentEncoding("UTF8") .expiration("10000") .build(); String message "hello rabbitmq"; channel.basicPublish(exchange, routingKey, properties, message.getBytes(StandardCharsets.UTF8)); 在Web界面中设置expiration值，单位为毫秒(ms)。 登录Web界面，在“Exchanges”页签，单击Exchange名称，进入Exchange详情页。在“Publish message”区域，设置expiration值，如下图所示。 设置队列过期时间。队列过期时间以xmessagettl值体现。从消息进入队列开始计算，超过了配置的队列过期时间，消息会自动被删除。 在客户端代码中设置xmessagettl值，单位为毫秒(ms)。 Map arguments new HashMap (); arguments.put("xmessagettl", 10000); channel.queueDeclare(queueName, true, false, false, arguments); 在Web界面新建队列时，设置xmessagettl值，单位为毫秒(ms)。 登录Web界面，在“Exchanges”页签，新建队列时，设置xmessagettl值，如下图所示。

本章节主要介绍翼MapReduce运行kafka作业。 用户可将自己开发的程序提交到翼MR中，执行程序并获取结果。本章节教您在翼MR集群后台如何提交一个新的kafka作业。 通过后台提交作业 1. 登录翼MR管理控制台。 2. 选择“我的集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3. 在“节点管理”页选中单击Master节点，选择要进入的Master节点。 4. 单击该节点右侧的“远程连接”。 5. 根据界面提示，输入Master节点的用户名和密码，用户名、密码分别为root和创建集群时设置的密码。 6. 创建kafka的topic。 plaintext /usr/local/kafka/bin/kafkatopics.sh zookeeper :2181/kafka topic create 7. 当前集群默认开启Kerberos认证，执行以下命令添加认证信息。 plaintext export KAFKAOPTS"Djava.security.krb5.conf/etc/krb5.conf Djava.security.auth.login.config/usr/local/kafka/config/kafkajaas.conf" 8. 向topic中写入消息。 plaintext /usr/local/kafka/bin/kafkaconsoleproducer.sh brokerlist :9092 topic producer.config /usr/local/kafka/config/producer.properties 9. 消费topic中的消息。 plaintext /usr/local/kafka/bin/kafkaconsoleconsumer.sh bootstrapserver :9092 topic consumer.config /usr/local/kafka/config/consumer.properties frombeginning maxmessages 5 注意 frombeginning：只能消费未被消费的历史数据，已消费数据不会出现。 maxmessages：最多消费多少条数据。

查看Prometheus监控数据 1. 登录分布式消息服务Kafka控制台。 2. 在实例列表页面，点击目标Kafka实例名称。 3. 在左侧导航栏，单击消息查询，可选择按时间查询，并选择目标Topic。 4. 点击消息详情，即可查看您导入的Prometheus监控数据。

Topic详情 展示当前Topic的统计指标、队列分布信息、消费组、生产组的情况。 1、队列信息 2、消费组 标识正在连接该topic的消费组列表。 消费方式分为两种： CONSUMEPASSIVELY为push消费模式 CONSUMEACTIVELY为pull消费模式 路由 展示topic的队列分布情况，队列分布在哪些broker上 RocketMQ的队列分布情况是根据Broker的配置和主题的配置来确定的。在RocketMQ中，每个主题可以有多个队列，每个队列可以有多个Broker来提供服务。 队列的分布情况可以通过以下几个因素来确定： Broker的配置：在RocketMQ中，每个Broker都有一个唯一的名称，可以通过名称来识别和配置Broker。当创建主题时，可以指定消息队列的数量和分布策略。分布策略可以是固定的，也可以是根据一定规则动态分配的。 主题的配置：在创建主题时，可以指定队列的数量和分布策略。分布策略可以是按照固定数量进行分配，也可以是根据一定规则进行动态分配。例如，可以将消息队列均匀地分布在不同的Broker上，也可以根据消息的属性将消息路由到不同的队列。 负载均衡策略：RocketMQ提供了多种负载均衡策略，用于在Broker集群中均衡地分布消息队列。负载均衡策略可以根据Broker的负载情况、网络延迟等因素来进行动态调整，以确保消息队列的均衡分布和高效处理。 总的来说，RocketMQ的队列分布情况是根据Broker的配置、主题的配置和负载均衡策略来确定的。通过合理的配置和使用负载均衡策略，可以实现消息队列的均衡分布和高效处理，提高消息系统的性能和可扩展性。

本节介绍了编译工程生产消费的主要内容点,包括引入依赖、绑定BindingKey、生产消息和消费消息。 前提条件 创建分布式消息服务RabbitMQ相应环境。 操作步骤 RabbitMQ是一个开源的消息队列中间件，支持生产者和消费者之间的异步通信。在上述资源准备完成后，接下来需要编译工程生产消费，主要分以下几个步骤： 1、编写生产者代码：使用编程语言编写一个生产者程序。该程序将连接到RabbitMQ服务器，并将消息发送到队列中。 2、编写消费者代码：同样使用编程语言编写一个消费者程序。该程序将连接到RabbitMQ服务器，并从队列中接收消息。 3、运行生产者和消费者：运行生产者程序，它将发送消息到队列中。然后运行消费者程序，它将从队列中接收并处理消息。 4、验证结果：检查生产者和消费者程序的输出，确保消息被正确发送和接收。 引入依赖 在使用RabbitMQ时，你需要在你的项目中引入相应的依赖。具体的依赖项可能会因你的项目和需求而有所不同。在使用RabbitMQ之前，请确保查阅官方文档以获取最新的依赖项和使用说明。 以Java编程语言为例，可以使用RabbitMQ的Java客户端库。你可以在Maven或Gradle构建工具中添加以下依赖项： com.rabbitmq amqpclient 5.7.0 可以通过下载JAR包来引入依赖。 绑定BindingKey 在RabbitMQ中，绑定键（Binding Key）是用于绑定交换机（Exchange）和队列（Queue）的关键字。当一个消息被发送到交换机时，交换机会根据绑定键将消息路由到相应的队列中。 绑定键是在创建绑定（Binding）时指定的，它定义了消息应该如何被路由到队列。绑定键通常与消息的属性或内容进行匹配，以确定消息应该发送到哪个队列。 绑定键可以具有不同的形式，取决于使用的交换机类型。以下是一些常见的绑定键形式： 接匹配（Direct Match）：绑定键与消息的路由键（Routing Key）完全匹配时，消息会被路由到相应的队列。 通配符匹配（Wildcard Match）：绑定键可以使用通配符进行模式匹配。常见的通配符有和

本文介绍天已支持翼云APP产品控制台的云产品。 天翼云支持在天翼云APP对云产品进行管理。 天翼云APP产品控制台支持的云产品 1、弹性云主机（一类节点） 2、天翼云电脑（政企版）（一类节点） 3、分布式消息服务Kafka（一类节点） 4、分布式缓存服务Redis版（一类节点） 5、云容器引擎（一类节点） 6、关系数据库MySQL版（一类节点 II 类型资源池） 7、媒体存储（通用） 8、对象存储（经典版）I型（一类节点） 9、备案（通用） 更多产品管理控制台正在接入中，敬请期待，如对产品控制台有任何建议，欢迎提交建议与反馈

异步通信 RabbitMQ是一个消息中间件，可以用于异步通信。在用户注册场景中，RabbitMQ可以用于发送和接收注册相关的消息。 下面是一个异步用户注册流程： 1. 用户提交注册表单。 2. 服务器接收到注册请求后，将用户提交的数据写入数据库，并生成一个唯一的用户ID。 3. 服务器将用户ID封装成一个消息，发送到RabbitMQ的注册队列中。 4. 注册队列中的消息被一个或多个消费者监听。 5. 消费者接收到注册消息后，执行注册相关的逻辑，比如发送确认邮件、生成用户账号等操作。 6. 在完成注册逻辑后，消费者可以将结果封装成一个消息，发送到另一个队列中，比如发送注册成功通知给用户。 7. 另一个队列中的消息可以由一个或多个消费者监听，负责处理注册成功通知的逻辑。 使用RabbitMQ实现异步用户注册可以带来以下好处： 解耦：通过将注册请求和注册逻辑解耦，使得系统组件之间的依赖减少。 异步处理：用户不需要等待注册逻辑完成，而是可以立即返回一个成功的响应。真正的注册逻辑可以在后台完成，提高系统的并发能力。 可伸缩性：通过添加更多的消费者来处理注册消息，可以轻松地提高系统的吞吐量。 可靠性：RabbitMQ具备持久化消息的能力，即使在发生故障时也不会丢失消息。 需要注意的是，使用RabbitMQ进行异步通信需要对消息的可靠性进行处理，比如使用事务或者消息确认机制，以确保消息能够被成功处理。 高可用 RabbitMQ提供了多种方式来实现高可用性，确保消息队列的稳定和可靠性。以下是一些常用的方法： 1. 集群模式：RabbitMQ支持将多个节点组成集群，通过在多个节点之间复制消息队列和交换器，实现数据的冗余和高可用性。当一个节点发生故障时，其他节点可以接管其工作，确保消息的连续传递。 2. 镜像队列：RabbitMQ的镜像队列功能可以将队列的数据在多个节点之间进行复制。这样，当一个节点发生故障时，其他节点上的镜像队列可以继续提供服务，确保消息的可靠传递。 3. 自动化故障转移：RabbitMQ支持自动故障转移，当一个节点发生故障时，可以自动将其上的队列和交换器迁移到其他正常的节点上，确保消息的连续处理。 4. 心跳机制：RabbitMQ通过心跳机制来监测节点的健康状态。当一个节点长时间没有响应时，其他节点可以将其标记为不可用，并进行故障转移。 5. 负载均衡：通过在多个节点之间分配消息的处理负载，可以提高系统的吞吐量和可用性。RabbitMQ支持多种负载均衡算法，如轮询、随机等。 6. 数据备份和恢复：为了防止数据丢失，可以定期备份RabbitMQ的数据，并在节点故障时进行数据恢复。 通过以上的方法，可以实现RabbitMQ的高可用性，确保消息队列的稳定运行和数据的可靠传递。但是需要注意的是，高可用性的实现需要根据具体的需求和场景进行配置和调优。

指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） topicproducemsg 消息生产数 Topic一分钟收到的消息数单位：Count >0 RocketMQ实例队列 1分钟 topicconsumemsg 消息消费数 Topic一分钟被消费的消息数单位：Count >0 RocketMQ实例队列 1分钟 topicproducerate 消息生产速率 Topic每秒收到的消息数单位：Count/s >0 RocketMQ实例队列 1分钟 topicconsumerate 消息消费速率 Topic每秒被消费的消息数单位：Count/s >0 RocketMQ实例队列 1分钟 topicbytesinrate 生产流量 当前主题的生产流量单位：Byte/s说明：2022年5月16号及以后购买的实例，支持此监控项。 >0 RocketMQ实例队列 1分钟 topicbytesoutrate 消费流量 当前主题的消费流量单位：Byte/s说明：2022年5月16号及以后购买的实例，支持此监控项。 >0 RocketMQ实例队列 1分钟

产品分类 产品名称 存储 混合存储网关、云硬盘、弹性文件服务、媒体存储、云备份、云硬盘备份、对象存储、云主机备份、海量文件服务 OceanFS、云容灾、对象存储（经典版）I型、并行文件 网络与CDN 弹性IP、天翼云SDWAN、NAT网关、VPN连接、云间高速、虚拟私有云、弹性负载均衡、共享流量包、智能边缘云、云专线CDA、应用加速、边缘安全加速平台、CDN加速、智能DNS、VPC终端节点、全站加速、科研助手 计算 弹性云主机、天翼云电脑（政企版）、函数计算、弹性高性能计算、镜像服务、弹性伸缩服务、物理机、云骁智算平台、数据加密 数据库 关系数据库SQL Server版、关系数据库PostgreSQL版、分布式关系型数据库、关系数据库MySQL版、数据传输服务、文档数据库服务、数据管理服务、分布式缓存服务Redis版、时序数据库Influx版、分布式融合数据库HTAP、云数据库ClickHouse 监控与管理 云日志服务、应用性能监控 应用服务 API网关、EasyCoding敏捷开发平台、软件开发生产线CodeArts 数据库 关系型数据库MySQL版（CTRDS）、关系型数据库PostgreSQL版、关系型数据库SQL Server版、云数据库GaussDB、分布式关系型数据库、分布式融合数据库HTAP、文档数据库服务、时序数据库Influx版、分布式缓存服务Redis版 人工智能 AI能力开放平台、慧聚一站式智算服务平台 大数据 云搜索服务、大数据管理平台 DataWings、翼MapReduce 容器与中间件 应用服务网格、弹性容器实例、分布式容器云平台、容器镜像服务、分布式消息服务RabbitMQ、分布式消息服务RocketMQ、微服务应用平台MSAP、云容器引擎、分布式消息服务Kafka、微服务引擎注册配置中心、微服务引擎MSE、应用性能监控apm、分布式容器云平台CCSE ONE 安全及管理 云防火墙（原生版）、统一身份认证、密钥管理、服务器安全卫士（原生版）、云监控、Web应用防火墙（原生版）、证书管理服务、DDoS高防（边缘云版）、云堡垒机、Web应用防火墙（边缘云版）、云审计 企业应用 云通信短信 视频 视频直播、智能视图服务、云点播 专属云 专属云（计算独享型） 价格 账务 其他 数据库审计、云日志服务、轻量型云主机、云原生网关、API网关

本章介绍Kafka的网络带宽利用率监控告警配置指导。 使用场景建议 Kafka存在持续业务，避免出现客户端批量断链场景。 间断性业务场景不建议使用，会存在误告警。 新创建实例不建议设置告警。 告警通知设置，告警对象、告警组设置 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择目标实例所在的区域。 3. 在管理控制台左上角单击，搜索CES服务进入“云监控服务”界面。 4. 选择“告警 >告警通知”，单击“通知对象 >创建通知对象”，填写要通知的对象以及相关联系方式，如果已存在则跳过该步骤，重复该步骤可创建多个通知对象。 5. 选择“通知组 >创建通知组”，把步骤4创建的告警对象都纳入当前组进行管理。 设置告警规则 1. 选择“告警 >告警规则 >创建告警规则”。 参数 说明 名称 自定义名称 描述 自定义描述 告警类型 指标 资源类型 分布式消息服务 维度 Kafka专享版 Broker节点 监控范围 指定资源 监控对象 选择指定kafka实例的所有broker，可选择多个kafka实例 触发规则 自定义创建 告警策略 若++网络带宽利用率++ 的++原始值连续3次<++xx则++每5分钟 告警一次++ ++根据实际情况设置xx的紧急、重要、次要等告警++ 发送通知 打开 通知方式 通知组 通知组 选择上一步创建的通知组 通知内容模板 都可以选择系统模版 生效时间 每日00:00 – 23:59 触发条件 出现告警恢复告警都选 2. 单击“立即创建”。

Kafka实例规格参考 kafka.2u4g.cluster，三个代理 Kafka客户端连接数在3000以内，消费组个数在60个以内，业务TPS为100000以内时推荐选用。 kafka.4u8g.cluster，三个代理 Kafka客户端连接数在10000以内，消费组个数在300个以内，业务TPS为300000以内时推荐选用。 kafka.8u16g.cluster，三个代理 Kafka客户端连接数在20000以内，消费组个数在600个以内，业务TPS为600000以内时推荐选用。 kafka.12u24g.cluster，三个代理 Kafka客户端连接数在20000以内，消费组个数在600个以内，业务TPS为900000以内时推荐选用。 kafka.16u32g.cluster，三个代理 Kafka客户端连接数在20000以内，消费组个数在600个以内，业务TPS为1200000以内时推荐选用。 Kafka实例的存储空间估算参考 Kafka实例支持多副本存储，存储空间包含所有副本存储空间总和，您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估以及副本数量选择合适的存储空间。 例如：业务消息体积预估100GB，则磁盘容量最少应为100GB副本数 + 预留磁盘大小100GB。 Kafka实例支持对存储进行扩容，根据业务增长，随时扩容，节约成本。 Kafka实例Topic数量计算 Kafka实例对Topic分区数之和设置了上限，当达到上限之后，用户无法继续创建Topic。 所以，Topic数量和实例分区数上限、每个Topic的分区数有关，其中，每个Topic分区数可在创建Topic时设置，如下图，实例分区数上限参考上表。 图Topic的分区数 kafka.2u4g.cluster 3 broker实例的分区数上限为750。 如果该实例下每个Topic的分区个数都为3，则Topic个数为750/3250个。 如果该实例下每个Topic的分区个数都为1，则Topic个数为750/1750个。

本文主要介绍云日志服务的投递概述。 天翼云云日志服务可以将日志单元中的数据投递到天翼云对象存储ZOS与分布式消息服务kafka，以满足归档或者计算的需求。 转储至对象存储ZOS 您将云主机和云服务的日志数据上报至云日志服务后，可对日志存储时长进行设置，默认存储时间为365天，超出存储时间后，日志数据将会被自动清理。若您需要长期存储日志数据进行日志持久化，可使用日志转储功能，将日志数据转储至对象存储中进行长期保存。具体操作请查看转储至对象存储ZOS。 说明 日志转储的实时性较弱，通常为5分钟~30分钟。数据延迟依赖于存储系统。 关于对象存储更多内容，请参考对象存储产品文档。 转储至分布式消息服务kafka 云日志服务采集到数据后，支持将数据转储至对天翼云分布式消息服务kafka，用于实时流计算等场景。具体操作请查看转储至分布式消息服务kafka。

本文主要介绍计费项。 计费说明 分布式消息服务Kafka的计费项由实例费用和存储空间费用组成。 表 分布式消息服务Kafka计费项 计费项 计费项说明 适用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 购买时长 实例规格单价请参考产品价格。 存储空间费用 计费因子：云硬盘类型、容量 包年/包月、按需计费 存储规格单价 购买时长 存储规格单价请参考产品价格。 Smart Connect Smart Connect用于异构系统间的数据同步，开启Smart Connect后，设置Smart Connect任务可以实现Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步。 包年/包月、按需计费 开启Smart Connect后，实例会另外创建2个同规格、用于Smart Connect的代理，并收取相应的代理费用。例如：规格为kafka.4u8g.cluster的实例，会另外创建2个规格为kafka.4u8g的代理，用于Smart Connect，所以需要收取相应代理费用。 计费示例 计费场景 假如某用户于2023/03/18 15:30:00在“广州4”区域购买了一个按需计费的Kafka实例，规格配置如下： 规格：kafka.2u4g.cluster3 总存储空间：高I/O 300GB 用了一段时间后，用户发现Kafka实例当前规格无法满足业务需要，于2023/03/20 9:00:00升配为kafka.4u8g.cluster3。因为该Kafka实例打算长期使用下去，于2023/03/20 10:30:00将Kafka实例转为包年/包月计费，购买时长为1个月。那么在3~4月份，该Kafka实例总共产生多少费用呢？

系统解耦 以电商秒杀、抢购等流量短时间内暴增场景为例，传统做法是，用户下单后，订单系统发送查询请求到库存系统，等待库存系统返回请求结果给订单系统。如果库存系统发生故障，订单系统获取不到数据，订单失败。这种情况下，订单系统和库存系统是两个高耦合的子系统。 图4 系统高耦合 引入RabbitMQ消息队列，当用户下单后，将消息写入到RabbitMQ消息队列中，然后返回用户下单成功。 库存系统订阅下单的消息，消费下单消息，然后进行库操作。即使库存系统出现故障，也不影响用户下单。 图5 系统解耦 高可用 普通队列，由于队列以及队列内容仅存储在单代理上，当该代理故障后，对应的队列不可用。 RabbitMQ引入镜像队列机制，镜像队列是开源RabbitMQ 2.6.0版本新增的一个功能，允许集群将队列镜像到其他代理上，当集群某一代理宕机后，队列能自动切换到镜像中的其他代理，保证服务的可用性。 RabbitMQ引入仲裁队列机制，仲裁队列是开源RabbitMQ 3.8版本新增的一个功能，提供队列复制的能力，当集群某一代理宕机后，队列依旧可以正常运行，保证服务的可用性。

支持将分布式消息服务Kafka的重平衡日志接入LTS。重平衡日志记录了Rebalance的详情，包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务中，由LTS提供查询功能。 接入操作说明 1. 登录分布式消息服务Kafka管理控制台。 2. 在实例列表中，点击目标Kafka实例名称。 3. 点击左侧菜单栏“智能运维”重平衡日志。点击【立即开启】按钮，即可将Kafka日志接入至云日志服务的grouprebalancelog日志项目中。 4. 等待若干分钟后，系统将自动生成可视化仪表大盘。 5. 点击页面上方“日志查询”页签，即可查询详细的重平衡日志信息。 6. 您也可以登录云日志服务控制台，在“grouprebalancelog”日志项目中，可查看所有已接入日志服务的Kafka重平衡日志的日志单元，并进行查询、分析或告警配置等操作。

云终端 云服务名称 区域 控制台 OpenAPI 系统策略 云服务名称 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 天翼云电脑（政企版） 全局 是 是 是 是 有 天翼云手机 全局 是 是 是 是 有 CDN与边缘 云服务类别 区域 控制台 OpenAPI 系统策略 云服务类别 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 边缘安全加速平台 全局 是 是 是 是 有 容器与中间件 云服务名称 区域 控制台 OpenAPI 系统策略 云服务名称 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 分布式消息服务Kafka 全局 是 是 是 是 有 分布式消息服务RabbitMQ 全局 是 是 是 是 有 分布式消息服务RocketMQ 全局 是 是 是 是 有 微服务云应用平台 全局 是 是 是 是 有 云容器引擎 全局 是 是 是 是 有 弹性容器实例 全局 是 是 是 是 有 函数计算 全局 是 是 是 是 有 云日志服务LTS 全局 是 是 是 是 有 容器镜像服务 全局 是 是 是 是 有 分布式消息服务MQTT 全局 是 是 是 是 有 应用服务网格 全局 是 是 是 是 有 微服务引擎 全局 是 是 是 是 有

表名，表分区个数。 Hive HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计，展示的信息包括：用户、HQL语句、Map数目。 Hive HQL访问次数 周期内HQL访问次数统计信息。 Kafka Kafka磁盘使用率分布 Kafka集群的磁盘使用率分布统计。 Spark2x HQL访问次数 周期内HQL访问次数统计信息，展示信息包括用户名，HQL语句，执行该语句的次数。 Yarn 资源使用（按任务） l 任务使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用（按租户） l 租户所使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用比例（按租户） l 租户所使用的CPU核数和内存的比例。 l 可选择“按内存”或“按CPU”观察。 Yarn 任务耗时排序 对Yarn任务耗时进行排序显示。 Yarn ResourceManager RPC连接数（按用户） 统计连接到RM的Client RPC请求中，各个用户的连接数。 Yarn 操作数 统计Yarn每种操作类型对应的操作数及占比。 Yarn 队列中任务资源使用排序 l 在界面上选择某个队列（租户）后，显示在该队列中正在运行任务的消耗资源排序。 l 可选择“按内存”或“按CPU”观察。 Yarn 队列中用户资源使用排序 l 在界面上选择某个队列（租户）后，显示在该队列中正在运行任务的用户消耗的资源排序。 l 可选择“按内存”或“按CPU”观察。 ZooKeeper 资源使用（按二级Znode） l ZooKeeper服务二级znode资源状况。 l 可选择“按Znode数量”或“按容量”观察 ZooKeeper 连接数（按客户端IP） ZooKeeper客户端连接资源状况。