本文介绍分布式消息服务RocketMQ入门指引的创建主题和订阅组内容。 背景信息 在实例创建完成后，需要创建主题和订阅组来进行消息实例的日常功能运转。 主题：在RocketMQ中，主题（Topic）是消息发布的逻辑分组。它类似于一个消息的分类或者标签，帮助用户将不同类型的消息进行归类和管理。通常情况下，一个主题可以包含多个消息生产者和多个消息消费者。通过使用主题，RocketMQ能够实现高效的消息发布和订阅机制，帮助用户更好地管理和组织消息。 订阅组：订阅组是 RocketMQ 中的一个重要概念，用于实现消息的发布与订阅模式。一个订阅组可以包含多个消费者实例，这些实例共同消费同一个主题下的消息。当消息被发送到主题时，订阅组中的每个消费者实例会按照一定规则来均衡地接收消息，并进行相应的处理。订阅组是 RocketMQ 提供的一种灵活且可扩展的方式，用于实现消息的发布与订阅模式，并保证消息在消费者之间的均衡分配和可靠处理。 集群：RocketMQ集群是一种由多个节点（或者称为Broker）组成的分布式消息中间件系统。每个节点都具有相同的功能并且可以处理和存储消息。通过将消息分发到不同的节点，RocketMQ集群能够实现高可用性和可伸缩性。通过使用RocketMQ集群，可以实现消息传输的并行处理、容错性和高可用性，满足高并发场景下的消息传递需求。 创建主题 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【新建主题】按钮 5、 在弹出的新建主题页面，填写如下字段信息 1）默认展示当前集群名称，不可修改。 2）选择主题所在的Broker，按照实例创建时候选择的主备节点对数列出每个broker，可复选。 3）填写主题名称，名字限制2到64个字符，超过限制会导致创建主题失败，用户创建主题只能包含大小写字母数字以及和符号。 4）按照实际需求填写主题备注。 5）填写每个Broker分区数，分区数必须大于0，小于等于8，创建严格顺序队列时，设置分区数为1，且只能选择一个Broker。 6）选择生产模式，RocketMQ是一个开源的分布式消息中间件，它支持两种消息生产模式：有序和无序。 有序消息生产模式（Ordered Message）是指按照特定规则将消息发送到相同的Message Queue中，并且确保消息在消费者端按照相同的顺序进行消费。这种模式适用于那些需要严格按照消息顺序进行处理的场景，比如订单处理、流程审批等。 无序消息生产模式（Unordered Message）是指消息发送到不同的Message Queue中，每个Queue都是独立的。消费者可以并行地从多个Queue中消费消息，而无需关心消息的顺序。这种模式适用于那些不需要严格按照消息顺序处理的场景，比如日志收集、异步通知等。 需要注意的是，无论是有序还是无序消息生产模式，RocketMQ都提供了高可靠性的消息传输和存储，并支持水平扩展和高吞吐量的特性。根据具体的业务需求，选择适合的消息生产模式能够更好地满足应用的要求。 7）选择主题的读写权限，支持读写、只读、只写3类权限。 8） 完成主题信息填写后，保存确认即可新增主题。 9） 若希望批量创建主题，可点击【批量创建】按钮 批量创建 注意：输入的主题名不要带空格等特殊字符。 通过上传csv文件,批量创建主题。格式：点击【主题模板】按钮下载。 主题模板 批量上传主题的模板，必须使用模板，才能够上传成功，模板格式如下：

本章节介绍如何删除SASLSSL用户。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 通过以下任意一种方法，删除SASLSSL用户。 在“用户管理”页签，在待删除的SASLSSL用户所在行，单击“删除”。 在“用户管理”页签，勾选SASLSSL用户名左侧的方框，可选一个或多个，单击信息栏左上侧的“删除”。 说明 创建Kafka实例时设置的SASLSSL用户无法删除。 步骤 6 在弹出的“删除用户”对话框中，单击“是”，完成SASLSSL用户的删除。

前提条件： 1、提前开通专属云（计算独享型），并存留足够未分配的计算资源； 2、提前开通VPC、安全组等网络侧资源； 购买操作步骤： 步骤一：登录天翼云账号，切换至专属云（计算独享型）节点； 如已购买了专属云（计算独享型），在控制台的右上角节点区域，可见有独立专属云“dec”标识的节点，选择用户需要进行Kafka购买的专属云节点进入。 图 带专属云“dec”标识的节点如下： 步骤二：进入专属云节点后，在控制台中的产品列表中选择“分布式消息服务”，进入到服务控制台，在左侧菜单栏选择“Kafka专享版”，进入Kafka专享版实例列表页面。 图 专享版Kafka订购入口 步骤三：点击“购买Kafka实例”，进入订购页面，按提示进行相关规格选择与配置。 1）计费方式为“包年包月”； 2）可用区：客户可自行根据资源池多AZ支持情况选择可用区进行创建。 说明：专享版Kafka的实例为集群模式，支持选择1个或者3个及以上可用区。不支持选择2个可用区，选择时需要注意；该可用区选择后不支持更换。 3）实例名称及企业项目：按命名规范自定义，也可以默认系统分配的名称； 4）Kafka版本：当前支持2种版本选择，2.3.0和1.1.0，推荐时间2.3.0版本； 5）CPU架构：当前仅支持“x86计算”，保持默认值即可； 图 购买Kafka订购页 6）选择具体的队列规格类型，在规格的描述与说明中会有该队列的底层资源类型、代理数量、分区上限、消费组数量，供客户与业务系统需求匹配规格。 说明：当前订购规格后，暂不支持规格变更，请在订购时做好业务整体需求评估。 7）选择存储空间：此处有2种存储可以选择，分别是公有云的云硬盘、专属分布式存储。存储的类型均支持高IO、超高IO。 说明：1、选择云硬盘时，具体价格以公有云的云硬盘价格为准； 2、选择转属分布式存储时，需提前已购买了专属云（存储独享型），在“可用存储”右侧的“存储池”列表中进行选择。 3、根据实际需要选择存储Kafka数据的总磁盘大小。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 • 基准带宽为100MB/s时，存储空间取值范围：600GB ~ 90000GB。 • 基准带宽为300MB/s时，存储空间取值范围：1200GB ~ 90000GB。 • 基准带宽为600MB/s时，存储空间取值范围：2400GB ~ 90000GB。 • 基准带宽为1200MB/s时，存储空间取值范围：4800GB ~ 90000GB 图 订购页界面 图 选择云硬盘时存储类别 图 选择专属分布式存储时，需要提前购买专属存储，并在存储池列表中选择 8）选择私有云、安全组； 虚拟私有云可以为您的Kafka专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 虚拟私有云和子网在Kafka专享版实例创建完成后，不支持修改。 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 9）设置Kafka Manager的用户名、密码； Kafka Manager是开源的kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 10）选择订购时长； 11）点击“立即购买”之前，还可进入“更多配置”也进行高级配置。 1、SASLSSL开关，开启后则对数据进行加密传输，但会对性能造成下降； 客户端连接Kafka专享版实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 创建实例后，Kafka SASLSSL开关不支持修改，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您需要设置连接Kafka专享版实例的用户名和密码。 2、自动创建Topic，开关开启后，Topic将根据配置API接口自动创建。 选择开启“Kafka自动创建Topic”，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 12）点击“立即购买”，进入支付前规格确认界面。显示详细kafka 实例信息，价格。 13）确认实例信息无误且阅读并同意服务协议后，点击“去支付”进入购买支付环节，完成付款后则开启Kafka创建。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 • 当实例的“状态”变为“运行中”时，说明实例创建成功。 • 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明： 创建失败的实例，不会占用其他资源。

本文主要介绍 重启Kafka Manager。 操作场景 当Kafka Manager无法登录或者无法使用时，例如下图中的报错，可以通过重启Kafka Manager，使Kafka Manager恢复正常。 图 报错信息 说明 重启Kafka Manager不会影响业务。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重启Kafka Manager。 在待重启Manager的Kafka实例所在行，单击“更多 > 重启Manager”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 重启Manager”。 步骤 5 单击“确定”。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示重启成功。

参数 说明 示例 实例名称 选择前提条件中已创建的分布式消息服务Kafka版实例。 KAFKAxxx Topic 选择当前实例中的Topic。 topic1 Group 快速创建 ：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有 ：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点 ：从最新位点开始消费。 最早位点 ：从最初位点开始消费。 最新位点

本节为您介绍数据库迁移工具目标库高级配置。 batch.size 用于指定缓冲区一批数据最大值 linger.ms 指定如果数据迟迟未达到 batch.size，等待linger.time之后就会发送数据 buffer.memory RecordAccumulator 缓冲区总大小 acks 0：生产者发送过来的数据，不需要等数据落盘应答 1：生产者发送过来的数据，Leader收到数据后应答 1（all）：生产者发送过来的数据，Leader+和 isr 队列里面的所有节点收齐数据后应答 max.in.flight.requests.per.connection 允许最多没有返回 ack 的次数，默认为 5，开启幂等性要保证该值是 15 的数字 retry.backoff.ms 当消息发送出现错误的时候，系统会重发消息的重试次数 compression.type 生产者发送的所有数据的压缩方式 partition 指定kafka分区

步骤二：替换证书 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击待替换证书的实例名称，进入实例详情页面。 步骤 5 在“连接信息 > SSL证书”后，单击“替换”，弹出“替换SSL证书”对话框。 图 连接信息 步骤 6 参考下表，设置替换SSL证书的参数。 图 替换SSL证书 表 替换SSL证书参数说明 参数名称 说明 Key密码 输入制作证书中设置的keystore密码 Keystore密码 输入制作证书中设置的keystore密码 Keystore文件 导入“server.keystore.jks”证书 Truststore密码 输入服务端证书的Truststore密码 Truststore文件 导入“server.truststore.jks”证书 步骤 7 单击“确定”，弹出“替换SSL证书”对话框。 步骤 8 单击“确认”，完成证书的替换。 在“后台任务管理”页签，替换SSL证书任务的“状态”为“成功”时，表示替换证书成功。 说明 证书替换成功后，在实例详情页单击“下载”，下载的证书为分布式消息服务Kafka提供的证书，并非您自己制作的证书。

操作场景 天翼云分布式消息服务Kafka为实例、主题、消费组的几个常用配置提供了默认值，在实例开通时默认配置，并支持在控制台手动修改，您可以根据具体的业务需求，自行修改。这几种常用的配置参数，根据是否需要重启Kafka实例，可以分为动态参数和静态参数： 动态参数：修改成功后，无需重启实例，立即生效 静态参数：修改成功后，只有重启实例才能生效 自定义参数 使用限制 已开通天翼云Kafka集群版实例，实例的运行状态为“运行中”。 单机版不支持修改配置参数。 操作步骤 1. 登陆管理控制台 2. 进入Kafka管理控制台 3. 在实例列表页的操作列，目标实例行点击“管理” 4. 点击“配置参数”，在待修改参数所在行，单击“编辑”，修改配置参数。 5. 单击“保存”，完成参数的修改。 参数说明 动态参数 参数 参数说明 参数范围 默认值 log.flush.interval.messages 消息条数刷盘阈值，当实例 broker 接收的消息条数达到阈值时，将触发消息刷盘 1~9223372036854775807 9223372036854775807 min.insync.replicas 当 producer 将 acks 设置为 “all” (或“1”) 时，此配置指定必须确认写入才能被认为成功的副本的最小数量 1~3 1 message.max.bytes kafka 允许的 topic 最大单条消息大小（单位：字节） 0~10485760 10485760 max.connections.per.ip 每个 ip 允许的最大连接数。超过此连接数的连接请求将被丢弃 100~20000 1000 unclean.leader.election.enable 是否能够使不在 ISR 中 replicas 设置用来作为 leader true,false false

本文主要介绍查看磁盘使用量。 本章节指导您在控制台查看每个代理上磁盘的使用量。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 在“磁盘存储统计”页签，查看磁盘的使用量。 图 查看磁盘的使用量 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询：使用量排名前xx 个、使用量达到xx GB和使用占比达 xx %。 在页面右上角，单击“查看监控数据”，跳转到云监控服务的监控指标页面。在监控指标页面，您可以查看Kafka实例的各项监控指标。

计费项 分布式消息服务MQTT的计费项由实例费用组成，具体费用详情见下文实例规格单价。 计费项 含义 适用的计费模式 实例费用 用户选择的选择的实例规格计费，具体请参见产品规格。 按需/包周期 说明 分布式消息服务MQTT如下资源池支持X86计算CPU架构类型的计算增强型主机，提供集群和单机两种规格实例，集群版可选39代理数量。 目前在 华东1、长沙42、华南2、武汉41、西南1、华北2、呼和浩特3、太原4 资源池开放订购。 上述资源池订购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务MQTT实例费用单价如下表所示，计费公式为： 实例费用实例规格单价 代理数量，单机版代理数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) mqtt.2u4g.cluster 0.98 441 mqtt.4u8g.cluster 2.24 1008 mqtt.8u16g.cluster 4.86 2187 mqtt.12u24g.cluster 7.38 3321 mqtt.16u32g.cluster 9 4050

场景描述 RocketMQ的Topic是消息的逻辑分类单位，用于将消息进行分组和管理。创建Topic的场景可以根据具体业务需求来确定，以下是一些常见的场景描述： 消息发布与订阅：当需要实现消息发布与订阅模式时，可以创建一个主题来管理相关的消息。发布者可以将消息发送到该主题，而订阅者可以订阅该主题以接收感兴趣的消息。 事件驱动架构：在事件驱动的架构中，不同的模块之间通过事件进行通信。每个事件可以对应一个主题，模块可以将事件发送到相应的主题，其他模块可以订阅该主题以接收事件通知。 日志收集与分析：当需要收集大量的日志数据并进行分析时，可以创建一个主题来管理日志消息。日志产生者可以将日志消息发送到该主题，而日志消费者可以订阅该主题以进行实时分析或存储。 异步处理：当需要将某些操作异步处理时，可以创建一个主题来管理相关的异步消息。操作发起者可以将异步消息发送到该主题，而异步处理器可以订阅该主题以进行后续的异步处理。 分布式事务消息：在分布式系统中，当需要实现分布式事务消息时，可以创建一个主题来管理相关的事务消息。事务发起者可以将事务消息发送到该主题，而事务消费者可以订阅该主题以进行事务的处理和确认。 总的来说，创建主题的场景可以根据具体的业务需求来确定。主题可以帮助将消息进行逻辑分类和管理，实现不同的消息传递模式和业务场景。 新建Topic 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【创建Topic】按钮 5、 在弹出的创建Topic页面，填写如下字段信息 1）默认展示当前集群名称，不可修改。 2）选择Topic所在的Broker，按照实例创建时候选择的主备节点对数列出每个Broker，可复选。 3）填写Topic名称，名字限制2到64个字符，超过限制会导致创建Topic失败，用户创建Topic只能包含大小写字母数字以及和符号。 4）按照实际需求填写Topic备注。 5）填写每个Broker分区数，分区数必须大于0，小于等于8，创建严格顺序队列时，设置分区数为1，且只能选择一个Broker。 6）选择生产模式，RocketMQ是一个开源的分布式消息中间件，它支持两种消息生产模式：有序和无序。 有序消息生产模式（Ordered Message）是指按照特定规则将消息发送到相同的Message Queue中，并且确保消息在消费者端按照相同的顺序进行消费。这种模式适用于那些需要严格按照消息顺序进行处理的场景，比如订单处理、流程审批等。 无序消息生产模式（Unordered Message）是指消息发送到不同的Message Queue中，每个Queue都是独立的。消费者可以并行地从多个Queue中消费消息，而无需关心消息的顺序。这种模式适用于那些不需要严格按照消息顺序处理的场景，比如日志收集、异步通知等。 需要注意的是，无论是有序还是无序消息生产模式，RocketMQ都提供了高可靠性的消息传输和存储，并支持水平扩展和高吞吐量的特性。根据具体的业务需求，选择适合的消息生产模式能够更好地满足应用的要求。 7）选择Topic的读写权限，支持读写、只读、只写3类权限。 8）完成Topic信息填写后，保存确认即可新增主题。 9）若希望批量创建Topic，可点击【导入Topic】按钮。 导入Topic 注意：输入的Topic名不要带空格等特殊字符。 通过上传csv文件,批量创建主题。格式：点击【下载模板】按钮下载。 Topic模板 批量上传Topic的模板，必须使用模板，才能够上传成功，模板格式如下： TopicName QueueNums Perm MessageType Topic1 4 6 NORMAL Topic2 1 6 FIFO Topic3 4 6 DELAY Topic4 4 6 TRANSACTION

本文以自建Elasticsearch 7.10.2版本迁移至天翼云Elasticsearch实例为例子,介绍如何使用天翼云Logstash实现迁移Elasticsearch实例的数据。 Logstash 是一个开源的数据处理管道工具，广泛用于数据收集、处理和传输。它通常作为“ELK Stack”（Elasticsearch、Logstash、Kibana、Beats）的一个核心组件，用于处理结构化和非结构化数据。 天翼云Logstash可以实现将源Elasticsearch实例（如天翼云、自建或第三方Elasticsearch实例）中的数据迁移至天翼云Elasticsearch实例。在升级实例版本、实例架构调整、或跨区域的实例数据迁移时，可以选择使用天翼云Logstash迁移源Elasticsearch实例数据。 Logstash的方式迁移数据支持跨大版本，且迁移方式灵活，下表是支持的集群版本： 源目标 Elasticsearch7.10.2 OpenSearch Elasticsearch6.x √ √ Elasticsearch7.x小于7.10.2 √ √ Elasticsearch7.x大于7.10.2 √ √ Elasticsearch8.x √ √ 本文以自建Elasticsearch 7.10.2版本迁移至天翼云Elasticsearch实例为例子。 前提条件 已经创建天翼云Elasticsearch实例。 已经在创建的Elasticsearch实例中加装了Logstash实例。 加装Logstash能够通过内网或公网访问需要迁移的源Elasticsearch实例。 Logstash工作模型 Logstash工作模型核心部分为三部分：输入（Input）、过滤器（Filter）、输出（Output），按照配置管道文件的顺序对数据进行提取、处理转换、输出。 1.输入（Input）：Logstash支持多种数据输入源，如文件、数据库、消息队列以及Elasticsearch等。在我们的场景中，源Elasticsearch实例就是输入数据源。Logstash会批量提取源Elasticsearch实例中的数据。 2.过滤器（Filter）：过滤器是可选的，用于对输入数据进行实时处理和转换。它提供了一些强大的插件，可以对数据进行解析、变换、裁剪或其他操作。在我们的场景中，可以选择是否使用过滤器来处理迁移中的数据，例如删除源数据中不需要迁移的字段等操作。 3.输出（Output）：Logstash的输出插件负责将处理后的数据写入到目标位置，这可以是文件、数据库、消息队列，或者像本例中的天翼云Elasticsearch实例。

本文主要介绍 创建Topic。 Topic，即消息主题。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic，然后才能进行生产消息和消费消息。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动创建Topic”表示在生产或消费一个未创建的Topic时，会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 Kafka实例对Topic的总分区数设置了上限， 当Topic的总分区数达到上限后，用户就无法继续创建Topic 。不同规格配置的Topic总分区数不同，具体请参考Kafka产品规格说明。 本文主要介绍手动创建Topic的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 方式1：在控制台创建 方式2：在Kafka Manager创建 方式3：在Kafka客户端上创建 说明 实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 方式1：在控制台创建 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，单击“创建Topic”。 弹出“创建Topic”对话框。 图 创建Topic 步骤 6 填写Topic名称和配置信息。 表 Topic参数说明 参考 说明 Topic名称 系统为您自动生成了Topic名称，您可以根据需要修改。 创建Topic后不能修改名称。 分区数 您可以设置Topic的分区数，分区数越大消费的并发度越大。 该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。 取值范围：1~200 默认值：3 副本数 您可以为每个Topic设置副本的数量，Kafka会自动在每个副本上备份数据，当其中一个Broker故障时数据依然是可用的，副本数越大可靠性越高。 该参数设置为1时，表示只有一份数据。 默认值：3 说明 实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 老化时间（小时） 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 取值范围：1~720 默认值：72 同步复制 指后端收到生产消息请求并复制给所有副本后，才返回客户端。 开启同步复制后，需要在客户端配置acksall或者1，否则无效。 当副本数为1时，不能选择同步复制功能。 同步落盘 同步落盘是指生产的每条消息都会立即写入磁盘。 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“max.message.bytes”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 步骤 7 配置完成后，单击“确定”，完成创建Topic。

本节主要介绍Kafka Connect接入Kafka。 最佳实践概述 场景描述 Kafka Connect可以将完整的数据库注入到Kafka的Topic中，或者将服务器的系统监控指标注入到Kafka，然后像正常的Kafka流处理机制一样进行数据流处理。而导出工作则是将数据从Kafka Topic中导出到其它数据存储系统、查询系统或者离线分析系统等。 如果您想要在流数据平台场景下，使用Kafka Connect快速实现数据从Kafka和其它系统之间进行导入导出，可以参考本实践方案。 技术架构图 暂无。 方案优势 用户可按业务需要，参考Kafka Connect数据导入导出，实现流数据的消息消费。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 资源规划 本实践方案内容仅涉及Kafka专享版实例和Flink的安装配置。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 Kafka Connect流数据平台 Figure 2 Kafka Connect流数据平台 资源类型 配置项 配置明细 说明 :::: 应用软件 Flink框架 Flink 1.14 使用开源Apache Flink 方案正文 Kafka Connect 目前支持两种执行模式：standalone 和 distributed。 standalone模式 通过以下命令以 standalone 模式启动 connect： 接入Kafka专享版与接入开源 Apache Kafka 没有区别，仅需要修改 bootstrap.servers 为申请实例时分配的 IP。 distributed模式 通过以下命令以 distributed 模式启动 connect： 该模式下，Kafka Connect 会将 offsets、configs 和 task status 信息存储在 Kafka Topic 中，存储的Topic 在 connectdistributed 中的以下字段配置： 这三个 Topic 需要手动创建，才能保证创建的属性符合 connect 的要求。 config.storage.topic 需要保证只有一个 partition，多副本且为 compact 模式。 offset.storage.topic 需要有多个 partition，多副本且为 compact 模式。 status.storage.topic 需要有多个 partition，多副本且为 compact 模式。 配置 bootstrap.servers 为申请实例是分配的 IP。 配置 group.id，用于标识 connect 集群，需要与消费者分组区分开来。

介绍分布式消息服务Kafka查看实例操作内容。 场景描述 Kafka实例是Kafka消息队列系统的一个概念。在Kafka中，一个实例代表了一个独立的Kafka集群。它包含了一组Kafka broker，这些broker协同工作以提供高可用性和可伸缩性。每个实例都有一个唯一的标识符，可以用来在集群中进行区分。实例可以包含多个主题（topics），并且可以配置不同的分区和副本数。通过创建多个实例，可以实现多个独立的Kafka集群，从而满足不同的业务需求。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台，能看到当前的实例列表。 （3）kafka实例有2种引擎，云原生引擎和Kakfa引擎 ● 云原生引擎：完全兼容开源Kafka生态，占用更少IO带宽，可应对更高的性能峰值突刺。 ● Kakfa引擎：大规模分区性能稳定性更高，扩容无需迁移数据。 （4）当前页面会列出所购买的Kafka实例，并查看状态，状态说明如下： 状态 说明 运行中 Kafka实例正常运行状态。在这个状态的实例可以运行您的业务。 开通中 Kafka实例处于正在开通的状态。 变更中 Kafka实例正在进行规格变更操作。 弹性IP处理中 Kafka实例处于弹性IP绑定或解绑中。 重启中 Kafka实例处于正在重启的状态。 升级中 Kafka实例处于正在升级的状态。 开通失败 Kafka实例开通失败，麻烦您联系我们进行处理。

本文主要介绍RocketMqProducer监控 介绍APM采集的RocketMqProducer监控指标的类别、名称、含义等信息。 表 RocketMqProducer监控指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 ::::::: 异常（exception，RabbitMqProducer调用的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，RabbitMqProducer调用的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） clientId clientId 客户端实例标识 ENUM LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） group 生产者组 生产者组 ENUM LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） pid pid pid STRING LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） concurrentMax 最大并发 推送消息最大并发 INT MAX clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） errorCount 错误次数 推送消息的错误次数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） invokeCount invokeCount Publish调用次数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） publishedMsgCount publishedMsgCount 推送消息数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） publishedBytes 推送字节数 推送字节数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） totalTime 总响应时间 推送消息的总响应时间 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range1 010ms 响应时间在010ms范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range2 10100ms 响应时间在10100ms范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range3 100200ms 响应时间在100200ms范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range5 110s 响应时间在110s范围请求数 INT SUM clientId监控（clientIdPublish，以clientId为维度统计消息推送详情） range6 10s以上 响应时间在10s以上请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） clientId clientId 客户端实例标识 ENUM LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） group 生产者组 生产者组 ENUM LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） topic 主题 消息推送的主题 ENUM LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） pid pid pid STRING LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX topic监控（topicPublish，以以topic为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX topic监控（topicPublish，以以topic为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST topic监控（topicPublish，以以topic为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM topic监控（topicPublish，以以topic为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） clientId clientId 客户端实例标识 ENUM LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） group 生产者组 生产者组 ENUM LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） queue 消息队列 消息队列标识 ENUM LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） pid pid pid STRING LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX queue监控（queuePublish，以queue为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX queue监控（queuePublish，以queue为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST queue监控（queuePublish，以queue为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM queue监控（queuePublish，以queue为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） clientId clientId 客户端实例标识 ENUM LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） group 生产者组 生产者组 ENUM LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） broker broker broker地址 ENUM LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） pid pid pid STRING LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX broker监控（brokerPublish，以broker为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX broker监控（brokerPublish，以broker为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST broker监控（brokerPublish，以broker为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM broker监控（brokerPublish，以broker为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） clientId clientId 客户端实例标识 ENUM LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） group 生产者组 生产者组 ENUM LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） pid pid pid STRING LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） concurrentMax 最大并发 推送事务消息最大并发 INT MAX 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） errorCount 错误次数 推送事务消息的错误次数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） invokeCount invokeCount 推送事务消息调用次数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） lastError 错误信息 推送事务消息发生错误产生的错误信息 STRING LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） maxTime 最大响应时间 推送事务消息的最大响应时间 INT MAX 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送事务消息数量 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） totalTime 总响应时间 推送事务消息的总响应时间 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM 事务监控（transactionPublish，以client为维度统计事务消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情） errorCount 错误次数 推送消息的错误次数 INT SUM total监控（total，以客户端为维度统计消息推送详情） invokeCount invokeCount Publish调用次数 INT SUM total监控（total，以客户端为维度统计消息推送详情） publishedMsgCount publishedMsgCount 推送消息数 INT SUM total监控（total，以客户端为维度统计消息推送详情） publishedBytes 推送字节数 推送字节数 INT SUM total监控（total，以客户端为维度统计消息推送详情） totalTime 总响应时间 推送消息的总响应时间 INT SUM

接口功能介绍 云防火墙（原生版）N100型产品规格的包年/包月的升配功能 接口约束 无 URI POST /v1/cngfw/order/placeupgrade 路径参数 无 Query参数 无 请求参数 请求头header参数 无 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 resourceId 是 String 云防火墙（原生版）资源id 1 ismain 是 String 云防火墙（原生版）部署方式，single：单机部署，dual：主备部署 single firewallEdition 是 String 云防火墙公网处理能力（版本），取值范围：standard100Mbps，advanced200Mbps，ultimated2Gbps advanced 响应参数 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格 表 returnObj 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败 submitted Boolean 是否已提交成功，true：成功，false：失败 true orderPlacedEvents Array of Objects 订单项 orderPlacedEvents newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格 表 orderPlacedEvents 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格

接口功能介绍 云防火墙（原生版）N100型产品规格的包年/包月的升配功能 接口约束 无 URI POST /v1/cngfw/order/placeupgrade 路径参数 无 Query参数 无 请求参数 请求头header参数 无 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 resourceId 是 String 云防火墙（原生版）资源id 1 ismain 是 String 云防火墙（原生版）部署方式，single：单机部署，dual：主备部署 single firewallEdition 是 String 云防火墙公网处理能力（版本），取值范围：standard100Mbps，advanced200Mbps，ultimated2Gbps advanced 响应参数 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格 表 returnObj 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败 submitted Boolean 是否已提交成功，true：成功，false：失败 true orderPlacedEvents Array of Objects 订单项 orderPlacedEvents newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格 表 orderPlacedEvents 参数 参数类型 说明 示例 下级对象 errorMessage String 下单失败描述，具体订单失败取该错误消息描述 submitted Boolean 是否已提交成功，true：成功，false：失败 true newOrderId String 主订单id newOrderNo String 主订单NO totalPrice Double 订单价格

查看消费者列表（Kafka客户端） 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令查询消费者列表。 ./kafkaconsumergroups.sh bootstrapserver {brokerip}:{port} group {groupname} members describe 已开启SASL的Kafka实例，通过以下步骤查询消费者列表。 （可选）如果已经设置了SSL证书配置，请跳过此步骤。否则请执行以下操作。在Kafka客户端的“/config”目录中创建“ssluserconfig.properties”文件，参考步骤3增加SSL证书配置。 在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令查询消费者列表。 ./kafkaconsumergroups.sh bootstrapserver {brokerip}:{port} group {groupname} members describe commandconfig ./config/ssluserconfig.properties 查看消费进度（控制台） 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待查看消费进度的消费组名称，进入消费组详情页。 步骤 7 在“消费进度”页签，查看此消费组订阅的Topic列表、Topic中消息的总堆积数、Topic每个分区的堆积数、Topic每个分区的偏移量和最大消息位置。 图 消费进度 步骤 8 （可选）如果需要查询某个Topic的消费进度，在搜索框中，输入Topic名称，单击。

本文主要介绍编辑流控。 操作场景 本章节指导您在流控创建成功后，修改生产上限速率或者消费上限速率。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在待修改的流控所在行，单击“编辑”，弹出“编辑流控”对话框。 步骤 7 修改生产上限速率或者消费上限速率，单击“确定”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示流控修改成功。 进入“流控管理 > 流控列表”页面，查看修改后流控的生产上限速率或者消费上限速率。 说明 “生产上限速率”和“消费上限速率”不可同时为空。

前提条件： 1、提前开通专属云（计算独享型），并存留足够未分配的计算资源； 2、提前开通VPC、安全组等网络侧资源； 操作步骤： 步骤一： 登录天翼云账号，切换至专属云（计算独享型）节点； 如已购买了专属云（计算独享型），在控制台的右上角节点区域，可见有独立专属云“dec”标识的节点，选择用户需要进行Kafka购买的专属云节点进入。 图 带专属云“dec”标识的节点如下： 步骤二： 进入专属云节点后，在控制台中的产品列表中选择“分布式消息服务”，进入到服务控制台，在左侧菜单栏选择“Kafka专享版”，进入Kafka专享版实例列表页面。 图 专享版Kafka订购入口 步骤三： 点击“购买Kafka实例”，进入订购页面，按提示进行相关规格选择与配置。 1）计费方式为“包年包月”； 2）可用区：客户可自行根据资源池多AZ支持情况选择可用区进行创建。 说明：专享版Kafka的实例为集群模式，支持选择1个或者3个及以上可用区。不支持选择2个可用区，选择时需要注意；该可用区选择后不支持更换。 3）实例名称及企业项目：按命名规范自定义，也可以默认系统分配的名称； 4）Kafka版本：当前支持2种版本选择，2.3.0和1.1.0，推荐时间2.3.0版本； 5）CPU架构：当前仅支持“x86计算”，保持默认值即可； 图 购买Kafka订购页 6）选择具体的队列规格类型，在规格的描述与说明中会有该队列的底层资源类型、代理数量、分区上限、消费组数量，供客户与业务系统需求匹配规格。 说明：当前订购规格后，暂不支持规格变更，请在订购时做好业务整体需求评估。 7）选择存储空间：此处有2种存储可以选择，分别是公有云的云硬盘、专属分布式存储。存储的类型均支持高IO、超高IO。 说明：1、选择云硬盘时，具体价格以公有云的云硬盘价格为准； 2、选择转属分布式存储时，需提前已购买了专属云（存储独享型），在“可用存储”右侧的“存储池”列表中进行选择。 3、根据实际需要选择存储Kafka数据的总磁盘大小。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 • 基准带宽为100MB/s时，存储空间取值范围：600GB ~ 90000GB。 • 基准带宽为300MB/s时，存储空间取值范围：1200GB ~ 90000GB。 • 基准带宽为600MB/s时，存储空间取值范围：2400GB ~ 90000GB。 • 基准带宽为1200MB/s时，存储空间取值范围：4800GB ~ 90000GB 图 订购页界面 图 选择云硬盘时存储类别 图 选择专属分布式存储时，需要提前购买专属存储，并在存储池列表中选择 8）选择私有云、安全组； 虚拟私有云可以为您的Kafka专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 虚拟私有云和子网在Kafka专享版实例创建完成后，不支持修改。 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 9）设置Kafka Manager的用户名、密码； Kafka Manager是开源的kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 10）选择订购时长； 11）点击“立即购买”之前，还可进入“更多配置”也进行高级配置。 1、SASLSSL开关，开启后则对数据进行加密传输，但会对性能造成下降； 客户端连接Kafka专享版实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 创建实例后，Kafka SASLSSL开关不支持修改，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您需要设置连接Kafka专享版实例的用户名和密码。 2、自动创建Topic，开关开启后，Topic将根据配置API接口自动创建。 选择开启“Kafka自动创建Topic”，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 12）点击“立即购买”，进入支付前规格确认界面。显示详细kafka 实例信息，价格。 13）确认实例信息无误且阅读并同意服务协议后，点击“去支付”进入购买支付环节，完成付款后则开启Kafka创建。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明： 创建失败的实例，不会占用其他资源。

本文主要介绍删除实例。 操作场景 分布式消息服务Kafka管理控制台支持删除Kafka实例，且可实现批量删除Kafka实例、一键式删除创建失败的Kafka实例、单个删除创建失败的实例记录。 说明 Kafka实例删除后，实例中原有的数据将被删除，且没有备份，请谨慎操作。 前提条件 Kafka实例状态为运行中、故障、已冻结的按需付费实例才能执行删除操作。 包年/包月类型的Kafka实例，不支持进行删除和批量删除操作。若不再使用，可单击“操作”栏下的“更多 > 退订”进行退订。 删除Kafka实例 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，删除Kafka实例。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“更多 > 删除”。 在待删除Kafka实例所在行，单击“更多 > 删除”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 删除”。 说明 Kafka实例状态为创建中、启动中、变更中、变更失败、重启中时不允许执行删除操作。 步骤 5 在“删除实例”对话框中，单击“是”，完成删除Kafka实例。 删除Kafka实例大约需要1到60秒。

本文主要介绍删除消费组。 分布式消息服务Kafka支持通过以下两种方式删除消费组，您可以根据实际情况选择任意一种方式。 方法一：在管理控制台删除消费组 方法二：在Kafka客户端使用命令行工具删除消费组（确保Kafka实例版本与命令行工具版本相同） 前提条件 待删除消费组的状态为“EMPTY”。 方法一：在管理控制台删除消费组 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 通过以下任意一种方法，删除消费组。 勾选消费组名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除消费组”。 在待删除消费组所在行，单击“删除”。 说明 仅在“消费组状态”为“EMPTY”时，支持删除。 消费组包含以下状态： DEAD：消费组内没有任何成员，且没有任何元数据。 EMPTY：消费组内没有任何成员，存在元数据。 PREPARINGREBALANCE：准备开启Rebalance。 COMPLETINGREBALANCE：所有成员加入消费组。 STABLE：消费组内成员可以正常消费。 步骤 7 弹出“删除消费组”对话框，单击“是”，完成消费组的删除。

权限名称 权限说明 具体场景或目的 INTERNET 允许应用访问网络 用于优化服务过程中的网络质量，wifi/4g网络切换状态下的网络服务保障 ACCESSNETWORKSTATE 检测网络连接状态 用于优化服务过程中的网络质量，wifi/4g网络切换状态下的网络服务保障 ACCESSWIFISTATE 获取WIFI连接状态 用于优化服务过程中的网络质量，wifi/4g网络切换状态下的网络服务保障 REQUESTINSTALLPACKAGES 允许进行应用安装 用于更新应用，检测用户是否具备使用产品功能的条件，优化体验 REQUESTIGNOREBATTERYOPTIMIZATIONS 忽略电池优化 允许VPN服务能够在后台运行服务（国内手机系统可能无法生效，需要用户到设置中手动开启，不同机型出来的权限蒙版不一样，有一些机型因为不需要用户确认没有弹出蒙版） MODIFYAUDIOSETTINGS 修改音频设置 会议服务：设置音频模式 RECORDAUDIO 录制音频 AI应用中心：以语音的方式与AI进行交互、语音输入，收集语音信息（语音转文本信息） 音视频会议：发言、传输音视频流 CAMERA 拍摄照片和视频 AI应用中心：拍摄图片，收集图片信息 消息服务：使用摄像头拍照发送图片或视频 音视频会议：开启视频、设置虚拟背景 邮件服务：使用摄像头拍摄照片 消息服务：使用摄像头拍摄照片 个人信息：拍照上传头像 WAKELOCK 唤醒设备 保持设备唤醒状态，避免某些场景下系统休眠之后导致的VPN连接异常情况。 WRITEEXTERNALSTORAGE 写入外部存储 消息服务：发送照片、文件 邮件服务：上传附件、保存邮件附件至本地、从本地选择文件插入邮件 消息服务：下载文件，保存图片 READEXTERNALSTORAGE 读取外部存储 日程服务：在日程中添加文件 消息服务：发送照片、文件 邮件服务：上传附件、保存邮件附件至本地、从本地选择文件插入邮件 消息服务：发送图片、发送文件 MANAGEEXTERNALSTORAGE 管理所有外部存储 文件管理增强（android10以上版本申请，权限等同于WRITEEXTERNALSTORAGE 和READEXTERNALSTORAGE） READMEDIAIMAGES 读取媒体图片 消息服务：从相册选择图片发送 AI应用中心：从相册上传照片 邮件服务：从相册选择图片插入邮件 USEBIOMETRICUSEFINGERPRINT 生物识别/指纹 使用生物识别/指纹进行登录 BLUETOOTHBLUETOOTHADMIN BLUETOOTHCONNECT 蓝牙权限 会议中使用蓝牙设备 SYSTEMALERTWINDOW 悬浮窗权限 会议服务：用于会议的悬浮窗功能 READPHONESTATE 读取电话状态权限 会议服务：用于来电时自动禁用会议服务的扬声器和麦克风

本章节介绍普通消息的收发方法和示例代码。其中，普通消息发送方式分为同步发送、异步发送、单向发送。 同步发送：同步发送是指消息发送方发出一条消息后，会在收到服务端同步响应之后才发下一条消息的通讯方式。 异步发送：异步发送是指发送方发出一条消息后，不等服务端返回响应，接着发送下一条消息的通讯方式。 单向发送：发送方只负责发送消息，不等待服务端返回响应且没有回调函数触发。 收发消息前，请参考收集连接信息收集RocketMQ所需的连接信息。 准备环境 开源的Java客户端支持连接分布式消息服务RocketMQ版，推荐使用的客户端版本为4.9.7。 通过以下任意一种方式引入依赖： 1. 使用Maven方式引入依赖。 org.apache.rocketmq rocketmqclient 4.9.7 org.apache.rocketmq rocketmqacl 4.9.7 2. 点击下载依赖JAR包：rocketmqall4.9.7binrelease.zip 同步发送 同步发送是最常用的方式，是指消息发送方发出一条消息后，会在收到服务端同步响应之后才发下一条消息的通讯方式，可靠的同步传输被广泛应用于各种场景，如重要的通知消息、短消息通知等。 参考如下示例代码 import org.apache.rocketmq.acl.common.AclClientRPCHook; import org.apache.rocketmq.acl.common.SessionCredentials; import org.apache.rocketmq.client.producer.DefaultMQProducer; import org.apache.rocketmq.client.producer.SendResult; import org.apache.rocketmq.common.message.Message; import org.apache.rocketmq.remoting.RPCHook; import org.apache.rocketmq.remoting.common.RemotingHelper; public class ProducerNormalExample { private static RPCHook getAclRPCHook() { return new AclClientRPCHook(new SessionCredentials( "accessKey", // 分布式消息服务RocketMQ控制台用户管理菜单中创建的用户ID "accessSecret" // 分布式消息服务RocketMQ控制台用户管理菜单中创建的密钥 )); } public static void main(String[] args) throws Exception { DefaultMQProducer producer new DefaultMQProducer("YOUR GROUP ID", getAclRPCHook()); // 填入控制台获取NAMESRV接入点地址 producer.setNamesrvAddr("XXX:xxx"); ; // 如果需要开启SSL，请增加此行代码 producer.start(); for (int i 0; i < 128; i++) try { { Message msg new Message("YOUR TOPIC", "TagA", "Hello RocketMQ".getBytes(RemotingHelper.DEFAULTCHARSET)); SendResult sendResult producer.send(msg); System.out.println(sendResult); } } catch (Exception e) { e.printStackTrace(); } producer.shutdown(); } }

本章节介绍了云审计服务支持的分布式消息服务RocketMQ操作列表。 表 云审计服务支持的分布式消息服务RocketMQ操作列表 操作名称 资源类型 事件名称 创建Topic成功 reliability ReliabilityTopicCreationSuccess 创建Topic失败 reliability ReliabilityTopicCreationFailure 修改Topic成功 reliability ReliabilityTopicModifySuccess 修改Topic失败 reliability ReliabilityTopicModifyFailure 删除Topic成功 reliability ReliabilityTopicDeletionSuccess 删除Topic失败 reliability ReliabilityTopicDeletionFailure 创建消费组成功 reliability ReliabilityCreateGroupSuccess 创建消费组失败 reliability ReliabilityCreateGroupFailure 编辑消费组成功 reliability ReliabilityGroupModifySuccess 编辑消费组失败 reliability ReliabilityGroupModifyFailure 删除消费组成功 reliability ReliabilityGroupDeletionSuccess 删除消费组失败 reliability ReliabilityGroupDeletionFailure 删除后台任务成功 reliability deleteDMSBackendJobSuccess 删除后台任务失败 reliability deleteDMSBackendJobFailure 创建DMS实例订单成功 reliability createDMSInstanceOrderSuccess 创建DMS实例订单失败 reliability createDMSInstanceOrderFailure 提交修改DMS实例订单请求成功 reliability modifyDMSInstanceOrderSuccess 提交修改DMS实例订单请求失败 reliability modifyDMSInstanceOrderFailure 提交扩容实例请求成功 reliability extendDMSInstanceSuccess 提交扩容实例请求失败 reliability extendDMSInstanceFailure 删除创建失败的DMS实例成功 reliability deleteDMSCreateFailureInstancesSuccess 删除创建失败的DMS实例失败 reliability deleteDMSCreateFailureInstancesFailure 提交批量删除DMS实例请求成功 reliability batchDeleteDMSInstanceSuccess 提交批量删除DMS实例请求失败 reliability batchDeleteDMSInstanceFailure 提交修改DMS实例信息请求成功 reliability modifyDMSInstanceInfoSuccess 提交修改DMS实例信息请求失败 reliability modifyDMSInstanceInfoFailure 批量删除DMS实例任务 reliability batchDeleteDMSInstanceTask 解冻DMS实例任务执行成功 reliability unfreezeDMSInstanceTaskSuccess 解冻DMS实例任务执行失败 reliability unfreezeDMSInstanceTaskFailure 冻结DMS实例任务执行成功 reliability freezeDMSInstanceTaskSuccess 冻结DMS实例任务执行失败 reliability freezeDMSInstanceTaskFailure 删除DMS实例任务执行成功 reliability deleteDMSInstanceTaskSuccess 删除DMS实例任务执行失败 reliability deleteDMSInstanceTaskFailure 创建DMS实例任务执行成功 reliability createDMSInstanceTaskSuccess 创建DMS实例任务执行失败 reliability createDMSInstanceTaskFailure 扩容DMS实例任务执行成功 reliability extendDMSInstanceTaskSuccess 扩容DMS实例任务执行失败 reliability extendDMSInstanceTaskFailure 修改DMS实例信息任务执行成功 reliability modifyDMSInstanceInfoTaskSuccess 修改DMS实例信息任务执行失败 reliability modifyDMSInstanceInfoTaskFailure

本文主要介绍 按需转包周期。 选择按需付费的用户，可以选择“转包周期”，变更实例计费模式为包年/包月。 说明 实例从按需变为包周期计费时，不影响应用，只是计费方式变了。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，实现按需实例转包周期。 勾选Kafka实例名称左侧的方框，可选一个或多个，单击信息栏左上侧的“转包周期”，弹出“转包周期”对话框，单击“是”，跳转到“按需转包年/包月”页面。 在待转包周期的Kafka实例所在行，单击“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 转包周期”，跳转到“按需转包年/包月”页面。 步骤 5 选择续费时长，然后单击“去支付”，根据界面提示信息，支付费用，完成实例转包周期操作。

本文将为您介绍分布式消息服务RocketMQ入门的基本流程，主要包括控制台创建RocketMQ专享版实例、使用弹性云服务器连接实例的操作，帮助您快速上手RocketMQ。 操作流程 图1 RocketMQ使用流程 环境准备 RocketMQ实例运行于虚拟私有云中，在创建实例前需要确保有可用的虚拟私有云。 创建RocketMQ实例 在创建实例时，您可以根据需求选择需要的实例规格和数量，并开启SSL访问。开启SSL后，数据加密传输，安全性更高。 创建Topic 在实例创建成功后，您需要创建Topic，用于发送与接收消息。 连接RocketMQ实例 使用客户端连接实例，并通过命令行生产消费消息。 配置告警 配置RocketMQ实例监控告警策略，监控实际业务运行状态。

本文主要介绍查看实例后台任务。 . 对实例的一些操作，如修改公网访问开关、修改容量阈值策略等，会启动一个后台任务，您可以在后台任务页，查看该操作的状态等信息，同时可通过删除操作，清理任务信息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 单击“后台任务管理”页签，进入后台任务管理页面。 界面显示任务列表。 步骤 6 在右上角单击系统默认时间，选择开始时间和结束时间，单击“确定”，界面显示相应时间段内启动的任务。 在后台任务管理页面，您还可以执行以下操作： 单击，刷新任务状态。 单击“删除”，弹出“删除任务记录”对话框，单击“是”，清理任务信息。 说明 您只能在任务已经执行完成，即任务状态为成功或者失败时，才能执行删除操作。

本节介绍如何配置入侵检测告警通知。 在通知设置页面，您可以开启入侵检测告警通知，配置接收告警通知的接收人等。 开启/关闭告警通知 1. 登录云防火墙（原生版）控制台。 2. 在左侧导航栏，选择“设置中心 > 通知设置”，进入通知设置页面。 3. 生效状态为“开”表示已开启告警通知；“关”表示已关闭告警通知。 配置告警通知 1. 登录云防火墙（原生版）控制台。 2. 在左侧导航栏，选择“设置中心 > 通知设置”，进入通知设置页面。 3. 单击通知项操作列的“编辑”，进入通知项配置页面。 4. 配置通知类型、通知时间和消息接收人。 参数名称 说明 :: 通知类型 支持严重、高危、中危、低危。 通知时间 全天、时段（8:0020:00） 消息接收人 该页面自动列出当前账号及其全部子账号。 勾选需要接收告警通知的账号，当有告警时，系统会自动发送告警信息至所选账号的邮箱。 5. 配置告警通知开关。 生效状态为“开”表示开启告警通知；“关”表示关闭告警通知。 6. 配置完成后，单击“确定”，保存配置。

本章介绍了如何获取SDK。 引入依赖 java com.rabbitmq amqpclient 5.8.0

此小节介绍企业主机安全创建安全报告。 若已有模板的报告类型和报告内容无法满足您对安全报告的订阅需求，您可通过该章节创建需要生成报告的周期和内容。 约束限制 未开启企业版、旗舰版、网页防篡改版、容器版防护不支持安全报告相关操作。 操作步骤 1、登录管理控制台。 2、在页面左上角单击选择“区域”，选择“安全 > 企业主机安全”，进入“企业主机安全”页面。 3、在弹窗界面单击“体验新版”，切换至主机安全服务页面。 4、左侧选择“安全报告”进入安全报告概览页面。服务预设了按月（default monthly security report）和按周（default weekly security report）统计的两个安全报告模板，可直接使用。 5、创建新报告 按模板创建按月或按周的安全报告 单击按月或按周模板报告中的“复制”（按需选择即可），进入报告基本信息配置页面。 自定义创建其他周期的安全报告 单击页面中的“创建新报告”，进入报告基本信息配置页面。 自定义创建报告 6、对报告基本信息进行配置，参数说明如表所示。 编辑报告基本信息 报告基本信息参数说明 参数名称 参数说明 取值样例 报告名称 默认的报告名称。 ecs security report 报告类型 报告的统计周期类型名称。 安全日报（统计周期为每天00：0024：00） 安全周报（统计周期为周一00：00周日24：00） 安全月报（统计周期为每月1号00：00月度最后一天24：00） 自定义报告（自定义统计周期，周期范围应介于1天（包含）至3个月（包含）之间。 所有类型报告将在生成后的次日自动发送至您设置的报告接收人。 安全月报 报告发送时间 报告自动发送时间。 报告接收方式 生成的安全报告接收方式。 消息中心：使用消息中心和其它安全服务共同使用“安全事件通知”的信息接收人。需登录控制台，在右上角信箱查看。 消息主题：为HSS单独创建的主题，设置告警通知接收人。可选择短信或邮件接收通知。 无需发送到邮箱：不发送报告至邮箱。 消息中心 7、确认信息无误，单击页面右下角“下一步”，配置报告内容。 8、在左侧勾选需要生成的报告项，右侧可预览，确认无误，单击右下角“保存”，开启安全报告的订阅。