云终端 云服务名称 区域 控制台 OpenAPI 系统策略 云服务名称 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 天翼云电脑（政企版） 全局 是 是 是 是 有 天翼云手机 全局 是 是 是 是 有 CDN与边缘 云服务类别 区域 控制台 OpenAPI 系统策略 云服务类别 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 边缘安全加速平台 全局 是 是 是 是 有 容器与中间件 云服务名称 区域 控制台 OpenAPI 系统策略 云服务名称 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 分布式消息服务Kafka 全局 是 是 是 是 有 分布式消息服务RabbitMQ 全局 是 是 是 是 有 分布式消息服务RocketMQ 全局 是 是 是 是 有 微服务云应用平台 全局 是 是 是 是 有 云容器引擎 全局 是 是 是 是 有 弹性容器实例 全局 是 是 是 是 有 函数计算 全局 是 是 是 是 有 云日志服务LTS 全局 是 是 是 是 有 容器镜像服务 全局 是 是 是 是 有 分布式消息服务MQTT 全局 是 是 是 是 有 应用服务网格 全局 是 是 是 是 有 微服务引擎 全局 是 是 是 是 有

表名，表分区个数。 Hive HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计，展示的信息包括：用户、HQL语句、Map数目。 Hive HQL访问次数 周期内HQL访问次数统计信息。 Kafka Kafka磁盘使用率分布 Kafka集群的磁盘使用率分布统计。 Spark2x HQL访问次数 周期内HQL访问次数统计信息，展示信息包括用户名，HQL语句，执行该语句的次数。 Yarn 资源使用（按任务） l 任务使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用（按租户） l 租户所使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用比例（按租户） l 租户所使用的CPU核数和内存的比例。 l 可选择“按内存”或“按CPU”观察。 Yarn 任务耗时排序 对Yarn任务耗时进行排序显示。 Yarn ResourceManager RPC连接数（按用户） 统计连接到RM的Client RPC请求中，各个用户的连接数。 Yarn 操作数 统计Yarn每种操作类型对应的操作数及占比。 Yarn 队列中任务资源使用排序 l 在界面上选择某个队列（租户）后，显示在该队列中正在运行任务的消耗资源排序。 l 可选择“按内存”或“按CPU”观察。 Yarn 队列中用户资源使用排序 l 在界面上选择某个队列（租户）后，显示在该队列中正在运行任务的用户消耗的资源排序。 l 可选择“按内存”或“按CPU”观察。 ZooKeeper 资源使用（按二级Znode） l ZooKeeper服务二级znode资源状况。 l 可选择“按Znode数量”或“按容量”观察 ZooKeeper 连接数（按客户端IP） ZooKeeper客户端连接资源状况。

场景 弹性存储集群 普通集群 业务数据量30M/s左右 3副本主题，生产消费1:1，分区100个，消息保留24小时（约2531GB业务数据） 规格： kafka.2u4g.cluster，单节点超高IO 200GB，节点数 3 配置： 开启弹性存储，分片大小128M，消息本地保留时长为1小时，消息保留24小时 性能： 单节点带宽峰值100MB/s（性能瓶颈为节点带宽） 成本： 规格费用：1323元/月 本地存储费用：720元/月 远程存储费用：300元/月 规格： kafka.2u4g.cluster，单节点超高IO 3300GB，节点数 3 配置： 未开启弹性存储，消息保留24小时 性能： 单节点带宽峰值100MB/s（性能瓶颈为节点带宽） 成本： 规格费用：1323元/月 存储费用：11880 元/月

本文介绍事件源中的请求参数。 请求参数 参数 类型 是否必选 示例值 描述 eventBusName String 是 test 事件总线的名称。 eventSourceName String 是 source1 事件源的名称。 desc String 否 test 事件源描述。 type String 是 simple 事件源类型，更多信息请参考下文关于事件源的格式。 eventSourceParams Arrays of Object 是 事件源参数，详见表 EventSourceParams，更多信息请参考下文关于事件源的格式。 表 EventSourceParams 参数 是否必填 参数类型 说明 resourceKey 是 String 事件源参数名。 value 是 String 事件源参数值。 form 是 String 事件源参数格式。 template 否 String 事件源参数模板样式。 分布式消息服务Kafka 当事件源的事件提供方选择分布式消息服务Kafka时，请求参数中的type为kafka，eventSourceParams 中的resourceKey 字段含义如下表所示： resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例ID。 无 topic 是 CONSTANT 主题名称。 无 groupName 是 CONSTANT 消费组名。 无 initialOffset 是 CONSTANT 消息位点。 最新位点：latest 最早位点：earliest 无 dataFormat 否 CONSTANT 数据格式,不填时默认为JSON编码格式： JSON格式编码：JSON 文本格式编码：Text 二进制格式编码：Binary 无 请求示例如下： plaintext { "eventSourceName": "source", "eventBusName": "test", "desc": "dddesc", "type": "kafka", "eventSourceParams": [ { "resourceKey": "instanceId", "value": "b16b04cf0776xxxxxfa31a001a5c48b6", "form": "constant" }, { "resourceKey": "topic", "value": "ebsource", "form": "constant" }, { "resourceKey": "groupName", "value": "ebgroup", "form": "constant" }, { "resourceKey": "initialOffset", "value": "latest", "form": "constant" }, { "resourceKey": "dataFormat", "value": "JSON", "form": "CONSTANT" } ] }

本文介绍Kafka消费端从服务端拉取不到消息或拉取消息缓慢原因及解决方案 问题现象 Topic中有消息并且Consumer未消费到最新的位置，出现消费端从服务端拉取不到消息或拉取消息缓慢的情况（特别是公网消费时）。 可能原因 消费流量达到网络带宽。 单个消息大小超过网络带宽。 Consumer每次拉取的消息量超过网络带宽。 说明 Consumer每次消息的拉取量受以下参数影响： max.poll.records：每次拉取的最多消息数。 fetch.max.bytes：每次拉取的最大总byte数。 max.partition.fetch.bytes：每个Partition每次拉取的最大总byte数。 解决方案 （1）登录分布式消息服务Kafka控制台查询消息。 如果能查询到消息，请继续尝试以下步骤。 （2）在实例详情页面，单击左侧导航栏的监控信息，查看消费流量是否已达到网络带宽。 如果消费流量已经达到网络带宽，您需要扩充网络带宽。 （3）检查Topic中是否存在单个消息的大小超过网络带宽。 如果存在单个消息的大小超过网络带宽，请提高网络带宽，或者减小单个消息的大小。 （4）检查Consumer每次拉取的消息量是否超过网络带宽。 说明 如果每次拉取的消息量超过网络带宽，您需要调整以下参数。 网络带宽>fetch.max.bytes 网络带宽>max.partition.fetch.bytes总订阅Partition数

继7月价格下调后，天翼云分布式消息服务Kafka收到许多新老用户的积极反馈，为进一步回馈用户支持，我们决定增加包年折扣优惠和进行第二轮降价！ 9月25日起订购分布式消息服务Kafka产品将享受1年83折 优惠，1011月将陆续开放2年7折，3年5折优惠选项，具体开放时间敬请关注产品公告。 针对现网主推的Intel、海光、鲲鹏计算增强型规格产品单价进行全面下调，相对7月价格最高降幅可达30%，详细降价情况如下： 注意 通用型规格已经调整为白名单特性，如需了解相关资费请联系技术支持。 本次包年优惠及降价适用于产品新资费范围，具体支持资源池请参阅 主机类型 规格名称 计费单位 实例包月标准价格 降幅 主机类型 规格名称 计费单位 20240925前价格 新价格 降幅 Intel计算增强型 kafka.2u4g.cluster 元/代理 630 441 30% Intel计算增强型 kafka.4u8g.cluster 元/代理 1260 1008 20% Intel计算增强型 kafka.8u16g.cluster 元/代理 2430 2187 10% Intel计算增强型 kafka.12u24g.cluster 元/代理 3690 3321 10% Intel计算增强型 kafka.16u32g.cluster 元/代理 4500 4050 10% Intel计算增强型 kafka.24u48g.cluster 元/代理 7560 6804 10% Intel计算增强型 kafka.32u64g.cluster 元/代理 10080 9072 10% Intel计算增强型 kafka.48u96g.cluster 元/代理 15120 13608 10% Intel计算增强型 kafka.64u128g.cluster 元/代理 20160 18144 10% 海光计算增强型 kafka.hg.2u4g.cluster 元/代理 781.2 546.84 30% 海光计算增强型 kafka.hg.4u8g.cluster 元/代理 1562.4 1249.92 20% 海光计算增强型 kafka.hg.8u16g.cluster 元/代理 3013.2 2410.56 20% 海光计算增强型 kafka.hg.16u32g.cluster 元/代理 5580 5022 10% 海光计算增强型 kafka.hg.32u64g.cluster 元/代理 12499.2 11249.28 10% 鲲鹏计算增强型 kafka.kp.2u4g.cluster 元/代理 894.6 626.22 30% 鲲鹏计算增强型 kafka.kp.4u8g.cluster 元/代理 1789.2 1431.36 20% 鲲鹏计算增强型 kafka.kp.8u16g.cluster 元/代理 3450.6 3105.54 10% 鲲鹏计算增强型 kafka.kp.16u32g.cluster 元/代理 6390 5751 10% 鲲鹏计算增强型 kafka.kp.32u64g.cluster 元/代理 14313.6 12882.24 10%

本文主要介绍如何通过kafka导入日志。 本文主要介绍如何将天翼云分布式消息服务Kafka的数据导入到云日志服务，实现数据的查询分析、加工等操作。 注意 当前功能为试用阶段，仅在华北2资源池开放。 创建数据导入任务 1. 登录云日志服务控制台。 2. 左侧菜单栏点击“日志接入”，进入接入管理页面 3. 在“数据导入”模块中，点击“分布式消息服务Kafka数据导入” 4. 选择目标日志项目和日志单元，单击下一步。 5. 设置接入配置，配置如下参数，确认无误后，单击下一步。 参数 说明 接入配置名称 导入任务的唯一标识 Kafka 实例 选择kafka实例作为数据源 Topic 列表 选择Kafka主题，当前仅支持导入公有Topic 消费组 选择kafka中的消费组， 起始位置 选择开始导入数据的位置。 最早：从已有的第一条Kafka数据开始导入 最晚：从最近生成的Kafka数据开始导入 数据格式 待导入数据的格式。若您选择JSON字符串，导入任务会将原始数据解析为keyvalue对格式，只解析到第一层。 编码格式 选择导入数据的编码格式（即字符集），目前仅支持UTF8和GBK。 6. 创建索引。默认开启全文索引，您也可以根据需要手动创建字段索引用于字段查询。 7. 点击完成，即可完成导入任务创建。等待1分钟左右，在查询日志界面能查询到日志，则说明导入成功。

操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 通过以下任意一种方法，查看监控数据。 在RabbitMQ实例名称后，单击“查看监控数据”。跳转到云监控页面，查看实例、节点和队列的监控数据，数据更新周期为1分钟。 单击RabbitMQ实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面，查看实例、节点和队列的监控数据，数据更新周期为1分钟。 步骤 5 在实例监控指标页面中，找到需要创建告警的指标项，鼠标移动到指标区域，然后单击指标右上角的，进入“创建告警规则”页面。 步骤 6 在告警规则页面，设置告警信息。 创建告警规则操作，请查看《云监控服务用户指南》的创建告警规则和告警通知。 1. 设置告警名称和告警的描述。 2. 设置告警策略和告警级别。 例如，在进行指标监控时，如果连续3个周期，连接数原始值超过设置的值，则产生告警，如果未及时处理，则每一天发送一次告警通知。 3. 设置“发送通知”开关。当开启时，设置告警生效时间、产生告警时通知的对象以及触发的条件。 4. 单击“立即创建”，等待创建告警规则成功。

本文介绍事件流中事件源的元数据参数。 请求参数 参数 类型 是否必选 描述 eventStreamName String 是 事件流名。 streamSource Object 是 事件源项。详见表StreamSource，更多信息请参考下文事件源的格式。 desc String 否 事件源描述。 filterPattern String 是 事件过滤项。 transform Object 是 事件转换项。 streamSink Object 是 事件目标项。详见事件目标参数。 表 StreamSource 参数 类型 是否必选 描述 type String 是 事件源类型。 params Array of Objects 是 事件源参数，详见表Params。 表 Params 参数 是否必填 参数类型 说明 resourceKey 是 String 事件源参数名。 value 是 String 事件源参数值。 form 是 String 事件源参数格式。 template 否 String 事件源参数模板样式。 分布式消息服务Kafka 当事件源的事件提供方选择分布式消息服务Kafka时，请求参数中的type为kafka，params 中的resourceKey 字段含义如下表所示： resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例ID。 无 topic 是 CONSTANT 主题名称。 无 groupName 是 CONSTANT 消费组名。 无 initialOffset 是 CONSTANT 消息位点。 最新位点：latest 最早位点：earliest 无 dataFormat 否 CONSTANT 数据格式,不填时默认为JSON编码格式： JSON格式编码：JSON 文本格式编码：Text 二进制格式编码：Binary 无 事件源部分的参数示例如下： plaintext { "type": "kafka", "params": [ { "resourceKey": "instanceId", "value": "b16b04cf0776xxxxxfa31a001a5c48b6", "form": "constant" }, { "resourceKey": "topic", "value": "ebsource", "form": "constant" }, { "resourceKey": "groupName", "value": "ebgroup", "form": "constant" }, { "resourceKey": "initialOffset", "value": "latest", "form": "constant" }, { "resourceKey": "dataFormat", "value": "JSON", "form": "CONSTANT" } ] }

参数 说明 触发事件类型 选择触发作业运行的事件类型。 “KAFKA” “KAFKA”触发事件类型的参数 连接名称 选择数据连接，需先在“管理中心”创建kafka数据连接。 Topic 选择需要发往kafka的消息Topic。 事件处理并发数 选择作业并行处理的数量，最大并发数为128。 事件检测间隔 配置时间间隔，检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。 读取策略 选择数据的读取位置： 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。 从最新位置读取：每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略： 挂起 忽略失败，读取下一个

验证数据是否同步 1、 在目标集群中查看Topic列表，确认是否有源集群Topic。 说明 目标集群中的Topic名称和源集群相比，多了前缀（如A.），这属于正常情况，是MirrorMaker 2为了防止Topic循环备份进行的设置。 2、 在源集群生产并消费消息，在目标集群查看消费进度，确认数据是否已从源集群同步到了目标集群。 如果目标集群为Kafka实例的话，在分布式消息服务Kafka控制台的“消费组管理 > 消费进度”中，查看消费进度。

同步方向 数据流向 规格选择 升级规格 入云 MySQL>MySQL 支持 仅支持单AZ任务升级 入云 MySQL>PostgreSQL 支持 仅支持单AZ任务升级 入云 MySQL>GaussDB分布式版 支持 仅支持单AZ任务升级 入云 MySQL>GaussDB集中式版 支持 仅支持单AZ任务升级 入云 MySQL>TaurusDB 支持 仅支持单AZ任务升级 入云 PostgreSQL>PostgreSQL 支持 仅支持单AZ任务升级 入云 DRDS>MySQL 支持 不支持 入云 DRDS>DRDS 支持 不支持 入云 Oracle>PostgreSQL 支持 仅支持单AZ任务升级 入云 Oracle>MySQL 支持 仅支持单AZ任务升级 入云 Oracle>TaurusDB 支持 仅支持单AZ任务升级 入云 Oracle>GaussDB集中式版 支持 仅支持单AZ任务升级 入云 Oracle>GaussDB分布式版 支持 仅支持单AZ任务升级 入云 Oracle>DRDS 支持 仅支持单AZ任务升级 入云 Microsoft SQL Server>Microsoft SQL Server 不支持 不支持 入云 MongoDB>DDS 支持 仅支持单AZ任务升级 入云 MariaDB>MariaDB 支持 仅支持单AZ任务升级 入云 TaurusDB>TaurusDB 支持 仅支持单AZ任务升级 出云 MySQL>MySQL 支持 仅支持单AZ任务升级 出云 MySQL>kafka 支持 仅支持单AZ任务升级 出云 MySQL>CSS/ES 支持 仅支持单AZ任务升级 出云 MySQL>Oracle 支持 仅支持单AZ任务升级 出云 DRDS>MySQL 支持 不支持 出云 DRDS>Oracle 支持 不支持 出云 DRDS>Kafka 支持 不支持 出云 DDS>MongoDB 支持 不支持 出云 DDS>Kafka 支持 不支持 出云 PostgreSQL>Kafka 支持 仅支持单AZ任务升级 出云 GaussDB集中式版>MySQL 支持 仅支持单AZ任务升级 出云 GaussDB集中式版>Oracle 支持 仅支持单AZ任务升级 出云 GaussDB集中式版>Kafka 支持 仅支持单AZ任务升级 出云 GaussDB集中式版>GaussDB分布式版 支持 仅支持单AZ任务升级 出云 GaussDB集中式版>GaussDB集中式版 支持 仅支持单AZ任务升级 出云 GaussDB分布式版>MySQL 支持 不支持 出云 GaussDB分布式版>Oracle 支持 不支持 出云 GaussDB分布式版>Kafka 支持 不支持 出云 GaussDB分布式版>GaussDB分布式版 支持 不支持 出云 TaurusDB>MySQL 支持 仅支持单AZ任务升级 出云 TaurusDB>Kafka 支持 仅支持单AZ任务升级 出云 TaurusDB>CSS/ES 支持 仅支持单AZ任务升级 出云 TaurusDB>Oracle 支持 仅支持单AZ任务升级 自建自建 MySQL>Kafka 支持 仅支持单AZ任务升级 自建自建 MySQL>CSS/ES 支持 仅支持单AZ任务升级 自建自建 MySQL>GaussDB集中式版 支持 仅支持单AZ任务升级 自建自建 MySQL>GaussDB分布式版 支持 仅支持单AZ任务升级 自建自建 Oracle>Kafka 支持 仅支持单AZ任务升级 自建自建 PostgreSQL>Kafka 支持 仅支持单AZ任务升级 自建自建 GaussDB集中式版>MySQL 支持 仅支持单AZ任务升级 自建自建 GaussDB集中式版>Oracle 支持 仅支持单AZ任务升级 自建自建 GaussDB集中式版>Kafka 支持 仅支持单AZ任务升级 自建自建 GaussDB分布式版>Kafka 支持 不支持

本文主要介绍 计费模式。 分布式消息服务Kafka支持按需和包周期两种付费模式。 包年包月 Kafka当前支持包年、包月的计费方式。 且按天翼云的包年订购优惠策略享受相关的一次性包年订购优惠。 按需 Kafka当前支持按需的计费方式，按小时计费。 具体价格，请详见产品价格。

在开通了专属云（计算独享型）基础上，再购买专属云Kafka，对产品各服务规格收取服务费。具体价格如下： 专属云Kafka中，队列实例各规格价格： 规格 标准资费(元/月) 100 MB/s 650 300 MB/s 1050 600 MB/s 2002.5 1200 MB/s 3635 对于专属云Kafka的存储部分，有2种可选。 1）选择公有云中云硬盘来承载存储，则此部分存储价格按公有云收费标准收取； 2）购买专属云（存储独享型）后，以专属存储承载Kafka存储，则收费服务费，价格如下： 专属存储部分服务费 存储类型 标准资费（元/GB/月） 高IO 0.3 超高IO 0.75

本文主要介绍实例规格变更问题。 Kafka扩容/缩容会影响业务吗？ Kafka扩容带宽/代理个数/存储空间，都不会影响业务的使用。 Kafka扩容代理规格，在扩容过程中，节点会重启，可能造成闪断。若Topic为单副本，扩容期间无法对该Topic生产消息或消费消息。 表 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理，业务也不受影响。 扩容基准带宽/代理数量时，系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3，每个代理的磁盘大小为200GB，扩容后实例的代理数为10，此时代理的磁盘大小依旧为200GB，但是总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过修改Kafka分区平衡，实现将原有Topic分区的副本迁移到新代理上。 存储空间 扩容存储空间有次数限制，只能扩容20次。 扩容存储空间不会影响业务。 代理规格 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息，会造成业务中断。 若Topic为多副本，扩容/缩容代理规格不会造成服务中断，但会逐个节点重启，负载会转移到剩余节点上，建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： a. 生产客户端为Kafka开源客户端时，检查是否配置retries和retry.backoff.ms参数。建议参数值分别配置为：retries10，retry.backoff.ms1000。 b. 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setRestartStrategy(RestartStrategies.fixedDelayRestart(10, Time.seconds(20))); 若实例已创建的分区数总和大于待缩容规格的实例分区数上限，此时无法缩容。不同规格配置的实例分区数上限不同，具体请参见产品规格。例如：kafka.4u8g.cluster3的实例，已创建800个分区，您想把此实例的规格缩容为kafka.2u4g.cluster3，kafka.2u4g.cluster3规格的实例分区数上限为750，此时无法缩容。 变更代理规格的时长和代理数量有关，单个代理的变更时长一般在5~10分钟，代理数量越多，规格变更时间越长。

本章节介绍了分布式消息服务RocketMQ的相关术语解释。 主题（Topic） 消息关联的基础逻辑单元。消息生产与消费时的基础单位。 队列（Queue） 一个主题由多个队列组成。队列数越大消费的并发度越大。 生产者（Producer） 消息写入的触发者，负责将消息推送到服务端。 生产者组（Producer Group） 同一类生产者的集合，这类生产者发送同一类消息且发送逻辑一致。 消费者（Consumer） 接收消息的对象，负责从服务端获取消息。 消费组（Consumer Group） 多个消费者组成同一个消费组，同一消费组内的消费者具有相同的消费属性。 代理（Broker） 一组节点构成的一个业务集群。 NameServer 存储元数据信息的轻量级注册中心。生产者/消费者在生产/消费消息前，需要先从NameServer获取元数据。

介绍分布式消息服务Kafka用户列表功能操作内容。 场景描述 Kafka用户管理的场景描述如下： 访问控制：Kafka用户管理可以用于实现访问控制，限制对Kafka集群和主题的访问权限。通过创建不同的用户和角色，并为其分配合适的权限，可以确保只有经过授权的用户能够访问和操作Kafka集群。 安全认证：Kafka用户管理可以用于实现安全认证，确保只有合法用户能够登录和使用Kafka集群。通过设置用户名和密码，以及使用TLS/SSL证书等安全机制，可以保护Kafka集群免受未经授权的访问和攻击。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后即可查看所有的用户信息。 （5）右上角输入用户名称，可查询对应用户。

本节主要介绍分布式消息服务Kafka的计费项 分布式消息服务Kafka的计费项由实例费用和存储费用组成，具体费用详情可参考产品资费。 计费项 计费项说明 使用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 代理数量 购买时长 存储空间费用 计费因子：云硬盘类型、容量大小 包年/包月、按需计费 云硬盘规格单价 单个代理存储大小 代理数量 购买时长

可信云服务可以通过IAM委托的方式访问其他云服务的资源。可信实体为天翼云服务的IAM委托，包括普通云服务委托和云服务关联委托。本文介绍事件总线EventBridge的服务内联委托。 什么是服务内联委托 在某些场景下，事件总线EventBridge为了完成自身的某个功能，需要获取其他云服务的访问权限，因此，事件总线EventBridge创建了与云服务内联委托，即服务内联委托CtyunAssumeRoleForEventBridge。 使用事件总线EventBridge，系统提供的服务内联委托及其包含的系统权限策略如下： 服务内联委托：CtyunAssumeRoleForEventBridge 系统权限策略：CtyunAssumePolicyForEventBridge CtyunAssumeRoleForEventBridge 服务内联委托CtyunAssumeRoleForEventBridge具有获取访函数列表、函数详情以及调用函数的权限；具有对分布式消息服务Kafka、分布式消息服务RocketMQ、分布式消息服务MQTT与分布式消息服务RabbitMQ的管理员权限；具有专有网络VPC、VPCE的管理员权限。 服务内联委托CtyunAssumeRoleForEventBridge被授予权限策略CtyunAssumePolicyForEventBridge，该权限策略的内容如下： plaintext { "Version": "1.1", "Statement": [ { "Action": [ "cf:inst:InvokeFunction", "cf:inst:GetFunction", "cf:inst:ListFunctions", "KAFKA::", "MQ2::", "mqtt::", "AMQP::", "vpce::", "vpc::" ], "Resource": [ "" ], "Effect": "Allow" } ] } 以下是使用事件总线EventBridge时，需要使用服务内联委托的场景： 建立函数计算规则时，需要委托事件总线EventBridge具有获取访函数列表、函数详情以及调用函数的权限。 建立消息中间件事件源与事件目标时，需要委托事件总线EventBridge具有对分布式消息服务Kafka、分布式消息服务RocketMQ、分布式消息服务MQTT与分布式消息服务RabbitMQ的管理员权限。 建立网络端点时，需要委托事件总线EventBridge具有专有网络VPC、VPCE的管理员权限。

有序消息 消费消息的顺序要同发送消息的顺序一致，在RocketMQ中，主要有两种有序消息。 普通有序消息 有序消息的一种，在正常情况下可以保证完全的顺序消息，但是一旦发生通信异常，Broker重启，由于队列总数发生变化，哈希取模后定位的队列会变化，产生短暂的消息顺序不一致。如果业务能容忍在集群异常情况（如某个Broker宕机或者重启）下，消息短暂的乱序，使用普通顺序方式比较合适。 严格有序消息 有序消息的一种。无论正常异常情况都能保证顺序，但是牺牲了分布式Failover特性，即Broker集群中只要有一台机器不可用，则整个集群都不可用（或者影响hash值对应队列的使用），服务可用性大大降低。如果服务器部署为同步双写模式，此缺陷可通过备机自动切换为主避免，不过仍然会存在几分钟的服务不可用。若业务能容忍短暂乱序，推荐普通有序消费。

参数 参数类型 说明 示例 下级对象 queueId Integer 队列ID。 0 storeSize Integer 存储大小，单位B 280 queueOffset Integer 队列偏移量。 0 sysFlag Integer 系统标记。 0 bornTimestamp Long 消息生成时间戳。 1661947215767 bornHost String 消息生成主机地址。 192.168.71.1:64222 storeTimestamp Long 消息存储时间戳。 1661947567107 storeHost String 消息存储主机地址。 192.168.71.188:8422 msgId String 消息ID。 C0A847BC000020E600000000000794D8 commitLogOffset Long 提交日志偏移量。 496856 bodyCRC Integer 消息体CRC校验值。 1335308324 reconsumeTimes Integer 重试次数。 4 preparedTransactionOffset Long 预处理事务偏移量。 0 topic String 主题名称。 %DLQ%group1 properties Object 消息属性。 properties messageBody String 消息体内容。 GZ2BfSrWuAinKs 表 properties

参数 参数类型 说明 示例 下级对象 queueId Integer 队列ID 0 storeSize Integer 存储大小,单位B 280 queueOffset Integer 队列偏移量 0 sysFlag Integer 系统标记 0 bornTimestamp Long 消息生成时间戳 1661947215767 bornHost String 消息生成主机地址 192.168.71.1:64222 storeTimestamp Long 消息存储时间戳 1661947567107 storeHost String 消息存储主机地址 192.168.71.188:8422 msgId String 消息ID C0A847BC000020E600000000000794D8 commitLogOffset Long 提交日志偏移量 496856 bodyCRC Integer 消息体CRC校验值 1335308324 reconsumeTimes Integer 重试次数 4 preparedTransactionOffset Long 预处理事务偏移量 0 topic String 主题名称 %DLQ%group1 properties Object 消息属性 properties messageBody String 消息体内容 GZ2BfSrWuAinKs 表 properties

包含匹配 您可以指定某个字段包含特定字段值进行匹配。 例如，以下示例事件模式匹配type字段包含kafka的事件。下表介绍示例事件从事件源发出经过事件模式过滤的过程。 从事件源接收的事件 事件模式 模式过滤后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } plaintext { "id": "f36b49b668914b59b11cbf689xxxx713", "source": "ctyun:rocketmq", "type": "ctyun:rocketmq:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } plaintext { "type": [ { "contains" : "kafka" } ] } plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 例如，以下示例事件模式匹配type字段包含kafka或rocketmq的事件。下表介绍示例事件从事件源发出经过事件模式过滤的过程。 从事件源接收的事件 事件模式 模式过滤后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } plaintext { "id": "f36b49b668914b59b11cbf689xxxx713", "source": "ctyun:rocketmq", "type": "ctyun:rocketmq:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:rocketmq:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } plaintext { "type": [ { "contains" : "kafka" }, { "contains" : "rocketmq" } ] } plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } plaintext { "id": "f36b49b668914b59b11cbf689xxxx713", "source": "ctyun:rocketmq", "type": "ctyun:rocketmq:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:rocketmq:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } }

本章节主要介绍DataArts Studio的获取Rest Client算子返回值操作。 Rest Client算子可以执行RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值。 通过EL表达式获取返回值。 通过“响应消息体解析为传递参数定义”获取返回值 如下图所示，第一个Rest Client调用了MRS服务查询集群列表的API，下图为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterIdclusters[0].clusterId，后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 Rest Clien作业样例1 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合，根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程，根据您的实际业务需要，开发您自己的作业。EL表达式用法可参考表达式概述。 如下图所示，Rest Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段：

示例三：转换时变量为JSON形式 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": ${data} } plaintext { "value": { "key": "test2", "value": "test1" } } 示例四：转换时变量进行JSON转义 若希望转换的字符串保持JSON字符串格式，不破坏原有JSON的格式，可使用jsonEscape函数，如下所示： 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": "${jsonEscape(data)}" } plaintext { "value": "{"key": "test2","value": "test1"}" } 空 当转换类型为空时，事件总线EventBridge将事件路由到事件目标时，对应的属性为空。如希望分布式消息服务Kafka事件目标的Key、分布式消息服务RocketMQ事件目标的Tags为空时，可以将对应属性设置为空。

本文主要介绍分布式消息服务RabbitMQ的队列迁移最佳实践。 在RabbitMQ集群上，队列在各个节点分布不均衡会导致部分节点压力过大，无法更有效的利用集群。这可能是扩容节点、删除队列等原因导致的。 设置队列负载均衡的方法如下： 删除队列重建 通过Policy修改master节点方式 删除队列重建 1. 登录RabbitMQ WebUI页面。 2. 在“Overview”页签中，单击“Download broker definitions”，导出元数据。 3. 停止生产，等待数据消费完，然后删除原有队列。 在“Overview”页签中，确认数据是否已消费完。 可消费消息数（Ready）和未确认的消息数（Unacked）都为0时，说明消费完成。 等数据消费完后，删除原有队列。 在“Queues”页签，单击需要删除的队列名称，进入队列详情页面。 单机“Delete Queue”，删除队列。 4. 在“Overview”页签中，上传2中导出的元数据。 在“Overview”页签中，单击“选择文件”，选择2中导出的元数据。 单击“Upload broker definitions”，上传元数据。 上传成功后，显示如下信息。 实例会自动将队列均衡创建在各个节点上，在“Queues”页签中查看队列分布详情。

磁盘数目 存储磁盘的 IOPS（每秒输入/输出操作次数）和每秒读/写字节数有限制。创建新分区时，Kafka 会将每个新分区存储在现有分区最少的磁盘上，以便在可用磁盘之间平衡分区的数目。尽管有存储策略进行调节，但在处理每个磁盘上的数百个分区副本时，Kafka 很容易就会使可用磁盘吞吐量达到饱和。此时，需要在吞吐量与成本之间进行取舍。如果应用场景需要更大的吞吐量，请创建一个可为每个代理提供更多托管磁盘的群集。 主题和分区的数目 Kafka生产者将写入主题。Kafka 消费者读取主题。主题与日志相关联，该日志是磁盘上的数据结构。Kafka 将生产者中的记录追加到主题日志的末尾。主题日志包括分散在多个文件之间的多个分区。而这些文件又分散在多个 Kafka 群集节点之间。消费者可以按照自己的节奏从 Kafka 主题中读取内容，并可以在主题日志中选择自己的位置（偏移）。 每个 Kafka 分区是在系统上的一个日志文件，生产者线程可以同时写入到多个日志。同样，由于每个消费者线程从一个分区读取消息，因此也能并行处理从多个分区使用消息的操作。 提高分区密度（每个代理的分区数）会增大与元数据操作以及每个分区领先者及其后继者之间的分区请求/响应相关的开销。即使不存在流动的数据，分区副本也仍会从领先者提取数据，导致需要通过网络额外处理发送和接收请求。 对于 HDInsight 中的 Apache Kafka 群集 2.1 和 2.4 以及更高版本，我们建议最多为每个代理提供 2000 个分区（包括副本）。增加每个代理的分区数会降低吞吐量，并可能导致主题不可用。

本文介绍如何在事件总线EventBridge管理控制台中添加自建Apache Kafka类型的自定义事件源。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 创建自定义总线。 您已部署Apache Kafka集群，并在您的天翼云VPC内或公共网络可访问集群接入点。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件总线。 3. 在事件总线页面，单击目标总线名称。 4. 在左侧导航栏，单击事件源。 5. 在事件源 页面，单击添加事件源。 6. 在添加自定义事件源 面板，输入名称 和描述 ，事件提供方 选择自建Apache Kafka，配置相关参数，然后单击确认，如图1所示。 图1 创建事件源时事件提供方选择自建Apache Kafka 参数说明 参数 说明 示例 名称 事件源名。 source1 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 Group ID 填入当前Apache Kafka集群中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名：填写SASL用户名 密码：填写SASL密码 SASL鉴权方式：可选PLAIN和SCRAMSHA512 PLAINTEXT 消费位点 消费消息的位点。 最新位点 最早位点 最新位点 数据格式 消息value数据编码格式。 JSON Text Binary JSON

本文主要介绍分布式消息服务RabbitMQ的实例规格。 RabbitMQ实例规格 RabbitMQ实例兼容开源RabbitMQ 3.8.35、3.7.17，实例类型包括单机和集群，实例规格请参考下表。 说明 为了保证稳定性，服务端限制了单条消息的最大长度为50MB，请勿发送大于此长度的消息。 下表中TPS，是指以2KB大小的消息为例的每秒处理消息条数，测试场景为不开启持久化的非镜像队列，实时生产实时消费，队列无积压。此数据仅供参考，生产使用需要以实际压测性能为准。 服务端的性能主要跟以下因素相关：队列数、消息堆积、连接数、channel、消费者数、镜像队列、优先级队列、消息持久化和exchange类型等，在选择实例规格时，请根据业务模型压测结果选择。 一条连接最多可以开启2047个channel。 表1 RabbitMQ实例规格 型号 代理数 存储空间范围 TPS参考值 单个代理最大消费者数 单个代理建议队列数 单个代理最大连接数 rabbitmq.2u4g.single 1 100GB~30000GB 10000 20000 200 3000 rabbitmq.4u8g.single 1 100GB~30000GB 20000 30000 400 4500 rabbitmq.8u16g.single 1 100GB~30000GB 35000 50000 800 7500 rabbitmq.16u32g.single 1 100GB~30000GB 45000 80000 1600 12000 rabbitmq.24u48g.single 1 100GB~30000GB 50000 100000 2400 15000 rabbitmq.2u4g.cluster 3/5/7 3/5/7100GB~30000GB 30000~70000 20000 200 3000 rabbitmq.4u8g.cluster 3/5/7 3/5/7100GB~30000GB 45000~80000 30000 400 4500 rabbitmq.8u16g.cluster 3/5/7 3/5/7100GB~30000GB 85000~120000 50000 800 7500 rabbitmq.12u24g.cluster 3/5/7 3/5/7100GB~30000GB 100000~150000 60000 1200 10000 rabbitmq.16u32g.cluster 3/5/7 3/5/7100GB~30000GB 130000~180000 80000 1600 12000 rabbitmq.24u48g.cluster 3/5/7 3/5/7100GB~30000GB 150000~200000 100000 2400 15000

结果验证 1. 使用事件总线发布消息功能，发送一个自定义事件。 2. 您可以在分布式消息RabbitMQ 控制台确认是否接收到事件，如图2所示。 1. 登录分布式消息服务RabbitMQ控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在选择队列管理，进入目标队列详情，进入消息消费拨测页面。 4. 在消息查询页面，点击消费即可查看消息内容。 图2 在分布式消息服务RabbitMQ管理控制台中查看消息详情

介绍分布式消息服务RabbitMQ消息持久化功能。 使用场景 在生产过程中，难免会发生服务器宕机的事情，RabbitMQ也不例外，可能由于某种特殊情况下的异常而导致RabbitMQ宕机从而重启，那么这个时候对于消息队列里的数据，包括交换机、队列以及队列中存在消息恢复就显得尤为重要了。RabbitMQ本身带有持久化机制，包括交换机、队列以及消息的持久化。持久化的主要机制就是将信息写入磁盘，当RabbtiMQ服务宕机重启后，从磁盘中读取存入的持久化信息，恢复数据。 设置交换器持久化 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“交换器管理”后，点击“新建”按钮。 （5）点击“新建”后出现以下窗口，是否持久化选择是。 设置队列持久化 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“队列管理”后，点击“新建”按钮。 （5）点击“新建”后出现以下窗口，是否持久化选择是。

您可以通过事件规则过滤事件，将事件路由到自建Apache Kafka服务。本文以自定义事件为例介绍将事件路由到自建Apache Kafka的前提条件、操作步骤和结果验证。 前提条件 开通事件总线EventBridge并委托授权 创建自定义总线服务 操作步骤 1. 登录事件总线EventBridge控制台，在左侧导航栏，单击事件总线。 2. 选择目标总线，在左侧导航栏，单击事件规则，然后单击添加事件规则。 3. 在添加事件规则页面，完成以下操作。 1. 在配置基本信息配置向导，在名称文本框输入规则名称，在描述文本框输入规则的描述，然后单击下一步。 2. 在配置事件模式配置向导，选择匹配全部事件，然后单击下一步。 3. 在配置事件目标 配置向导，配置事件目标，事件目标服务类型选择自建Apache Kafka，目标参数描述如下，然后单击创建。 参数说明 参数 说明 示例 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名：填写SASL用户名 密码：填写SASL密码 SASL鉴权方式：可选PLAIN和SCRAMSHA512 PLAINTEXT 消息体 选择消息体（Body）的内容，更多信息请参考事件内容转换。 完整事件 消息键值 选择消息键值（Key）的内容，更多信息请参考事件内容转换。 空