尊敬的天翼云客户，分布式消息服务RocketMQ自2025年12月27日起，订购和续订2年、3年选项默认不开放，调整为白名单特性。 调整时间 2025年12月27日 影响范围 所有区域 调整影响 新订购和续订的实例默认不开放2年、3年选项，您可以选择1年包年选项，如仍需要23年包周期选项，请联系技术支持开通后使用。 已购买2年、3年且还在服务期间的实例仍可继续正常使用不受影响。

尊敬的天翼云客户，分布式消息服务Kafka自2025年12月27日起，订购和续订2年、3年选项默认不开放，调整为白名单特性。 调整时间 2025年12月27日 影响范围 所有区域 调整影响 新订购和续订的实例默认不开放2年、3年选项，您可以选择1年包年选项，如仍需要23年包周期选项，请联系技术支持开通后使用。 已购买2年、3年且还在服务期间的实例仍可继续正常使用不受影响。

分区平衡前的准备工作 在不影响业务的前提下，适当调小Topic老化时间并等待消息老化，减少迁移数据，加快迁移速度，分区平衡任务结束后可重新调整为初始值。 确保分区平衡的目标Broker磁盘容量充足。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量，为了给目标Broker上的消息生产预留存储空间，应先进行磁盘扩容，再进行分区平衡。 自动平衡 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“Topic管理”，进入Topic列表页面。 步骤 6 通过以下任意一种方法，修改分区平衡。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“一键平衡 > 自动平衡”。 在待修改分区平衡的Topic所在行，单击“更多 > 一键平衡 > 自动平衡”。 步骤 7 设置自动平衡参数。 在“Brokers列表”区域，勾选目标Broker的名称，Topic分区的副本即将迁移至目标Broker上。 在“Topic列表”区域，输入Topic需要自动平衡的副本数，副本数须小于等于Broker的数量。 在“带宽限制”中，输入带宽大小，默认值为“1”，表示不限制带宽。如果实例负载较低，建议不设置带宽限制。如果需要设置带宽限制，建议该参数值不小于待分区平衡Topic的总生产带宽 待分区平衡Topic的最大副本数。带宽限制值的估算方法，请参考带宽限制值估算方法。 图设置自动平衡参数 步骤 7 单击“确定”，自动跳转到Topic列表页面。 在Topic列表页面左上方单击“查看变更任务”，进入“后台任务管理”页面，查看分区平衡任务的状态。当“状态”为“成功”时，表示分区平衡完成。 说明 分区平衡任务启动后，不能删除正在进行分区平衡的Topic，否则会导致分区平衡任务无法结束。 分区平衡任务启动后，无法修改Topic的分区数。 分区平衡任务启动后，无法手动停止任务，需要等到任务完成。

本文主要介绍计费项。 计费说明 分布式消息服务Kafka的计费项由实例费用和存储空间费用组成。 表 分布式消息服务Kafka计费项 计费项 计费项说明 适用的计费模式 计费公式 实例费用 计费因子：代理规格和代理数量 包年/包月、按需计费 实例规格单价 购买时长 实例规格单价请参考产品价格。 存储空间费用 计费因子：云硬盘类型、容量 包年/包月、按需计费 存储规格单价 购买时长 存储规格单价请参考产品价格。 Smart Connect Smart Connect用于异构系统间的数据同步，开启Smart Connect后，设置Smart Connect任务可以实现Kafka实例和其他云服务（如OBS）之间的数据同步，或者两个Kafka实例之间的数据同步。 包年/包月、按需计费 开启Smart Connect后，实例会另外创建2个同规格、用于Smart Connect的代理，并收取相应的代理费用。例如：规格为kafka.4u8g.cluster的实例，会另外创建2个规格为kafka.4u8g的代理，用于Smart Connect，所以需要收取相应代理费用。 计费示例 计费场景 假如某用户于2023/03/18 15:30:00在“广州4”区域购买了一个按需计费的Kafka实例，规格配置如下： 规格：kafka.2u4g.cluster3 总存储空间：高I/O 300GB 用了一段时间后，用户发现Kafka实例当前规格无法满足业务需要，于2023/03/20 9:00:00升配为kafka.4u8g.cluster3。因为该Kafka实例打算长期使用下去，于2023/03/20 10:30:00将Kafka实例转为包年/包月计费，购买时长为1个月。那么在3~4月份，该Kafka实例总共产生多少费用呢？

面向长期稳定客户，我们特别推出了更加优惠的包年订阅选项，旨在通过深度折扣，帮助客户显著降低资源单位成本，优化整体支出。 自2024年11月9日起订购和续订分布式消息服务Kafka产品更长包周期即可享受2年7折，3年5折优惠。 注意 本次包年优惠适用于新资费产品范围，具体支持资源池请参阅

DLI数据源约束 使用CDM服务迁移数据到DLI时，当前用户需拥有OBS的读取权限。 Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务（DCS ）和Redis数据源约束 1. 由于分布式缓存服务（DCS）限制了获取所有Key的命令，CDM无法支持DCS作为源端，但可以作为迁移目的端，第三方云的Redis服务也无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 2. 仅支持Hash和String两种数据格式。 文档数据库服务（DDS ）和MongoDB数据源约束 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 云搜索服务和Elasticsearch数据源约束 1. CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 2. 索引下的字段类型创建后不能修改，只能创建新字段。如果一定要修改字段类型，需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建（数据也会删除）。 3. CDM自动创建的索引，字段类型为date时，要求数据格式为“yyyyMMdd HH:mm:ss.SSS Z”，即“20180808 08:08:08.888 +08:00”。迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求，可以通过CDM的表达式转换功能转换为上述格式。 Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。

本章节主要介绍创建消息通知主题。 操作场景 确定创建消息通知主题后，您可在消息通知服务的“主题管理”页面中，对对应的主题“添加订阅”，选择不同方式（例如短信或者邮件等）进行订阅；订阅成功后，若作业失败，则系统将会自动发送消息到您指定的订阅终端。 操作步骤 1.在“资源管理 > 队列管理”页面，单击左上角“创建消息通知主题”。 2.选择队列，单击“确定”。 说明 选择队列时，可以选择单个队列，也可以选择所有队列。 如果单个队列和所有队列的终端不一致，当选择了单个队列，同时选择了所有队列进行订阅时，在所有队列的消息通知中将不包含该队列的消息。 创建消息通知主题后，只有在订阅队列上创建的Spark作业失败时才会收到消息通知。 3.单击“主题管理”，跳转至消息通知服务“主题管理”页面。 4.在对应主题的“操作”栏中，单击“添加订阅”，选择“协议”，确定订阅方式。 5.通过单击邮件中的链接确认后，将收到“订阅成功”的信息。 6.在消息通知服务的“订阅”页面，对应的订阅状态为“已确认”，表示订阅成功。

本章介绍了如何获取SDK。 引入依赖 java com.rabbitmq amqpclient 5.8.0

分布式消息服务Kafka主机类型通用型规格调整为白名单特性，更多了解请查看计费项产品规格说明。 调整时间 2024年6月25日 影响范围 所有区域 调整影响 新用户默认不开放主机类型通用型规格订购开通，如需要该特性，请联系技术支持开通后使用。 已购买主机类型通用型规格实例的用户，原实例仍可正常使用，续费、扩容等操作不受影响。

本文主要介绍 创建流控。 操作场景 本章节指导您在控制台对用户/客户端/Topic进行流量控制，控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个broker，Topic的流控作用范围是指定Topic。 操作影响 当流控值达到上限后，会导致生产/消费的时延增大。 设置的流控值较小且生产者速率较大时，可能会造成生产超时、消息丢失，导致部分消息生产失败。 初始生产/消费的流量较大，如果设置一个较小的流控值，会导致生产/消费的时延增大、部分消息生产失败。建议逐次减半设置流控值，待生产/消费稳定后继续减半设置，直到设置为目标流控值。例如初始生产流量100MB/s，可先设置生产流控为50MB/s，待稳定后再修改为25MB/s，直到目标流控值。 前提条件 如果需要对用户进行流量控制，请在创建Kafka实例时，开启SASLSSL功能。然后在控制台的“用户管理”页面，获取用户名。 如果需要对指定客户端进行流量控制，请在客户端配置中获取client ID。 如果需要对指定Topic进行流量控制，请在控制台的“Topic管理”页面，获取Topic名称。 创建用户/客户端流控 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在页面顶端单击“User/Client”，进入“User/Client”页签。 步骤 7 在页面左上角单击“创建流控”，弹出“创建流控”对话框。 步骤 8 设置流控参数。 表 流控参数说明 参数名称 说明 用户名 输入指定用户名，对此用户进行流控。如果需要对所有用户进行流控，在“用户名”后，单击“选择默认”。流控创建完后，无法修改“用户名”。 客户端ID 输入指定客户端ID，对此客户端进行流控。如果需要对所有客户端进行流控，在“客户端ID”后，单击“选择默认”。流控创建完后，无法修改“客户端ID”。 生产上限速率 设置生产上限速率，单位为MB/s。为空时，表示不设置速率。 消费上限速率 设置消费上限速率，单位为MB/s。为空时，表示不设置速率。 说明 未开启SASL的实例，在“创建流控”对话框中，不显示“用户名”。 “用户名”和“客户端ID”不可同时为空。 “生产上限速率”和“消费上限速率”不可同时为空。 步骤 9 单击“确定”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示流控创建成功。 进入“流控管理 > 流控列表”页面，在“User/Client”页签中，单击页面右上角的“仅设置了用户名”/“仅设置了客户端ID”/“设置了用户名和客户端ID”，输入新创建的流控名称，单击，查看新创建的流控。 图 查看新创建的流控

安全组件云主机 端口 端口用途 AQZQAF（云防火墙） 业务端口 网络通信 AQZQOSM（云堡垒机） 20/21 FTP AQZQOSM（云堡垒机） 22 ssh AQZQOSM（云堡垒机） 443 https、协议代理（web） AQZQOSM（云堡垒机） 444 数字证书登陆 AQZQOSM（云堡垒机） 1521 Oracle数据库 AQZQOSM（云堡垒机） 3306 Mysql数据库 AQZQOSM（云堡垒机） 3389 RDP AQZQOSM（云堡垒机） 8080 http AQZQOSM（云堡垒机） 9443 Web客户端 AQZQOSM（云堡垒机） 12021 协议代理（FTP协议） AQZQOSM（云堡垒机） 12024 协议代理（字符客户端：xshell、putty、crt、winscp、filezilla） AQZQOSM（云堡垒机） 12025 协议代理（RDP客户端） AQZQLAS（云日志审计） TCP22 访问后台命令行 AQZQLAS（云日志审计） UDP161 snmp query设备状态 AQZQLAS（云日志审计） UDP162 接收snmp trap日志 AQZQLAS（云日志审计） UDP514 接收syslog日志 AQZQLAS（云日志审计） TCP8082 访问设备管理控制台 AQZQLAS（云日志审计） TCP8443、443 访问业务控制台 AQZQEDR（终端安全EDR） 443 Agent下载端口 AQZQEDR（终端安全EDR） 8083 业务端口 AQZQEDR（终端安全EDR） 54120 管理端口 AQZQDAS（云数据库审计） TCP22 ssh服务 AQZQDAS（云数据库审计） TCP80 web服务 AQZQDAS（云数据库审计） TCP443 安全的web服务 AQZQDAS（云数据库审计） TCP8443 安全的web数据服务 AQZQDAS（云数据库审计） TCP9092 kafka发送数据 AQZQDAS（云数据库审计） TCP9999 Agent审计服务端口 AQZQDAS（云数据库审计） TCP5672 rabbitmq客户端 AQZQDAS（云数据库审计） TCP10000 综合治理相互监听端口 AQZQDAS（云数据库审计） TCP15672 rabbitmq服务端 AQZQCSSP（安全专区服务） TCP4430 API通信端口 AQZQCSSP（安全专区服务） TCP4433 单点登录 AQZQCSSP（安全专区服务） UDP4500、UDP500 用来创建扫描隧道与执行扫描 AQZQCSSP（安全专区服务） TCP7443 API通信端口，用来授权与部署扫描任务 AQZQCSSP（安全专区服务） TCP8888 代理组件后端 AQZQCSSP（安全专区服务） TCP8989 单点登录 AQZQCSSP（安全专区服务） TCP9999 自动升级

本文为您介绍分布式消息服务MQTT的API设备客户端查询设备是否在线。 GET URI参数说明： 参数名 参数类型 是否必填 参数描述 prodInstId String 是 实例ID clientId String 是 设备ID 返回参数说明：成功 参数名 参数类型 参数描述 returnObj Object 返回对象 returnObj.clientId String 设备ID returnObj.online Boolean 是否在线 message String 描述状态 statusCode String 800成功 其他失败 成功 {"returnObj": {"clientId":"aaa","online":true},"message": "success","statusCode": "800"} 失败 {"returnObj": null,"message": "error","statusCode": 900}

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

示例三：转换时变量为JSON形式 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": ${data} } plaintext { "value": { "key": "test2", "value": "test1" } } 示例四：转换时变量进行JSON转义 若希望转换的字符串保持JSON字符串格式，不破坏原有JSON的格式，可使用jsonEscape函数，如下所示： 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": "${jsonEscape(data)}" } plaintext { "value": "{"key": "test2","value": "test1"}" } 空 当转换类型为空时，事件总线EventBridge将事件路由到事件目标时，对应的属性为空。如希望分布式消息服务Kafka事件目标的Key、分布式消息服务RocketMQ事件目标的Tags为空时，可以将对应属性设置为空。

本文主要介绍重置SASLSSL密码。 操作场景 在“用户管理”页签创建的SASLSSL用户，如果忘记了SASLSSL密码，通过重置SASLSSL密码功能，重新设置一个新的密码，可使用新密码连接Kafka实例。 如果忘记了创建实例时设置的SASLSSL密码，请参考重置Kafka密码，重置密码。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置SASLSSL密码。 只有处于“运行中”状态的Kafka实例支持重置SASLSSL密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击待重置SASLSSL密码的Kafka实例名称，进入实例详情页面。 步骤 5 在“用户管理”页签，在待重置SASLSSL密码的用户所在行，单击“重置密码”。 步骤 6 输入“新密码”，单击“确定”，完成密码重置。 如果重置密码成功，界面提示重置实例的密码成功。 如果重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

本文主要介绍 重置Kafka密码。 操作场景 如果您忘记了创建实例时设置的SASLSSL密码，通过重置Kafka密码功能，重新设置一个新的密码，可使用新密码连接Kafka实例。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置Kafka密码。 只有处于“运行中”状态的Kafka实例支持重置Kafka密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重置Kafka密码。 在需要重置Kafka密码的Kafka实例右侧，单击“更多 > 重置Kafka密码”，弹出重置Kafka密码对话框。 单击Kafka实例名称，进入实例详情页面。在“基本信息”页签，在“连接信息 > 用户名”后，单击“重置密码”，弹出重置Kafka密码对话框。 单击Kafka实例名称，进入实例详情页面。在“用户管理”页签，在待重置Kafka密码的用户所在行，单击“重置密码”，弹出重置Kafka密码对话框。 步骤 5 输入“新密码”，单击“确定”，完成密码重置。 如果重置密码成功，界面提示重置实例的密码成功。 如果重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

云监控服务支持哪些服务的企业项目维度的分权分域监控？ 目前，云监控服务支持的企业项目维度的分权分域资源有：弹性云主机、弹性伸缩、云硬盘、弹性IP、弹性负载均衡、云数据库、分布式缓存服务、文档数据库服务和分布式消息服务。 云监控服务哪些资源支持企业项目？ 目前，云监控服务的监控面板、监控视图、告警规则和资源分组支持按企业项目分权分域。 为什么企业项目的子用户在监控概览页面可以查看到主帐号资源信息？ 云监控服务的概览页面暂未支持按企业项目分权分域维度的查询功能，敬请期待。 为什么企业项目的子用户无法看到一键告警功能？ 云监控服务的一键告警功能只有主帐号或配置了Tenant Administrator权限的子用户才有权访问和使用。 为什么企业项目的子用户在配置告警规则时，无法选择全部资源？ 配置告警规则可选择全部资源的功能只有主帐号或配置了Tenant Administrator权限的子用户才有权使用。

Hudi Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 资源池 ModelArts提供的大规模计算集群，可应用于模型开发、训练和部署。支持公共资源池和专属资源池两种，分别为共享资源池和独享资源池。ModelArts默认提供公共资源池。专属资源池需单独购买，专属使用，不与其他用户共享。 Hue Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Kafka Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Spark Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速，统一的大数据应用，对数据进行离线处理，流式处理，交互式分析等等。

本节介绍分布式消息服务Kafka连接常见问题 接入地址出现不足三个ip+端口？ 集群三台机器正常运作的情况下，接入点会出现三个ip:port连起来，当出现不足三个时候，说明其中一台机器不正常工作（没出现在接入点的机器），请尽快联系管理人员查看不正常工作的节点，尽快恢复。 实例是否支持跨VPC访问？ 实例支持跨VPC访问，可以通过创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问实例。 如何通过代理访问Kafka实例 暂不支持通过代理访问Kafka实例。 原因：客户端通过bootstrap.servers随机访问服务器获取元数据，通过元数据里的IP地址进行后续的消息收发。配置代理后，第一步正常，但在第二步时，客户端仍然通过元数据中的IP地址进行访问，导致访问不通。因此，必须保证网络全连通。 生产者会建立多少个连接到Broker？ 每个生产者通常会建立2个到Broker的TCP连接，一个TCP连接用于更新元数据，一个TCP连接用于发送消息。 VPC实例和公网/VPC实例的区别是什么？ VPC实例：仅提供VPC接入点，只能通过VPC访问。 公网/VPC实例：提供公网接入点和VPC接入点，可以通过公网访问，也可以通过VPC访问。 Kafka实例是否支持公网访问？ Kafka实例支持公网访问。使用公网访问Kafka实例的具体操作，请参考设置公网ip。

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。

该页面主要介绍分布式消息服务Kafka版的SDK，您可以根据实际业务需求进行集成。 各语言SDK下载及使用 支持语言 SDK附件 Java ctyunctgkafkajavasdkv1.0.1.zip Go ctyunctgkafkagosdkv1.0.1.zip 说明 由于运行环境的多样性，部分接口在某些特定配置下可能存在适配差异，我们的技术团队将持续优化兼容性。如有问题，可提单咨询。

为保障更优的性能，分布式消息服务MQTT上线并主推计算增强型主机类型，原通用型规格调整为白名单特性，更多产品类型信息请参阅产品规格。 调整时间 2024年11月9日 影响范围 所有区域 调整影响 新用户默认不开放主机类型通用型规格订购开通，如需要该特性，请联系技术支持开通后使用。 已购买主机类型通用型规格实例的用户，原实例仍可正常使用，续费等操作不受影响。

本节介绍分布式消息服务Kafka客户端参数配置 根据实际业务场景，客户端参数配置适当的值，客户端参数列表及说明如下所示： 表1.生产者客户端 参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔，建议设置为1000。单位：毫秒。 acks 发送消息的持久化机制。为了提升发送性能， 建议设置为acks1。acks0：无需服务端的Response，性能较高、丢数据风险较大。acks1：服务端主节点写成功即返回Response，性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall：服务端主节点写成功且备节点同步成功才返回Response，性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时，就会触发一次网络请求，然后Producer客户端把消息批量发往服务器。如果batch.size设置过小，有可能影响发送性能和稳定性。建议保持默认值16384。单位：字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间，Producer客户端就会忽略batch.size的限制，立即把消息发往服务器。建议根据业务场景， 将linger.ms设置在100~1000之间。单位：毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略，可提升发送性能。发送客户端2.4及以上版本，默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小，则有可能导致申请内存耗时过长，从而影响发送性能，甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位：字节。 表2.消费者客户端参数 参数 说明 fetch.min.bytes 消费者从服务端获取数据的最小字节数。设置该参数时请尽量评估消息发送端的消息量，若设置过大可能会导致消费端延迟增大，过小可能会导致消费端频繁拉取消息。单位：字节。 fetch.max.wait.ms 服务端等待的最大时间。单位：毫秒。如果使用Local存储引擎，配置了fetch.min.bytes参数，服务器会等待足够的数据才会返回。超过此时间即使没有足够数据也会返回。如果是云存储引擎，一旦有新数据发送进来， 服务器就会结束等待，不需要等待fetch.min.bytes的值。 max.partion.fetch.bytes 每个分区返回的最大字节数。单位：字节。 session.timeout.ms 消费端发送心跳的时间间隔，如果在心跳时间间隔内没有发送心跳，则服务端会认为消费者死亡，从而触发Rebalance，Rebalance期间客户端将会停止消费数据等待Rebalance完成。建议将此参数设置为3000060000。单位：毫秒。默认有效值：6000300000。 max.poll.records 每次Poll获取的最大消息数量，若此值设置过大则需要尽快处理业务逻辑，避免处理过慢影响下一次Poll数据，从而导致在session.timeout.ms时间内没有发送心跳引起Rebalance。建议该值小于 的值。重要 在Java Client 0.10.1及其以上版本有单独的线程发送心跳，小于此版本或者其他语言的客户端都需考虑处理数据时间和发送心跳的间隔，防止频繁Rebalance影响正常消费。 max.poll.interval.ms 最大的Poll间隔时间，仅在Java Client 0.10.1及其以上版本需配置该参数。如果在间隔时间内消费者没有发送Poll请求，即使在session.timeout.ms参数设置的时间内发送了心跳。服务端也会认为消费者死亡，从而触发Rebalance。因此需注意此值需要合理设置，建议该值大于 的值。通常使用默认值即可。单位：毫秒。默认值：300000。 enable.auto.commit 是否采用自动提交位点机制。true：默认采用自动提交机制。false：不采用自动提交机制。默认值：true。 auto.commit.interval.ms 自动提交位点时间间隔。默认值为1000，单位：毫秒。 auto.offset.reset 消费位点重置策略。latest：从最大位点开始消费。earliest：从最小位点开始消费。none：不做任何操作，即不重置。说明建议设置成latest，而不要设置成earliest，避免因位点非法时从头开始消费，从而造成大量重复。如果是您自己管理位点，可以设置为none。

本章节主要介绍翼MapReduce服务的集群管理功能。 集群生命周期管理 翼MR支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型，组件范围，各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，翼MR将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群，比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群：当按需计费的集群不再需要时（包括集群中的数据和配置），用户可以选择删除集群，翼MR会将集群相关的资源全部删除。 创建集群 通过在翼MR服务管理面，客户可以按需创建翼MR集群，通过选择集群所建的区域及使用的云资源规格，一键式创建适合企业业务的翼MR集群。翼MR服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的翼MR集群资源完全归客户所用。同时翼MR支持在最小可在两节点4U8G的ECS上部署大数据集群，为客户测试开发提供更多的灵活选择。 翼MR集群类型包括分析集群、流式集群和混合集群。 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，又可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：根据业务需求，可以灵活搭配所需组件（翼MR 3.x及后续版本）。 翼MR集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点，分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。 Core节点：支持存储和计算两种目标的节点，可扩容、缩容。因承载的数据存储，因此在缩容时，为保证数据不丢失，有较多限制，无法进行弹性伸缩。 Task节点：仅用于计算的节点，可扩容、缩容。因只承载计算任务，因此可以进行弹性伸缩。 翼MR创建集群方式支持自定义创建集群和快速创建集群两种。 自定义创建集群：自定义创建可以灵活地选择计费模式、配置项，针对不同的应用场景，可以选择不同规格的弹性云服务器，全方位贴合您的业务诉求。 快速创建集群：用户可以根据应用场景，快速创建对应配置的集群，提高了配置效率，更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。 − Hadoop分析集群：Hadoop分析集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框等Hadoop生态圈的组件，进行海量数据分析与查询。 − HBase集群：HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 − Kafka集群：Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。

介绍分布式消息服务Kafka修改用户的功能操作内容。 场景描述 当前主要支持重置用户密码：当用户忘记密码或需要更改密码时，可以通过修改用户密码来实现。这有助于保护用户账户的安全性，防止未经授权的访问和操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面，点击“修改”。 （5）点击“修改”后，在弹窗中可以修改密码和对应描述。

本文主要介绍了站内消息的设置方法和消息类型。 用户可以接收、查看、管理天翼云发送的各类消息通知。 操作步骤 1、登录消息中心。 2、在站内消息菜单，可以进行以下操作： 查看全部、未读、已读消息。 按消息类别/消息类型，筛选查看某类消息。 将未读消息标记为已读。 删除消息。 消息类型 消息类型 消息介绍 产品信息 产品的创建、开通及资源到期提醒等产品相关信息通知 账户资金 充值、订单支付、提现等资金相关信息通知 活动消息 各类线上活动通知 服务消息 新产品上线或商业化通知 重要通知 网站重要公告、通知、声明等信息通知 其他 非以上消息类型通知

本章节主要介绍如何调整资源配额。 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。如您最多可以创建多少个RabbitMQ实例。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额？ 1. 登录管理控制台。 2. 单击管理控制台右上角的，选择区域和项目。 3. 单击页面右上角的“My Quota”图标。系统进入“服务配额”页面。 4. 您可以在“服务配额”页面，查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求，请参考后续操作，申请扩大配额。 如何申请扩大配额？ 1. 登录管理控制台。 2. 单击页面右上角的“My Quota”图标。系统进入“服务配额”页面。 3. 单击“申请扩大配额”。 4. 在“新建工单”页面，根据您的需求，填写相关参数。其中，“问题描述”项请填写需要调整的内容和申请原因。 5. 填写完毕后，勾选协议并单击“提交”。

实践 描述 以CentOS 7.2 64bit操作系统云主机为例，介绍如何搭建FTP站点 以Windows 2012数据中心版 64bit操作系统云主机为例，介绍如何搭建FTP站点 以CentOS 7.5 64bit操作系统云主机为例，介绍如何搭建Docker 以CentOS 7.4 64bit操作系统云主机为例，介绍如何搭建RabbitMQ

本文主要介绍 支持的监控指标。 功能说明 本章节定义了分布式消息服务Kafka上报云监控服务的监控指标的命名空间，监控指标列表和维度定义，您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息，也可以通过分布式消息服务Kafka控制台提供的“监控”页面来检索Kafka实例产生的监控指标。 命名空间 SYS.DMS 实例监控指标 表 实例支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。单位：Count 0~1800 Kafka实例 1分钟 currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。单位：Count 0~1800 Kafka实例 1分钟 groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。单位：Count 0~1000000000 Kafka实例 1分钟 节点监控指标 表 节点支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） brokerdatasize 节点数据容量 该指标用于统计节点当前的消息数据大小。单位：Byte、KB、MB、GB、TB、PB 0~5000000000000 Kafka实例节点 1分钟 brokermessagesinrate 消息生产速率 该指标用于统计每秒生产的消息数量。单位：Count/s 0~500000 Kafka实例节点 1分钟 brokerbytesoutrate 消费流量 该指标用于统计每秒消费的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerbytesinrate 生产流量 该指标用于统计每秒生产的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesinrate 公网入流量 统计Broker节点每秒公网访问流入流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesoutrate 公网出流量 统计Broker节点每秒公网访问流出流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerfetchmean 消费请求平均处理时长 统计Broker节点处理消费请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokerproducemean 生产请求平均处理时长 统计Broker节点处理生产请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokercpucoreload CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。单位：% 0~20 Kafka实例节点 1分钟 brokerdiskusage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。单位：% 0~100% Kafka实例节点 1分钟 brokermemoryusage 内存使用率 该指标为Kafka节点虚拟机层面采集的内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerheapusage Kafka进程JVM堆内存使用率 该指标从Kafka节点Kafka进程JVM中采集的堆内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokeralive 节点存活状态 表示Kafka节点是否存活。 1：存活 0：离线 Kafka实例节点 1分钟 brokerconnections 连接数 统计Kafka节点当前所有TCP连接数量。单位：Count 0~65535 Kafka实例节点 1分钟 brokercpuusage CPU使用率 统计Kafka节点虚拟机的CPU使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerdiskreadawait 磁盘平均读操作耗时 该指标用于统计磁盘在测量周期内平均每个读IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokerdiskwriteawait 磁盘平均写操作耗时 该指标用于统计磁盘在测量周期内平均每个写IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokertotalbytesinrate 网络入流量 统计Broker节点每秒网络访问流入流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokertotalbytesoutrate 网络出流量 统计Broker节点每秒网络访问流出流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokerdiskreadrate 磁盘读流量 磁盘读操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟 brokerdiskwriterate 磁盘写流量 磁盘写操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟

本节主要介绍分布式消息服务Kafka主子账号和IAM权限管理 分布式消息服务Kafka已对接天翼云统一身份认证服务（IAM），可实现控制台按钮、菜单功能、OpenAPI等维度对用户访问、操作资源的权限控制等， 以达到用户权限的精细管理，保证访问的安全性。 IAM简介 统一身份认证（Identity and Access Management，简称IAM）服务，是提供用户进行权限管理的基础服务，可以帮助您安全的控制云服务和资源的访问及操作权限。目前天翼云提供对应专有的CTIAM服务，用户可申请开通后免费使用，您只需要为您帐号中的云服务和资源进行付费。具体IAM使用说明详情见：统一身份认证。 IAM涉及主要概念 主用户：用户在天翼云注册后自动创建，该用户对其所拥有的资源具有完全的访问权限，可以重置用户密码、分配用户权限等。如果需要多人共同使用天翼云资源，为了确保账号安全，建议创建子用户来进行日常管理工作。 子用户：由拥有IAM权限的用户，在用户中心创建的子用户。子用户的用户名、密码由拥有IAM权限的用户控制。子用户同样可以登录访问天翼云控制台，登录入口与主用户相同，受赋予的权限限制。 用户组：用户组是用户的集合，IAM通过用户组功能实现用户的授权。您创建的IAM用户，需要加入特定用户组后，才具备对应的权限，否则IAM用户无法访问您帐号中的任何资源或者云服务。 系统策略：由产品团队维护，系统预置的常用权限集，主要针对不同云服务的只读权限或管理员权限，比如对 ECS 的只读权限、对 ECS 的管理员权限等；系统策略在IAM控制台中只能用于授权，不能编辑和修改。 自定义策略：由用户自己在IAM控制台创建和管理的权限集，是用户可以自由定义的权限，是对系统策略的扩展和补充。 企业项目：企业项目权限实现细粒度控制的基础。将云资源、企业成员按企业项目进行管理，通过企业项目将云资源、带有权限的用户组绑定到一起，用户使用企业项目内云资源的权限受用户组的授权限制。

说明 分布式消息服务Kafka旧资费根据实例规格分为基础版和高级版，存储空间按照不同类型收费。 目前在 芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 资源池开放订购。 实例价格如下： 规格 标准资费（元/月） 标准资费（元/小时） 基础版（100 MB/s） 1300 2.71 高级版（300 MB/s ） 2100 4.38 存储空间价格如下： 存储类型 标准资费（元/G/月） 标准资费（元/G/小时） 普通 IO 0.45 0.0008 高 IO 0.6 0.0013 超高 IO 1.5 0.0032

本页介绍天翼云TeleDB数据库如何查询站内消息。 在消息中心模块，提供了站内消息和消息订阅的功能。站内消息包括服务订阅、系统消息、产品消息和告警消息四大类消息。 消息查询：在消息查询中可以通过消息类型的精确匹配和消息标题或消息内容的模糊匹配对消息进行过滤查询。 消息详情：单击消息标题可以查看具体消息的详情，在查看具体消息详情之后，会将推送的消息置灰。 除此之外，还能够站内消息进行删除和批量删除以及全部删除操作。当您在消息列表上方单击全部标为已读按钮时，所有消息都将置灰。