本章节介绍了如何设置分布式消息服务RocketMQ实例的公网访问信息。 您需要通过公网地址访问RocketMQ实例时，开启实例的公网访问功能，并设置弹性IP地址。当业务不再使用公网访问功能时，关闭实例的公网访问功能。 前提条件 只有处于“运行中”状态的RocketMQ实例支持修改公网访问配置。 开启公网访问 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在“公网访问”后，单击。 4. 开启 ，在“弹性IP地址”中为每个节点设置对应的IP地址，单击，开启公网访问。 说明： RocketMQ实例只支持绑定IPv4弹性IP地址。 图1 开启公网访问 公网访问开启后，页面显示“元数据公网连接地址”和“业务公网连接地址”。 图2 公网连接地址 开启公网访问后，需要修改对应的安全组规则，才能成功连接RocketMQ实例。 表1 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 8200 0.0.0.0/0 公网访问元数据节点的端口 入方向 TCP 1010010199 0.0.0.0/0 访问业务节点的端口

本文为您介绍分布式消息服务MQTT的创建实例内容。 实例介绍 MQTT实例订购支持用户自定义规格和自定义特性，采用物理隔离的方式部署。租户独占MQTT实例，可根据业务需要可定制相应规格的MQTT实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富用户选项。 操作步骤 1、在产品详情页点击立即开通按钮，或者进入消息管理控制台订购实例，进入订购分布式消息MQTT页面。 2、 订购实例，注意选择产品规格。 （1）填写实例名称，长度4~40个字符，大小写字母开头，只能包含大小写字母、数字及分隔符()。 （2）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 （3）购买时长按照计费模式选择变化： 计费模式为包年包月，可选择购买时长16个月、13年。该模式提供自动续期功能，勾选后可以自动续期购买时长：16个月、13年。 计费模式为按需计费，则该选项隐藏无需选择。 （4）部署方式有单可用区和多可用区两个选项，目前仅支持单可用区和3可用区部署,单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区。 （5）设置节点数，可输入3~16个。MQTT 的节点数是指MQTT 集群中的节点数量。在MQTT 集群中，可以有多个节点组成一个集群，每个节点都是一个独立的MQTT 服务器实例。 （6）下拉选择主机类型，目前提供计算增强型。计算增强型云主机独享宿主机的CPU资源，实例间无CPU争抢，并且没有进行资源超配，同时搭载全新网络加速引擎，实现接近物理服务器的强劲稳定性能。 （7）选择实例规格，分布式消息服务MQTT提供计算增强型多种云主机规格，各规格详细说明参见弹性云主机规格。 （8）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 （9）选择已有子网，若无子网，点击创建跳转到子网页面新增，了解更多内容参见虚拟私有云子网管理 创建子网。 （10）选择已有安全组，若无安全组，点击创建跳转到安全组页面新增，了解更多内容参见虚拟私有云安全组 创建安全组。 3、 填写完上述信息后，单击“下一步”，进入费用确认页面。 4、 确认实例信息无误后，提交请求。 5、 在实例列表页面，查看MQTT实例是否创建成功。创建实例大约需要3到15分钟，此时实例状态为“创建中”。

配置项 说明 名称 Syslog接收接口的配置名称。 服务器地址 Syslog服务器地址，可为IP或者域名。 端口 Syslog服务器端口，默认为端口为514。 发送协议 选择日志传输的协议类型，支持UDP或TCP。 是否发送消息头 决定是否在日志数据前添加自定义Syslog消息头（含主机名及用户名）。 内容协议格式 定义日志数据的格式，默认为RFC3164。 报文默认主机名 可以指定日志中使用的默认主机名。 报文默认应用名 可以指定日志中使用的默认应用程序名。 程序模块编码 Syslog协议RFC5424 规定，消息中必须包含“程序模块编码”，Syslog服务端使用该编码区分发送消息的程序来源。与服务器端配置保持一致即可。 严重等级 选择向Syslog服务器发送告警所标记的严重等级。等级分为：Emergency、Alert、Critical、Error、Warning、Notice、Informational、Debug。 与服务器端配置保持一致即可。 审计日志模板 发送审计日志信息的模板，可修改默认模板，具体字段请依据填写说明编辑。 告警日志模板 发送告警日志信息的模板，可修改默认模板，具体字段请依据填写说明编辑。

尊敬的天翼云客户，分布式消息服务RocketMQ自2025年12月27日起，订购和续订2年、3年选项默认不开放，调整为白名单特性。 调整时间 2025年12月27日 影响范围 所有区域 调整影响 新订购和续订的实例默认不开放2年、3年选项，您可以选择1年包年选项，如仍需要23年包周期选项，请联系技术支持开通后使用。 已购买2年、3年且还在服务期间的实例仍可继续正常使用不受影响。

尊敬的天翼云客户，分布式消息服务Kafka自2025年12月27日起，订购和续订2年、3年选项默认不开放，调整为白名单特性。 调整时间 2025年12月27日 影响范围 所有区域 调整影响 新订购和续订的实例默认不开放2年、3年选项，您可以选择1年包年选项，如仍需要23年包周期选项，请联系技术支持开通后使用。 已购买2年、3年且还在服务期间的实例仍可继续正常使用不受影响。

函数计算提供了一个统一的执行环境，使得您的函数能够无缝地访问和集成各种云服务和其他资源。 无论是天翼云提供的服务如消息服务、对象存储服务、数据库服务，还是您自建的服务，甚至是调用其他函数计算实例，这些操作在函数内部执行时，与您在本地环境中的操作体验是一致的。 要实现这些服务的访问，您需要确保您的函数代码中包含了必要的依赖库。这些依赖库应当与您的函数代码一起被打包，并上传至函数计算平台。一旦部署完成，您的函数就可以在执行时调用这些依赖库，从而与外部服务进行交互。

功能说明 当实例磁盘使用率达到指定阈值后，可选择磁盘自动扩容或动态消息保留策略来调整磁盘空间。 磁盘自动扩容 当磁盘使用率达到指定阈值后，系统会自动根据扩容策略增加磁盘容量，避免出现实例因磁盘容量不足产生的故障。 动态消息保留策略 当磁盘使用率达到指定阈值后，系统会自动根据消息保留策略删除一定比例的主题最早消息数据，释放磁盘空间。 约束与变更影响 动态消息保留策略和磁盘自动扩容同时最多只能开启一个。 磁盘自动扩容不会影响业务，如果短时间内磁盘使用量迅速增加，无法保证在耗尽磁盘空间前完成磁盘自动扩容。建议提前做好容量规划，先根据磁盘使用量做好扩容，再开启磁盘自动扩容。 动态消息保留策略触发后会删除最早的主题消息，可能导致消费者未及时消费的消息被删除，且调整效果存在一定延迟。建议及时消费数据，减少数据堆积。 触发动态消息保留策略后，主题的保留时长参数会被按比例减小且不会自动恢复，如后续需要调整请到主题管理页面进行操作。 前提条件 实例磁盘字段扩容会产生相应的费用，请确保账户余额充足。

场景描述 在RocketMQ中，消费组（Consumer Group）是一种逻辑上的概念，用于标识一组消费者（Consumer）的集合，这些消费者共同消费同一个主题（Topic）的消息。 消费组的概念允许多个消费者同时消费同一个主题的消息，从而实现消息的负载均衡和高可用性。当一个消息发送到RocketMQ中的某个主题时，RocketMQ会将该消息推送给订阅了该Topic的所有消费组中的消费者。 每个消费组可以包含一个或多个消费者，这些消费者可以在同一个应用程序中或不同的应用程序中运行。消费者可以以集群模式（Cluster Mode）或广播模式（Broadcast Mode）进行消费。 在集群模式下，消费者以消费者组的形式协同工作，每个消息只会被消费组中的一个消费者消费。RocketMQ会根据消费者的负载均衡策略，将消息分发给不同的消费者，实现消息的负载均衡和高可用性。 在广播模式下，消费组中的每个消费者都会独立消费消息，每个消息会被消费组中的所有消费者都消费一次。广播模式适用于需要所有消费者都处理同一份消息的场景。 消费组的概念使得RocketMQ能够支持水平扩展和容错能力。通过增加消费者数量或部署多个消费者实例，可以提高消费能力和可用性。 需要注意的是，每个消费组在RocketMQ中必须具有唯一的名称，以便区分不同的消费组。同时，每个消费组可以订阅一个或多个Topic，以满足不同业务场景的需求。

本章节主要介绍补丁操作指导。 当您通过如下途径获知集群版本补丁信息，请根据您的实际需求进行补丁升级操作。 通过消息中心服务推送的消息获知MapReduce服务发布了补丁信息。 进入现有集群，查看“补丁信息”页面，呈现补丁信息。 安装补丁前准备 请参见执行健康检查检查集群状态，确认集群健康状态正常后再安装补丁。 您根据“补丁内容”中的补丁信息描述，确认将要安装的目标补丁。 安装补丁 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.进入“补丁管理”页面，在操作列表中单击“安装”，安装目标补丁。 说明 对于集群中被隔离的主机节点，请参见 卸载补丁 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群基本信息页面。 3.进入“补丁管理”页面，在操作列表中单击“卸载”，卸载目标补丁。 说明 对于集群中被隔离的主机节点，请参见

APP认证的API，第三方怎么调用？ 您需要把AppKey和AppSecret提供给第三方，然后第三方通过SDK调用。具体SDK的调用步骤请参见“开发指南 > 使用APP认证调用API”。 是否支持移动应用调用API？ API支持被移动应用调用。使用APP认证时，将移动应用的AppKey和AppSecrect替换SDK中的AppKey和AppSecrect进行APP签名。 如何实现WebSocket数据传输？ API网关支持WebSocket数据传输，在创建API时，请求协议中的HTTP相当于WebSocket的ws，HTTPS相当于WebSocket的wss。 API调用是否支持长连接 API网关支持长连接，但注意适当使用，避免占用太多资源。 策略后端有多个时，怎么匹配和执行 当您的API配置了多个策略后端，API网关会按顺序进行匹配，匹配到其中一个立即执行API请求转发，不会进行后续的匹配。 当策略后端都没有匹配成功，则按照默认后端执行API请求的转发。 API调用对请求的响应消息体限制 API调用对请求的响应消息体大小没有限制。 如何通过APIG访问公网后端服务？ 通过开启公网入口访问，允许外部服务调用API。

本文主要介绍 重置Kafka Manager密码。 操作场景 如果您忘记了创建实例时设置的Kafka Manager密码，通过重置Manager密码功能，重新设置一个新的密码，可使用新密码登录Kafka Manager。 前提条件 已创建Kafka实例，且实例处于“运行中”。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重置Kafka Manager密码。 在待重置Manager密码的Kafka实例所在行，单击“更多 > 重置Manager密码”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 重置Manager密码”。 单击Kafka实例名称，进入实例详情页面。在“基本信息”页签，在“连接信息 > Manager用户名”后，单击“重置Manager密码”。 步骤 5 输入“新密码”和“确认密码”，单击“确定”，完成密码重置。 重置Manager密码成功，界面提示重置实例的密码成功。 重置Manager密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

本文主要讲述修改实例信息。 创建Kafka实例成功后，您可以根据自己的业务情况对Kafka实例的部分参数进行调整，包括实例名称、描述、安全组和容量阈值策略等。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 以下参数支持修改。 实例名称 企业项目（修改企业项目，不会重启实例） 描述 安全组 公网访问（公网访问的修改方法，请参考设置实例公网访问。） 容量阈值策略（修改容量阈值策略，不会重启实例。） Kafka自动创建Topic（修改Kafka自动创建Topic，会导致Kafka重启） 跨VPC访问（跨VPC访问的操作步骤，请参考使用DNAT访问Kafka实例。） 参数修改完成后，通过以下方式查看修改结果。 修改“容量阈值策略”、“公网访问”和“Kafka自动创建Topic”后，系统跳转到“后台任务管理”页签，并显示当前任务的操作进度和结果。 修改“实例名称”、“描述”、“企业项目”、“跨VPC访问”和“安全组”后，右上角直接提示修改结果。

本节介绍如何在云监控服务开启弹性公网IP事件告警通知。 通过云监控服务，对防护的弹性公网IP启用事件监控，当出现清洗、封堵、解封等事件时进行告警，方便您及时了解防护情况。 开启事件告警通知后，出现相关事件时，即可在云监控服务的事件监控页面查看事件详情。 操作步骤 1. 登录管理控制台。 2. 选择区域。 3. 选择“管理与部署> 云监控服务”。 4. 根据实际选择方式。 方法一：在左侧导航树，单击“事件监控”，进入“事件监控”页面。 方法二：在左侧导航树，选择“告警> 告警规则”，进入“告警规则”页面。 5. 在页面右上方，单击“创建告警规则”，进入“创建告警规则”页面。 6. 配置告警参数。 参数 说明 名称 系统会随机产生一个名称，您也可以进行修改。 描述 告警规则描述。 告警类型 选择“事件”。 事件类型 选择“系统事件”。 事件来源 选择“弹性公网IP”。 监控范围 告警规则适用的资源范围，根据需要选择。 触发规则 选择“自定义创建”。 告警策略 推荐选择“EIP封堵”、“EIP解封”、“EIP开始DDoS清洗”、“EIP结束DDoS清洗”。 7. 根据实际需要，选择是否发送通知。 说明 告警消息由消息通知服务SMN发送，可能产生少量费用。 参数 说明 发送通知 根据实际需要设置。 通知对象 在下拉框选择已有主题，或单击“新建主题”创建新的通知主题。 生效时间 发送通知的生效时间。 触发条件 默认勾选“出现告警”，表示出现告警时，给设置的通知对象发送告警通知。 8. 参数配置完成后，单击“立即创建”。

本节主要介绍如何在智能视图服务控制台使用回调模板。 智能视图服务平台的回调支持录制、设备状态、流状态、AI告警等事件，当设备有事件发生时，消息会由事件通知服务统一回调给用户配置的服务器地址。 新建回调模板 点击左侧导航栏的【模板管理回调模板】后点击【新建回调模板】进入该页面，参数说明如下： 参数名 说明 录制回调 当有录像文件生成时，会向服务器发送事件状态。 设备状态回调 当设备状态发生改变时，会向服务器发送事件状态。 流状态回调 当流状态发生改变时，会向服务器发送事件状态。 AI事件通知回调 当有AI事件发生时，会向服务器发送事件状态。 绑定回调模板 批量绑定回调模板 点击【绑定设备】，在回调模板内切换至绑定关系页面，支持查看选定的设备数量以及批量勾选操作。 点击【删除设备】，也可在该页面进行设备与模板的批量解绑操作。 设备绑定回调模板 点击左侧菜单栏的【设备管理】，选择设备点击并在设备详情切换至【配置信息】页面，在回调模板信息右侧点击【配置】。 在配置状态下，选择需要的模板点击【绑定】即可完成回调模板绑定，同样也可以解除绑定。当设备上有状态事件发生时，智能视图服务后台就会向用户服务器地址发送事件消息。

DDoS基础防护封禁通知 当您的IP遭受的DDoS攻击峰值超过IP的防护阈值时，会对IP所在服务器和网络的稳定性造成影响，根据用户协议，IP会进入封禁状态，封禁时间持续24小时。 该封禁状态有通知，会通过IP所属账户的站内信、短信、邮箱渠道进行通知，告知封禁信息。除了账户所有人，您还可以在天翼云控制台消息中心消息订阅消息管理安全消息处配置多个消息接收人，比如将您业务的多位值班或运维人员配置到联系人中，此时安全消息短信会通知告知多个人。 通知内容仅有攻击峰值，不包含攻击源信息。DDoS基础防护主要防护IP所在网络的整体稳定，非单个IP的攻击分析产品，仅能提供目的IP级别遭受DDoS大流量攻击的攻击峰值信息，无法提供源IP级别的信息。若客户需要源IP级别的分析，可选择任意渠道和厂商的DDoS高防产品防护自身业务IP并免于触发DDoS封禁，不局限于天翼云的DDoS高防产品。天翼云和其他云厂商均提供有DDoS高防产品，一般可提供高防IP隐藏业务IP、大流量攻击防护和攻击源分析能力。

功能说明 DeleteBucketPolicy接口用于删除指定桶的策略。 消息样式 plaintext DELETE /{Bucket}?policy HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

集成类型 集成的服务名称 请求响应（RequestComplete） 等待系统回调（WaitForSystemCallback） 等待任务令牌（WaitForTaskToken） 优化集成 函数计算 yes no yes 优化集成 云工作流（CloudFlow） yes yes yes 优化集成 消息服务robotmsg yes no yes 优化集成 HTTP yes no yes 优化集成 对象存储 ZOS yes no no 普通集成 所有天翼云产品OpenAPI yes no no

说明 分布式消息服务RocketMQ新资费涉及的产品实例支持4.9版本引擎，支持X86和ARM计算CPU架构类型的计算增强型主机，提供集群和单机两种版本规格实例，集群版可选116代理数量，单机版默认为1节点。 目前在 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 资源池开放订购。 上述资源池实例新购和续订可享受1年83折，2年7折，3年5折优惠。 价格计算公式 分布式消息服务RocketMQ费用由实例费用和存储费用两部分组成，两者单价如下表所示，计费公式为： 实例费用实例规格单价 总节点数（NameServer集群固定3节点+代理数量 2节点），单机版总节点数量为1。 存储费用存储类型单价 代理节点数量（代理数量2节点） 单节点存储空间GB大小，单机版代理节点数量为1。 实例规格单价 Intel计算增强型 规格名称 实例单价（单个节点） 规格名称 按需标准价格(元/小时) 包月标准价格(元/月) rocketmq.2u4g.cluster 0.98 441 rocketmq.4u8g.cluster 2.24 1008 rocketmq.8u16g.cluster 4.86 2187 rocketmq.12u24g.cluster 7.38 3321 rocketmq.16u32g.cluster 9 4050 rocketmq.24u48g.cluster 15.12 6804 rocketmq.32u64g.cluster 20.16 9072 rocketmq.48u96g.cluster 30.24 13608 rocketmq.64u128g.cluster 40.32 18144

关闭IPv4公网访问（不支持修改SASL开关） 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka”，进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例的名称，进入实例的“基本信息”页面。 5. 在“公网访问”后，单击，完成公网访问的关闭。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。 关闭公网访问后，需要设置对应的安全组规则（请见表2），才能通过内网成功连接Kafka。 表2 Kafka实例安全组规则（内网访问） 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（关闭SSL加密）。 入方向 TCP IPv4 9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（开启SSL加密）。 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加表2的规则。

本文主要介绍 计费模式。 分布式消息服务Kafka支持按需和包周期两种付费模式。 包年包月 Kafka当前支持包年、包月的计费方式。 且按天翼云的包年订购优惠策略享受相关的一次性包年订购优惠。 按需 Kafka当前支持按需的计费方式，按小时计费。 具体价格，请详见产品价格。

方案一：先迁生产，再迁消费 指先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 方案二：同时消费，后迁生产 指消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 说明 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 迁移过程由业务自主控制。本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 FAQ：如何将持久化数据也一起迁移 如果需要将原Kafka的已消费数据也迁移到Kafka专享实例，可以使用开源工具MirrorMaker，模拟成原Kafka的消费客户端，以及新Kafka实例的生产客户端，将Kafka所有消息数据迁移到新的Kafka实例。 需要注意的是，天翼云Kafka实例为3副本存储，因此建议实例存储空间为原业务的单副本消息存储的3倍。

数据源类型 简介 数据仓库服务（DWS） DWS是基于Sharednothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态，为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索（DLI） DLI是完全兼容Apache Spark和Apache Flink生态，实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎，企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等，挖掘和探索数据价值。 MapReduce服务（MRS HBase） HBase是一个开源的、面向列（ColumnOriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储，并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新，并支持百万级时序数据查询分析。 MapReduce服务（MRS Hive） Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HiveQL，它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析，快速将线下Hadoop大数据平台（CDH、HDP等）迁移上云，业务迁移 “0”中断，业务代码 “0”改动。 MapReduce服务（MRS Kafka） MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务（MRS Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限。 MySQL MySQL是目前最受欢迎的开源数据库之一，其性能卓越，架构成熟稳定，支持流行应用程序，适用于多领域多行业，支持各种WEB应用，成本低，中小企业首选。 MapReduce服务（MRS Spark） Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速、统一的大数据应用，对数据进行协处理、流式处理、交互式分析等等。 Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop，Spark拥有明显的性能优势。Spark提供类似SQL的Spark SQL语言操作结构化数据。 云数据库RDS RDS是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意，DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 主机连接 通过主机连接，用户可以在DataArts Studio数据开发中连接到指定的主机，通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息，当主机的连接信息有变化时，只需在主机连接管理中编辑修改，而不需要到具体的脚本或作业中逐一修改。 MapReduce服务（MRS Presto） Presto是一个开源的用户交互式分析查询的SQL查询引擎，用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、AdHoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统（HDFS），Hive，HBase，Cassandra，关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源，执行跨数据源的数据分析。

本节介绍如何配置Kafka数据转储至OBS。 本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 一个实例最多创建18个Smart Connect任务。 Smart Connect任务创建成功后，不支持修改任务参数。 前提条件 已开启Smart Connect。 已创建Kafka实例，且实例状态为“运行中”。 已创建的OBS桶和Kafka实例需要在同一个区域。 配置Kafka数据转储至OBS 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击“创建Smart Connect任务”，进入“创建smart connect”页面。 7、在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。 8、在“预置类型”中，选择“转储”。 9、在“源端配置”中，保持默认设置。 10、在“Topic配置”中，设置以下参数。 表11 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic，并进行转储。 输入/选择 输入/选择待转储的Topic名称，支持选择多个Topic，以逗号“,”分隔。最多输入/选择20个Topic。 11、在“目标端配置”中，设置以下参数。 表12 目标端参数说明 参数 参数说明 转储启动偏移量 支持以下两种转储启动偏移量： 最早：最小偏移量，即读取最早的数据。 最新：最大偏移量，即获取最新的数据。 数据转储周期 两次转储的时间间隔，单位：秒，默认配置为300秒。 若某个时间段内无数据，则此时间段不会生成打包文件 AK 访问密钥ID。 SK 与访问密钥ID结合使用的密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。 转储目录 OBS中存储Topic的目录，多级目录可以用“/”进行分隔。 时间目录格式 数据将存储在转储目录下的时间目录中，时间目录是按时间格式作为层级的目录。例如，当选择的时间目录格式精确到日时，存储目录为：“桶名称/转储目录/年/月/日”。 记录分隔符 在下拉列表中选择一种分隔符，分隔不同的转储记录 存储Key 是否转储Key，开启表示转储Key，关闭表示不转储Key。 说明 消息进行转储时，不支持以Key作为文件名。 12、单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。 结束

功能说明 DeleteBucket请求删除指定的Bucket。 注意事项 不可删除非空桶（桶中有对象、碎片等）。 请求消息样式 plaintext DELETE /{Bucket} HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 xamzdate: 20220406T133143Z Authorization: authorization string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000001c00624d963f1217bdefault Date: Wed, 06 Apr 2022 13:31:43 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 DeleteBucketCORS用来删除桶的跨域资源共享权限配置。 请求消息样式 plaintext DELETE /{Bucket}?cors HTTP/1.1 Host: xxx.zos.ctyun.cn ContentLength: ContentLength xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

迁移方案一：先迁生产，再迁消费 先将生产消息的业务迁移到新的Kafka，原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后，再将消费消息业务迁移到新的Kafka，开始消费新Kafka实例的消息。 本方案为业界通用的迁移方案，操作步骤简单，迁移过程由业务侧自主控制，整个过程中消息不会存在乱序问题， 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕，存在一个时间差的问题，部分数据可能存在较大的端到端时延。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务，使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度，直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务，使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 结束 迁移方案二：同时消费，后迁生产 消费者业务启用多个消费客户端，分别向原Kafka和新Kafka实例消费消息，然后将生产业务切到新Kafka实例，这样能确保所有消息都被及时消费。 本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前，已经有消费业务运行在新Kafka实例上，因此不会存在端到端时延的问题。但在迁移生产的开始阶段，同时消费原Kafka与新Kafka实例，会导致部分消息之间的生产顺序无法保证，存在消息乱序的问题。此场景 适用于对端到端时延有要求，却对消息顺序不敏感的业务 。 1、启动新的消费客户端，配置Kafka连接地址为新Kafka实例的连接地址，消费新Kafka实例中的数据。 原有消费客户端需继续运行，消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端，Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端，将生产业务迁移到新Kafka实例中。 4、生产业务迁移后，观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕，关闭原有消费业务客户端。 6、迁移结束。 结束

本文主要介绍 修改配置参数。 操作场景 分布式消息服务Kafka为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 1.1.0版本实例的参数都为静态参数，2.3.0/2.7版本实例的参数分为动态参数和静态参数： 动态参数：动态参数修改成功后，无需重启实例，立即生效。 静态参数：静态参数修改成功后，需要手动重启实例才能生效。 说明 部分老实例不支持修改配置参数，具体以控制台为准，此时请联系客服解决。 前提条件 Kafka实例的状态为“运行中”时，才能修改配置参数。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在“配置参数”页签，在待修改参数所在行，单击“编辑”，修改配置参数。1.1.0版本实例的参数说明如下表所示，2.3.0/2.7版本实例的参数说明如下表所示。 表动态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true 表 静态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 表动态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true 表静态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 说明 如果需要批量修改参数，单击“批量编辑”，可以一次性编辑多个动态参数或静态参数的运行值。 如果需要恢复默认值，在待修改参数后，单击“恢复默认”。 步骤 6 单击“保存”，完成参数的修改。 说明 动态参数修改成功后，无需重启实例，立即生效。 静态参数修改成功后，需要手动重启实例才能生效。

服务信息 说明 示例 单元组 服务所属的单元组，即路由规则分组。 订单业务 站点 服务所属的站点。 北京站点 服务类型 组件类型，或者应用所属的单元。 组件类型：应用网关/数据库/消息。 应用所属的单元：业务单元名称及路由范围。 应用网关 北京业务单元[0,499] 服务名称 组件或者应用服务名称，例如数据源名称。 广州订单数据库 服务地址 组件或者应用服务地址，例如数据库服务地址。 192.168.0.:3306 服务状态 组件或者应用的状态。 在线：探测组件实例状态为在线。 离线：探测组件实例状态为离线。 已配置：组件已配置。 未配置：组件未配置。 在线 操作 查看组件服务的详细信息。

本文主要介绍监控告警问题。 云监控无法展示Kafka监控数据 Topic监控数据无法展示，可能原因如下： Topic名称开头包含特殊字符，例如下划线“”、号“”。 Kafka实例中没有创建Topic。 解决方法如下： 删除带特殊字符的Topic。 创建Topic。 消费组监控数据无法展示，可能原因如下： 消费组名称开头包含特殊字符，例如下划线“”、号“”。 此消费组从未有消费者连接。 Kafka监控显示消息堆积数跟实例里的消息数不一致？ 问题现象 ：监控显示消息堆积数为8.1亿+，Kafka控制台显示实例中6个Topic的消息数总和为1亿+，两者不一致。 问题结论 ：两者统计方式不同，Kafka控制台显示的消息数为实例中未消费的消息个数，而监控显示的消息堆积数Topic中的消息积压数消费组数。 Kafka的消费组删除了，怎么监控页面还可以看到这个消费组？ 监控数据是每分钟进行采集上报，上报的数据经过整理后才会显示在监控页面上，此过程大约需要几分钟到十几分钟，建议您在删除消费组后，过一段时间再去监控页面查看。

本页介绍天翼云TeleDB数据库消息订阅。 消息订阅可以对不同类型的消息进行订阅，选择需要的消息类型，保存后，订阅类型的消息会在触发时进行推送。

功能说明 DeleteObject请求删除指定的对象。 请求消息样式 plaintext DELETE /{Bucket}/{Key}?versionIdVersionId HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String Connection: keepalive 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Key 参数解释： 删除对象的Key。 String 是 versionId 参数解释： 删除对象的版本号。 String 否 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id Date: Date Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

功能说明 DeleteBucketWebsite请求为删除存储桶中的Website配置（静态网站托管配置或者数据回源配置）。 请求消息样式 plaintext DELETE /{Bucket}?website HTTP/1.1 Host: xxxx.zos.ctyun.cn AcceptEncoding: identity xamzdate: 20220408T091336Z xamzcontentsha256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 Authorization: string ContentLength: 0 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000300624ffcc01138default ContentType: application/xml Date: Fri, 08 Apr 2022 09:13:36 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。