本页面主要介绍分布式消息服务MQTT对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中，选择事件来源为“容器与中间件”，资源类型选择“分布式消息服务Kafka”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。

本章节介绍了分布式消息服务RocketMQ的产品优势、以及上云的好处。 分布式消息服务RocketMQ具有如下产品优势，旨在打造一个即开即用、全托管、低延迟、弹性高可靠、动态扩展、便捷管理和多样功能的消息队列。 即开即用 简单几步即可在云上构建自己专属的消息服务，RocketMQ实例创建完成后，使用实例提供的访问地址即可快速接入。兼容开源RocketMQ，业务代码无需改造，即可上云。 全托管服务 分布式消息服务RocketMQ提供自动部署与完备的运维系统和售后服务，提供包括监控告警在内的多种运维手段，业务无需过多关注分布式消息服务RocketMQ的部署与运维工作，可以专注于自身业务的开发。 低延迟 基于天翼云网络部署，在内网访问可达微秒级时延。 弹性高可靠 基于Raft协议实现集群内部节点的管理，及时发现故障节点并进行流量迁移，保证业务的连续性可靠。 动态扩展 提供业务集群动态扩容的能力，根据业务需要动态扩容集群规模。 便捷管理 提供监控告警、消息追踪和链路诊断等多样的监控定位手段，方便问题定位和日常维护。 多样功能 提供顺序延迟、定时、重投、死信、过滤和事务消息等多样的业务功能，适配多样化的业务场景。

本节介绍如何使用 SASLSSL 接入点接入Kafka,文档以Java代码为例。 前提条件 已配置正确的安全组。 已获取连接Kafka实例的地址。 如果Kafka实例未开启自动创建Topic功能，在连接实例前，请先创建Topic。 已创建弹性云服务器，如果使用内网同一个VPC访问实例，请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。 需要用户先在用户管理页面创建用户，然后给对应的topic授予生产消费权限。 接口地址及证书下载，需使用内网同一个VPC访问，实例端口为8098。具体信息从控制台实例详情菜单处获取，如下图所示，点击中间下载箭头即可下载证书。 Maven中引入Kafka客户端 java Kafka实例基于社区版本2.8.2/3.6.2，推荐客户端保持一致。 org.apache.kafka kafkaclients 2.8.2/3.6.2 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLSSL"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"Kafka@Test";"); props.put("ssl.truststore.location","/kafka/client.truststore.jks"); props.put("ssl.truststore.password","sJses2tin1@23"); props.put("ssl.endpoint.identification.algorithm","");

优势 多源数据分析免搬迁：关系型数据库RDS中存放车辆和车主基本信息，表格存储中存放实时的车辆位置和健康状态信息，数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁，对多数据源进行联邦分析。 数据分级存储：车企需要保留全量历史数据支撑审计类等业务，低频进行访问。温冷数据存放在低成本的对象存储服务OBS上，高频访问的热数据存放在数据引擎（DWS）中，降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩：对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用： CDM、OBS、DWS。 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~EB级运营商数据治理能力，能快速将海量运营商数据做ETL处理，为分布式批处理计算提供分布式数据集。 高吞吐低时延：采用Apache Flink的Dataflow模型，高性能计算资源，从用户自建的Kafka、MRSKafka、DMSKafka消费数据，单CU每秒吞吐1千~2万条消息。 建议搭配以下服务使用： OBS、DataArts Studio。

本节介绍Kafka发送告警最佳实践 场景描述 如果您想要在消费组的消息堆积数超过阈值时，通过短信/邮件及时收到通知信息，可以参考本章节设置告警通知。 前提条件 已购买Kafka实例、创建Topic，并且已成功消费消息。 操作步骤 1. 登录Kafka实例控制台，单击待创建告警通知的实例名称，进入实例详情页。 2. 在左侧导航栏，选择“告警管理”，进入告警管理页面。 3. 点击“通知组”页签，创建联系人。 4. 点击“通知策略”页签，点击右上角“创建通知策略”按钮。 通知对象：选择前面流程中创建的联系人，在右侧选择联系方式邮件短信。 通知模板：可选择邮件、短信、翼连三种告警方式。 5. 点击“告警规则”页签，点击左上角“创建告警规则”按钮。 说明 告警名称：用于区别不同告警。 告警分组：可选择实例节点、主题和消费组，可根据具体需求选择，本文涉及情况应选择消费组。 告警指标：不同的告警分组包含不同的告警指标，本文涉及情况选择的是消费组中的堆积数告警。 告警条件：根据具体业务需求填写信息。 告警内容：不同的告警指标对应不同的告警内容，不建议改动。 持续时间：可选择马上告警，也可选择持续一段时间后才告警。 告警等级：可选择一般、次要、重要、紧急四个等级。 通知策略：选择前面流程中创建的通知策略。 通知频率：可选择隔多长时间告警一次。 6. 规则创建成功后可在告警规则页面查看其状态。

本节介绍了专属云（存储独享型）的产品定义。 专属云（存储独享型）（CTDSS，Dedicated Distributed Storage Service）为您提供独享的物理存储资源，通过数据冗余和缓存加速等多项技术，提供高可用性和持久性，以及稳定的低时延性能；可灵活对接专属云（计算独享型）等多种不同类型的计算服务。 用户需要申请专属云（存储独享型）服务后才予以开通权限，请联系专属客户经理提交开通申请，或者拨打天翼云客服电话4008109889。 功能特点： 1、 规格丰富 高IO：高性能、高扩展、高可靠，适用于性能相对较高，读写速率要求高，有实时数据存储需求的应用场景。 超高IO：低时延、高性能，适用于低时延，高读写速率要求，数据密集型应用场景。 2、弹性扩展 按需扩容：可根据业务需求扩容存储池。 性能线性增长：支持在线扩容DSS下的磁盘，并且性能线性增长，满足业务需求。 3、安全可靠 三副本冗余：数据持久性高达99.9999999%。 数据加密：系统盘和数据盘均支持数据加密，保护数据安全。 4、备份恢复 云备份服务：可为专属分布式存储下的磁盘创建备份，利用备份数据回滚磁盘，最大限度保障您数据的安全性和正确性，确保业务安全。 专属云（存储独享型）与云硬盘的区别 服务名称 总体介绍 存储类别 典型应用场景 性能规格 专属云（存储独享型） 专属云（存储独享型）为用户提供独享的物理存储资源，存储池资源物理隔离，数据持久性高达99.9999999%，可同时对接多种不同类型的计算服务，如弹性云主机、物理机等，功能丰富、安全可靠。 存储池物理隔离，资源独享，专属存储。 对接专属云中的弹性云主机、物理机等计算服务 对接非专属云中的弹性云主机、物理机等计算服务 混合负载，专属存储可同时支持HPC、数据库、Email、OA办公、Web等多个应用混合部署 高性能计算 OLAP应用 高IO：起步规格13.6TB，扩容步长13.6TB，最大可扩容至435.2TB，最大IOPS为1500 IOPS/TB。 超高IO：起步规格7.225TB，扩容步长7.225TB，最大可扩容至289TB，最大IOPS为8000 IOPS/TB。 云硬盘 云硬盘可以为云主机提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务。 共享存储池资源 企业日常办公应用 开发测试 企业应用，例如SAP、Microsoft Exchange和Microsoft SharePoint等 分布式文件系统 各类数据库，例如：MongoDB、Oracle、SQL Server、MySQL和PostgreSQL等 云硬盘支持按需扩容，最小扩容步长为1GB，单个磁盘可由10GB扩展至32TB。 DSS与EVS的区别

本文主要介绍准备实例依赖资源。 概述 在创建Kafka实例前，您需要提前准备相关依赖资源，包括虚拟私有云（Virtual Private Cloud，以下简称VPC）、子网和安全组，并配置安全组策略。每个Kafka实例都部署在某个VPC中，并绑定具体的子网和安全组，通过这样的方式为Kafka提供一个隔离的、用户自主配置和管理的虚拟网络环境以及安全保护策略，提升实例的安全性。 如果需要通过公网访问Kafka实例，请提前准备弹性IP地址。 准备依赖资源 Kafka实例所需资源的具体要求和创建指导如下表所示。 表 Kafka实例依赖资源 准备资源 要求 创建指导 ::: VPC和子网 不同的Kafka实例可以重复使用相同的VPC和子网，也可以使用不同的VPC和子网，请根据实际需要进行配置。 在创建VPC和子网时应注意如下要求： 创建的VPC与Kafka实例在相同的区域。 子网开启IPv6后，Kafka实例支持IPv6功能。Kafka实例开启IPv6后，客户端可以使用IPv6地址连接实例。 创建VPC和子网的操作指导请参考《虚拟私有云 用户指南》的创建虚拟私有云和子网。 安全组 不同的Kafka实例可以重复使用相同的安全组，也可以使用不同的安全组，请根据实际需要进行配置。 在创建安全组时应注意如下要求： 创建安全组时，“模板”选择“自定义”。 使用Kafka实例前，添加下表中的安全组规则，其他规则请根据实际需要添加。 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加下表中的规则。 创建安全组的操作指导请参考《虚拟私有云 用户指南》的创建安全组，为安全组添加规则的操作指导请参考《虚拟私有云 用户指南》的添加安全组规则。 弹性IP地址 在创建弹性IP地址时，应注意如下要求： 创建的弹性IP地址与Kafka实例在相同的区域。 弹性IP地址的数量必须与Kafka实例的代理个数相同。 Kafka控制台无法识别开启IPv6转换功能的弹性IP地址。 创建弹性IP地址的操作指导请参考《弹性IP 用户指南》的“申请和绑定弹性IP”。 表 安全组规则 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9094 0.0.0.0/0 通过公网访问Kafka实例（明文接入）。 入方向 TCP IPv4 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（明文接入）。 使用对等连接跨VPC访问Kafka实例（明文接入）。 入方向 TCP IPv6 9192 ::/0 通过IPv6地址访问Kafka实例（关闭SSL加密）（内网和公网都适用）。 入方向 TCP IPv4 9095 0.0.0.0/0 通过公网访问Kafka实例（密文接入）。 入方向 TCP IPv4 9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（密文接入）。 使用对等连接跨VPC访问Kafka实例（密文接入）。 入方向 TCP IPv6 9193 ::/0 通过IPv6地址访问Kafka实例（开启SSL加密）（内网和公网都适用）。 入方向 TCP IPv4 9011 198.19.128.0/17 通过VPC终端节点实现跨VPC访问Kafka实例（密文接入和明文接入都适用）。 入方向 TCP IPv4 9011 0.0.0.0/0 使用DNAT访问Kafka实例（密文接入和明文接入都适用）。

本文主要介绍 重置消费进度。 重置消费进度即修改消费者的消费位置。 说明 重置消费进度可能会导致重复消费，请谨慎操作。 前提条件 Kafka实例不支持在线重置消费进度，请先将待重置消费进度的消费组停止消费，然后重置消费进度。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待重置消费进度的消费组名称，进入消费组详情页。 步骤 7 在“消费进度”页签，通过以下方法，重置消费进度。 重置单个Topic所有分区的消费进度：在待重置消费进度的Topic后，单击“重置消费进度”。 重置单个Topic中单个分区的消费进度：在待重置消费进度的Topic分区后，单击“重置消费进度”。 步骤 8 在弹出的“重置消费进度”对话框中，参考下表，设置重置消费进度参数。 表 重置消费进度参数说明 参数 说明 重置类型 选择重置类型： 时间：重置消费进度到指定的时间。 偏移量：重置消费进度到指定的偏移量。 一键重置消费进度只支持重置消费进度到指定时间。 时间 当“重置类型”为“时间”时，需要设置此参数。 选择重置消费进度的时间点，重置完成后，将从此时间点开始消费。 最早：最早偏移量 自定义：自定义时间点 最晚：最晚偏移量 偏移量 当“重置类型”为“偏移量”时，需要设置此参数。 选择重置消费进度的偏移量，此偏移量不能小于0，重置完成后，将从此偏移量开始消费。 步骤 9 单击“确定”，弹出确认对话框。 步骤 10 单击“是”，完成消费进度的重置。

本文介绍天已支持翼云APP产品控制台的云产品。 天翼云支持在天翼云APP对云产品进行管理。 天翼云APP产品控制台支持的云产品 1、弹性云主机（一类节点） 2、天翼云电脑（政企版）（一类节点） 3、分布式消息服务Kafka（一类节点） 4、分布式缓存服务Redis版（一类节点） 5、云容器引擎（一类节点） 6、关系数据库MySQL版（一类节点 II 类型资源池） 7、媒体存储（通用） 8、对象存储（经典版）I型（一类节点） 9、备案（通用） 更多产品管理控制台正在接入中，敬请期待，如对产品控制台有任何建议，欢迎提交建议与反馈

本节介绍如何使用的公共接入点接入Kafka的方法，文档以Java代码为例。 前提条件 已配置正确的安全组。 已获取连接Kafka实例的地址。 如果Kafka实例未开启自动创建Topic功能，在连接实例前，请先创建Topic。 已创建弹性云服务器，如果使用内网同一个VPC访问实例，请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。 使用内网同一个VPC访问，实例端口为8090，实例连接地址从控制台实例详情菜单处获取，如下图所示。 Maven中引入Kafka客户端 java Kafka实例基于社区版本2.8.2/3.6.2，推荐客户端保持一致。 org.apache.kafka kafkaclients 2.8.2/3.6.2 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); 生产者代码示例 java package com.justin.kafka.service.gw.plain; import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class Producer { private final KafkaProducer producer; public final static String TOPIC "testtopic"; public final static String BROKERADDR "192.168.0.11:8090,192.168.0.9:8090,192.168.0.10:8090"; public Producer() { Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.ACKSCONFIG, "all"); props.put("retries",3); producer new KafkaProducer<>(props); } public void produce() { try { for (int i 0; i (TOPIC, data), new Callback() { public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception ! null) { // TODO: 异常处理 exception.printStackTrace(); return; } System.out.println("produce msg completed, partition id " + metadata.partition()); } }); } } catch (Exception e) { // TODO: 异常处理 e.printStackTrace(); } producer.flush(); producer.close(); } public static void main(String[] args) { Producer producer new Producer(); producer.produce(); } }

介绍分布式消息服务Kafka删除消费组功能操作内容。 场景描述 Kafka删除消费组的场景包括： 消费组不再使用：当一个消费组不再需要使用时，可以选择删除该消费组。这可能是因为业务需求变化，或者消费组已经完成了其任务。删除消费组可以释放资源，并减少管理和维护的工作量。 重置消费者偏移量：在某些情况下，可能需要重置消费者组的偏移量，以重新开始消费消息。例如，当需要重新处理之前的消息，或者需要从最早的消息开始消费时，可以删除消费组并创建一个新的消费组来实现偏移量的重置。 清理过期的消费组：如果消费组长时间未被使用或者没有活跃的消费者，可以选择删除这些过期的消费组。这有助于减少资源占用和管理的复杂性，同时也可以提高整体性能和效率。 需要注意的是，在删除消费组之前，要确保没有任何正在运行的消费者实例与该消费组相关联。否则，删除消费组可能会导致数据丢失或其他问题。在删除消费组之前，建议先停止相关的消费者实例，并确保所有的消费者都已经退出消费组。 操作步骤 删除消费组 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，单击“更多 ”“删除”。 批量删除消费组 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，勾选其左侧目标框。 （6）点击左上角“删除消费组”按钮，完成批量删除。

本文介绍Kafka如何配置安全组 客户端只能部署在与Kafka实例处于相同虚拟私有云（VPC）和相同子网的弹性云主机（CTECS）上。 除了CTECS、Kafka实例必须处于相同VPC之外，还需要他们的安全组分别配置了正确的规则，客户端才能访问Kafka实例。 如果CTECS、Kafka实例配置相同的安全组，安全组创建后，默认包含组内网络访问不受限制的规则。 如果CTECS、Kafka实例配置了不同安全组，可参考如下配置方式： 说明 假设CTECS、Kafka实例分别配置了安全组：sgsCTECS、sgsKafka。 以Kafka访问端口9098为例，其它实例请以实际情况为准。 以下规则，远端可使用安全组，也可以使用具体的IP地址。 配置CTECS所在安全组。CTECS所在安全组需要增加如下出方向规则，以保证客户端能正常访问Kafka实例。如果出方向规则不受限，则不用添加。 配置Kafka实例所在安全组。Kafka实例所在安全组需要增加如下入方向规则，以保证能被客户端访问。

本节介绍如何使用的安全接入点接入Kafka的方法，文档以Java代码为例。 前提条件 已配置正确的安全组。 已获取连接Kafka实例的地址。 如果Kafka实例未开启自动创建Topic功能，在连接实例前，请先创建Topic。 已创建弹性云服务器，如果使用内网同一个VPC访问实例，请设置弹性云服务器的VPC、子网、安全组与Kafka实例的VPC、子网、安全组一致。 需要用户先在用户管理页面创建用户，然后给对应的topic授予生产消费权限。 使用内网同一个VPC访问，实例端口为8092，实例连接地址从控制台实例详情菜单处获取，如下图所示。 Maven中引入Kafka客户端 java Kafka实例基于社区版本2.8.2/3.6.2，推荐客户端保持一致。 org.apache.kafka kafkaclients 2.8.2/3.6.2 客户端关键参数 java Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLPLAINTEXT"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"Kafka@Test";"); 生产者代码示例 java package com.justin.kafka.service.gw.sasl; import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.config.SaslConfigs; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class Producer { private final KafkaProducer producer; public final static String TOPIC "testtopic2"; public final static String BROKERADDR "192.168.0.11:8092,192.168.0.9:8092,192.168.0.10:8092"; public Producer() { Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SASLPLAINTEXT"); props.put("sasl.mechanism", "SCRAMSHA512"); props.put(SaslConfigs.SASLJAASCONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username"testuser" password"Kafka@Test";"); props.put(ProducerConfig.ACKSCONFIG, "all"); props.put("retries",3); producer new KafkaProducer<>(props); } public void produce() { try { for (int i 0; i (TOPIC, data), new Callback() { public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception ! null) { // TODO: 异常处理 exception.printStackTrace(); return; } System.out.println("produce msg completed, partition id " + metadata.partition()); } }); } } catch (Exception e) { // TODO: 异常处理 e.printStackTrace(); } producer.flush(); producer.close(); } public static void main(String[] args) { Producer producer new Producer(); producer.produce(); } }

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本文主要介绍DMS for Kafka资源。 资源是服务中存在的对象。在DMS for Kafka中，资源包括：kafka，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表 DMS for Kafka的指定资源与对应路径 指定资源 资源名称 资源路径 kafka 实例 【格式】DMS:::kafka:Instance ID 说明 对于实例资源，IAM自动生成资源路径前缀DMS:::kafka: 通过实例ID指定具体的资源路径，支持通配符。例如： DMS:::kafka:表示任意Kafka实例。

分区平衡前的准备工作 在不影响业务的前提下，适当调小Topic老化时间并等待消息老化，减少迁移数据，加快迁移速度，分区平衡任务结束后可重新调整为初始值。 确保分区平衡的目标Broker磁盘容量充足。如果目标Broker磁盘剩余容量接近分区平衡迁移到该Broker上的数据量，为了给目标Broker上的消息生产预留存储空间，应先进行磁盘扩容，再进行分区平衡。 自动平衡 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“Topic管理”，进入Topic列表页面。 步骤 6 通过以下任意一种方法，修改分区平衡。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“一键平衡 > 自动平衡”。 在待修改分区平衡的Topic所在行，单击“更多 > 一键平衡 > 自动平衡”。 步骤 7 设置自动平衡参数。 在“Brokers列表”区域，勾选目标Broker的名称，Topic分区的副本即将迁移至目标Broker上。 在“Topic列表”区域，输入Topic需要自动平衡的副本数，副本数须小于等于Broker的数量。 在“带宽限制”中，输入带宽大小，默认值为“1”，表示不限制带宽。如果实例负载较低，建议不设置带宽限制。如果需要设置带宽限制，建议该参数值不小于待分区平衡Topic的总生产带宽 待分区平衡Topic的最大副本数。带宽限制值的估算方法，请参考带宽限制值估算方法。 图设置自动平衡参数 步骤 7 单击“确定”，自动跳转到Topic列表页面。 在Topic列表页面左上方单击“查看变更任务”，进入“后台任务管理”页面，查看分区平衡任务的状态。当“状态”为“成功”时，表示分区平衡完成。 说明 分区平衡任务启动后，不能删除正在进行分区平衡的Topic，否则会导致分区平衡任务无法结束。 分区平衡任务启动后，无法修改Topic的分区数。 分区平衡任务启动后，无法手动停止任务，需要等到任务完成。

介绍APM监控详情里消息监控中的KafkaProducer相关指标的名称、含义等信息。 KafkaProducer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptiontype 异常类型 String 异常 exceptioncount 错误数 Int Topic (Topic，Kafka的Topic监控数据) id Clientid和IP信息 Enum Topic (Topic，Kafka的Topic监控数据) topic Kafka的Topic名称 Enum Topic (Topic，Kafka的Topic监控数据) kafkaproducerbyterate 每秒发送字节 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecorderrorrate 每秒错误数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordretryrate 每秒重试数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordsendrate 每秒发送数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerrecordsendtotal 总发送次数 Int Topic (Topic，Kafka的Topic监控数据) kafkaproducerbytetotal 总发送字节数 Int 汇总（Total，KafkaProducer汇总信息统计） kafkaproducerrecordsendtotal 总发送次数 Int 汇总（Total，KafkaProducer汇总信息统计） kafkaproducerbytetotal 总发送字节数 Int 发送方法（DoSendMethod，发送消息方法监控） topic Kafka的Topic名称 Enum 发送方法（DoSendMethod，发送消息方法监控） errorCount 错误数 Int 发送方法（DoSendMethod，发送消息方法监控） invokeCount 调用次数 Int 发送方法（DoSendMethod，发送消息方法监控） maxTime 最慢时延 Int 发送方法（DoSendMethod，发送消息方法监控） ms0To10Count 010ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms10To100Count 10100ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms100To500Count 100500ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms500To1000Count 5001000ms次数 Int 发送方法（DoSendMethod，发送消息方法监控） ms1000To10000Count 110s次数 Int 发送方法（DoSendMethod，发送消息方法监控） msMorethan10000Count 10s以上次数 Int 发送方法（DoSendMethod，发送消息方法监控） totalTime 调用总耗时 Int

本文主要介绍消费组问题。 Kafka实例是否需要创建消费组、生产者和消费者？ 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 消息组中没有在线的消费者（如empty状态），14天后是否会自动被删除与offsets.retention.minutes参数有关： 2020年6月16日前创建的实例，offsets.retention.minutes默认为2147483646分钟，约1491308天，消费组14天后不会被删除。 2020年6月16日以及之后创建的实例，offsets.retention.minutes默认为20160分钟，即14天，消费组14天后会自动被删除。 原因如下： Kafka通过offsets.retention.minutes参数控制消费组中offsets保留时间，在此时间内如果没有提交offset，offsets将会被删除。Kafka判定消息组中没有在线的消费者（如empty状态），且没有offsets时，将会删除此消费组。 客户端删除消费组后，在Kafka Manager中仍可以看到此消费组？ 客户端删除消费组后，此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组，是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题： 重启Kafka Manager。 Kafka Manager只显示14天内有消费记录的消费组，如果您不想重启Kafka Manager，可以等待14天后Kafka Manager自动清除此消费组。

修改配置 在 Manager 页面，集群服务>配置管理，修改 Kafkavars.yaml 和 server.properties 文件，按上述配置修改。 创建目录机器上的目录 plaintext 登录每台KafkaBrokerServer的机器 创建目录，并修改权限 sudo mkdir p /data02/kafka/data sudo chown kafka:kafka /data02/kafka/data 重启服务 在Manager页面，进入服务管理，选择Kafka集群，BrokerServer，重启BrokerServer服务。请选择合适的时间进行服务的重启。

本节介绍了专属云（存储独享型）的应用场景。 适用于高性能、高可靠应用场景，例如企业应用、大型开发测试环境、部署分布式文件系统和数据库应用等。专属云（存储独享型）可支持的三种应用场景如下： 有高性能、数据安全和业务稳定需求的场景 可对接专属云中的弹性云主机、物理机等计算服务，适用于有高性能、稳定性以及数据安全和监管的业务诉求的场景。 产品优势： 1、高性能—搭配计算专属云，满足用户高性能需求 2、安全可靠—实现存储物理隔离，保证数据安全和业务稳定 3、高带宽—独享存储带宽，满足高性能场景带宽需求 有混合负载需求的场景 专属云（存储独享型）服务支持多并发、高带宽应用场景，可同时支持数据库、Email、OA办公、Web等多个应用混合部署。 产品优势： 1、高性能—专属存储为用户提供高IOPS，满足混合负载场景的应用需求 2、高带宽—独享存储带宽，满足高带宽需求 3、灵活扩展—支持存储资源灵活扩展，满足业务增长需求 OLAP应用场景 数据分析型应用场景，专属云支持集群应用部署，如RAC、DB2 、SAP HANA等。

介绍创建用户并授权使用Kafka 对资源进行精细访问控制 您可以使用统一身份认证（Identity and Access Management，简称IAM）服务对所拥有的Kafka服务进行精细的权限管理。IAM用户的作用是多用户协同操作同一帐号时，避免分享帐号的密码。 您注册后，系统自动创建帐号，帐号是对其所拥有的资源具有完全控制权限，可以访问系统中所有的云服务。若您的团队或应用程序需要使用您的Kafka资源，您可以为员工或应用程序创建IAM用户，并授予IAM用户刚好能完成工作所需的权限，新创建的IAM用户可以使用自己单独的用户名和密码登录云服务平台。 前提条件 基于IAM服务进行权限管理控制时，您需先了解Kafka的策略管理，包含Kafka所支持的系统策略管理，以及各策略间资源粒度的授权情况。 授权流程 左侧导航栏分别包含“用户组”、“子用户”、“策略管理”、“企业项目”，用户根据个人需要进行操作资源的权限控制。 授权具体流程为：创建IAM用户 > 创建用户组并授权Kafka资源权限 > 为IAM用户授权，具体操作步骤如下： 创建IAM用户 使用天翼云网门户的用户管理功能，给员工或应用程序创建IAM子用户。 步骤 1 企业的天翼云管理员使用已注册的天翼云帐号登录天翼云网门户。 步骤 2 鼠标移动至天翼云首页右上角用户头像，在下拉列表中单击“个人中心”。 步骤 3 个人中心左侧菜单中，单击“主子账号及授权管理”。 步骤 4 在主子账号及授权管理页，单击左侧导航菜单中的“子用户”。 步骤 5 在“子用户”管理界面中，单击“创建子用户”。 步骤 6 在弹出的创建用户对话框中，输入子用户信息。 步骤 7 单击“确定”，完成IAM用户创建，返回子用户列表，将显示新创建的IAM用户。

Kafka实例完全兼容开源Kafka协议，可以直接使用kafka开源客户端连接。如果使用SASL认证方式，则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集，如获取实例连接地址、SASL连接使用的证书、公网访问信息等，然后提供Java、Python和Go等语言的连接示例。 本指南的示例仅展示Kafka的API调用，生产与消费的API集，请参考Kafka官网。

扩容/缩容代理规格的过程 在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更，具体过程如下（以3个代理为例介绍）： 1. 停止Broker 0的Kafka进程 2. 扩容/缩容Broker 0的规格 3. 重启Broker 0的Kafka进程 4. 重复1~3，扩容/缩容Broker 1的规格。 5. 重复1~3，扩容/缩容Broker 2的规格。 图 扩容/缩容代理规格过程 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在实例所在行，单击“更多 > 变更规格”，进入“分布式消息服务Kafka变更规格”页面。 步骤 5 根据实际情况选择扩容存储空间、代理数量、代理规格、基准带宽，或者缩容代理规格。 老规格实例扩容步骤如下： 扩容基准带宽。 在“规格”中，选择扩容后的带宽，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的带宽大小。 说明 扩容带宽是通过扩容代理实现的，原来代理不受影响，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容基准带宽时，需要为新扩容的代理设置弹性IP地址。 扩容基准带宽，可以扩大总分区数。 扩容存储空间。 在“存储空间”中，选择扩容后的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的存储空间大小。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 新规格实例扩容步骤如下： 扩容存储空间。 在“变更配置”中，选择“存储空间”，在“单个代理存储空间”中，选择扩容后的单个代理的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的总存储空间大小（即扩容后的单个代理的存储空间代理个数）。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 扩容代理数量。 在“变更配置”中，选择“代理数量”，在“代理数量”中，选择扩容后的代理个数，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的代理个数。 说明 扩容代理数量不会影响原来的代理，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容代理数量时，需要为新扩容的代理设置弹性IP地址。 扩容代理数量，可以扩大总分区数。 扩容/缩容代理规格。 在“变更配置”中，选择“代理规格”，在“代理规格”中，选择扩容/缩容后的代理规格，单击“下一步”。确认扩容/缩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容/缩容后的代理规格。 说明 扩容/缩容代理规格的过程中，节点会重启，可能造成闪断，生产客户端需要配置重试机制。 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息。

操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 审计日志转储：支持将审计日志周期性的转储至对象存储服务（ZOS）下的ZOS桶。 使用限制 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。若您使用云审计提供的转储功能，需要开通对象存储服务并支付产生的费用，该费用以对象存储产品的计费为准，参考计费说明对象存储。 用户通过云审计能查询到多久前的操作事件：7天。 用户操作后多久可以通过云审计查询到数据：5分钟。 其它限制请参考使用限制云审计。 关键操作列表 事件名称 从主机组移除主机(批量) 给日志资源创建或更新标签 为指定的资源解绑标签 为指定日志单元创建索引 编辑ZOS对象存储导入任务 删除导入任务 删除采集规则 定时SQL任务关闭 创建定时SQL任务 启用告警规则 删除仪表盘订阅 更新加工任务 重命名项目 创建过滤器 重命名仪表盘 日志单元更新 创建采集规则 创建模拟接入任务 更新告警规则 更新消费组 启动加工任务 日志告警规则另存为模板 停止kafka投递任务 仪表盘订阅启用 为日志资源绑定标签 修改采集规则 定时SQL运行实例 重试 专属日志单元取消关联日志服务 删除重建索引任务 投递任务停止 创建主机组 创建分布式消费服务Kafka导入任务 停用采集规则 批量停止告警规则 删除主机组 创建关注 启动模拟接入任务 删除终端节点 更新日志单元索引 将日志采集规则应用于目标主机组 更新某个指定日志项目的描述信息 删除过滤器 更新采集规则 更新Processors 新增消费组关联日志单元 加工任务启动 自动生成行首正则 创建或者修改数据加工任务 删除数据导入任务 给日志资源创建或更新标签 删除检索历史记录 删除模拟接入任务 批量启动告警规则 更新仪表盘描述 匹配的容器信息预览 停用告警规则 停用采集规则 批量删除接口 导入数据预览 修改仪表盘订阅 重命名快速查询 批量停用接口 删除仪表盘订阅 升级agent 删除加工任务 取消关注 主机组解绑采集规则 删除下载任务 创建ZOS对象存储导入任务 删除消费组关联日志单元 删除仪表盘 修改过滤器 更新日志单元配置 删除采集规则 删除日志单元 删除主机组 停用重建索引任务 更新定时SQL任务 创建产品委托授权 从指定主机组中移除主机 创建项目 卸载agent 修改项目标签 创建下载任务 重新生成下载任务 加工任务重新执行 删除目标日志项目 编辑主机组基础信息(名称、备注) 删除消费组关联日志单元 创建一个快速查询 创建仪表盘 加工任务删除 删除消费组 更新主机组描述 更新主机组 停止加工任务 创建主机组 创建或者更新数据投递任务 创建仪表盘订阅 创建vpce 新增消费组关联日志单元 重命名告警规则 创建快速查询 更新主机组 全量容器信息预览 加工任务重新执行 添加主机到主机组 删除kafka投递任务 批量删除告警规则 删除项目 删除日志单元 删除告警规则 创建/更新日志单元索引字段 修改仪表盘 删除主机组 更新告警规则 更新日志单元描述 批量启动接口 停止模拟接入任务 创建日志项目 添加主机到指定主机组 修改仪表盘 编辑日志单元 创建对象存储投递任务 编辑分布式消费服务Kafka导入任务 创建仪表盘 创建下载任务 创建告警规则 更新模拟接入任务 更新日志告警规则模板 创建专属日志单元 删除定时SQL任务 更新检索条件 启动kafka投递任务 删除日志告警规则模板 创建日志单元 删除快速查询 安装插件 更新消费组 新增主机到主机组 创建采集规则 更新对象存储投递任务 编辑项目 启用采集规则 从目标主机组中移除关联的日志采集规则 采集配置解除关联主机组 采集规则启停 更新日志单元存储时长 更新数据导入任务 投递任务启动 停止对象存储投递任务 更新一个快速查询 删除一个快速查询 更新触发条件 删除仪表盘模板 定时SQL任务启动 创建产品委托授权 划词生成正则 更新检查频率 重命名日志单元 创建加工任务 创建消费组 删除对象存储投递任务 启动对象存储投递任务 开启或者关闭服务日志 删除仪表盘 更新项目描述 创建Ingress仪表盘 更新通知策略 创建消费组 创建日志投递Kafka任务 更新仪表盘订阅名称 新建数据导入任务 创建重建索引任务 投递任务删除 创建告警规则 启用采集规则 删除下载任务 移除主机组中主机 新增仪表盘模板 主机组绑定采集规则 创建日志单元 创建主机组

场景描述 在某些情况下，您可能需要将Kafka开启公网访问。以下是一些可能的场景描述： 跨地域数据传输：如果您有多个位于不同地理位置的数据中心或云服务提供商，您可能希望在它们之间传输数据。通过将Kafka开启公网访问，您可以轻松地在不同地区之间进行数据传输。 跨组织数据共享：如果您需要与其他组织或合作伙伴共享数据，而且这些组织不在同一个网络环境中，您可以将Kafka开启公网访问，以便安全地共享数据。 远程访问和监控：有时候，您可能需要从外部网络访问和监控Kafka集群。通过配置Kafka开启公网访问，您可以远程连接到Kafka集群，监控其运行状态，并执行必要的管理操作。 请注意，在设置Kafka开启公网访问时，确保采取适当的安全措施，比如使用安全组或者用户权限来限制访问权限，以保护Kafka集群的安全性。 约束与限制 开启公网访问功能只支持绑定IPv4弹性IP地址，不支持绑定IPv6弹性IP地址。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“实例详情”后找到如下接入点信息模块。 （5）点击右上角“添加路由策略”按钮，选择“公网接入”方式。 （6）需要为每个节点设置对应的弹性IP地址，点击其右侧的“绑定”按钮，在弹窗中选择某个弹性IP绑定。如果没有足够数量的弹性IP地址，可参考申请弹性IP购买弹性IP地址。 （7）点击刷新按钮查看弹性IP绑定状态，待所有节点都绑定弹性IP后点击“确定”按钮下发开启公网后台任务。 （8）当实例状态重新变为“运行中”后，表示开启公网访问成功。 （9）开启公网访问后，需要设置好对应的安全组规则 才能成功连接Kafka，设置规则参考如下: 安全组参考规则（先判断安全组的出/入方向是否放通了对弹性ip地址的访问，如果没有，可以参考如下规则配置）： 方向 协议 类型 端口 远端(源地址) 说明 入方向 TCP IPv4 Kafka公网接入端口(8094)，或更大范围 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka （10）如果创建了 网络ACL规则 ，则ACL规则也需要正确配置才能成功连接Kafka，设置规则参考如下: 网络ACL参考规则（先判断网络ACL的出/入方向是否放通了客户端地址的访问，如果没有，可以参考如下规则配置）： 方向 协议 IP版本 策略 源地址 源端口范围 目的地址 目的端口范围 描述 入方向 TCP IPv4 允许 Kafka客户端所在的IP地址或地址组 165535 VPC IP地址组 Kafka公网接入端口(8094)，或更大范围 控制入方向ACL规则 出方向 TCP IPv4 允许 VPC IP地址组 Kafka公网接入端口(8094)，或更大范围 Kafka客户端所在的IP地址或地址组 165535 控制出方向ACL规则 （11）连接Kafka可以根据开启公网访问时选择的SASLPLAINTEXT或SASLSSL协议接入。

DLI数据源约束 使用CDM服务迁移数据到DLI时，当前用户需拥有OBS的读取权限。 Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务（DCS ）和Redis数据源约束 1. 由于分布式缓存服务（DCS）限制了获取所有Key的命令，CDM无法支持DCS作为源端，但可以作为迁移目的端，第三方云的Redis服务也无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 2. 仅支持Hash和String两种数据格式。 文档数据库服务（DDS ）和MongoDB数据源约束 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 云搜索服务和Elasticsearch数据源约束 1. CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 2. 索引下的字段类型创建后不能修改，只能创建新字段。如果一定要修改字段类型，需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建（数据也会删除）。 3. CDM自动创建的索引，字段类型为date时，要求数据格式为“yyyyMMdd HH:mm:ss.SSS Z”，即“20180808 08:08:08.888 +08:00”。迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求，可以通过CDM的表达式转换功能转换为上述格式。 Kafka数据源约束 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。

本文介绍创建Kafka自定义策略 如果系统预置的Kafka权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项请参考主子账号和IAM权限管理。 目前天翼云支持可视化视图和JSON视图两种方式设置策略内容，详细介绍请查看统一身份认证用户指南权限管理自定义策略 创建自定义策略 可视化视图：通过可视化视图创建自定义策略，无需了解JSON语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图：通过JSON视图创建自定义策略，可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 Kafka自定义策略样例 以下策略样例表示：仅允许IAM用户使用Kafka主题管理、实例列表功能 { "Version": "1.1", "Statement": [ { "Effect": "Allow" "Action": [ "KAFKA:inst:kafkamanagetopic", "KAFKA:inst:kafkaclusterlist" ] } ] }

检查Kafka配置的直接内存大小 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置 > 全部配置 > Broker（角色） > 环境变量”。将“KAFKAHEAPOPTS”参数中配置的“Xmx”值参考如下说明调大。 说明 建议“KAFKAHEAPOPTS”参数中“Xmx”和“Xms”值保持一致。 建议根据“Kafka直接内存资源状况”调整“KAFKAHEAPOPTS”的值为“Kafka使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。“Kafka直接内存资源状况”可在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，选择上报告警实例主机名对应的角色。单击图表区域右上角的下拉菜单，选择“定制 > 进程 > Kafka直接内存资源状况”进行查看。 3. 保存配置，并重启Kafka服务。 4. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤7。 收集故障信息 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 5. 在“服务”中勾选待操作集群的“Kafka”。 6. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 7. 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

产品服务协议请查看： 天翼云分布式消息服务协议

功能 功能描述 HTTP触发器 给函数配置HTTP触发器，函数响应HTTP请求事件，执行指定的逻辑。 定时触发器 给函数配置定时器触发器，函数可以根据定时器配置周期性执行业务逻辑。 Kafka触发器 给函数配置Kafka触发器，函数可以监听Kafka消息来执行业务逻辑。 RocketMQ触发器 给函数配置RocketMQ触发器，函数可以监听RocketMQ消息来执行业务逻辑。 日志触发器 给函数配置日志触发器，函数可以根据日志的写入来执行业务逻辑。 对象存储触发器 给函数配置对象存储触发器，函数可以监听对象存储的创建、删除、更新等事件来执行业务逻辑。 云原生网关触发器 给函数配置云原生网关触发器，函数可以监听网关的事件来执行业务逻辑。

名词 说明 环境 用于隔离不同应用的逻辑单元。 应用 一组资源的逻辑集合，通常代表一个业务系统。应用是进行演练和管理的核心对象。 资源 构成应用的组件节点，例如云主机、容器、分布式缓存服务Redis版、分布式消息服务Kafka等实例。 演练 通过向应用的特定资源注入指定故障，并观察其影响，从而验证系统稳定性与韧性的过程。 动作 注入到目标资源上的一个原子性故障，例如“CPU高负载”或“网络延迟”。用户可以在一次演练中对多个动作进行自由组合和编排。 动作组 一个或多个动作的逻辑分组，通常代表一个完整的故障场景。在一个演练任务中，不同的动作组之间可以并行执行。 探针 安装在目标资源（如云主机）上，用于执行具体故障注入动作的代理程序（Agent）。 保护策略 一种自动化的安全机制，用于控制演练的“爆炸半径”。当触发预设条件时，系统会依据此策略自动中止演练并回滚故障。