启动/暂停Smart Connect任务 暂停任务后，Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、执行以下操作，启动/暂停Smart Connect任务。 启动：在待启动的Smart Connect任务所在行，单击“启动”。 暂停：在待暂停的Smart Connect任务所在行，单击“暂停”，弹出“暂停任务”对话框，单击“确定”。 结束 重启Smart Connect任务 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、在待重启的Smart Connect任务所在行，单击“重启”，弹出“重启任务”对话框。 重启Smart Connect任务前，请注意以下两点： Smart Connect任务创建后，修改了源端或者目标端的参数，可能会导致重启失败。 重启Smart Connect任务会重置同步进度，并重新开始同步任务。 7、单击“确定”，完成Smart Connect任务的重启。 当页面左上方显示“成功重启任务xxx”时，表示成功重启Smart Connect任务。 结束

本章介绍Kafka的网络带宽利用率监控告警配置指导。 使用场景建议 Kafka存在持续业务，避免出现客户端批量断链场景。 间断性业务场景不建议使用，会存在误告警。 新创建实例不建议设置告警。 告警通知设置，告警对象、告警组设置 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择目标实例所在的区域。 3. 在管理控制台左上角单击，搜索CES服务进入“云监控服务”界面。 4. 选择“告警 >告警通知”，单击“通知对象 >创建通知对象”，填写要通知的对象以及相关联系方式，如果已存在则跳过该步骤，重复该步骤可创建多个通知对象。 5. 选择“通知组 >创建通知组”，把步骤4创建的告警对象都纳入当前组进行管理。 设置告警规则 1. 选择“告警 >告警规则 >创建告警规则”。 参数 说明 名称 自定义名称 描述 自定义描述 告警类型 指标 资源类型 分布式消息服务 维度 Kafka专享版 Broker节点 监控范围 指定资源 监控对象 选择指定kafka实例的所有broker，可选择多个kafka实例 触发规则 自定义创建 告警策略 若++网络带宽利用率++ 的++原始值连续3次<++xx则++每5分钟 告警一次++ ++根据实际情况设置xx的紧急、重要、次要等告警++ 发送通知 打开 通知方式 通知组 通知组 选择上一步创建的通知组 通知内容模板 都可以选择系统模版 生效时间 每日00:00 – 23:59 触发条件 出现告警恢复告警都选 2. 单击“立即创建”。

说明 分布式消息服务Kafka旧资费根据实例规格分为基础版和高级版，存储空间按照不同类型收费。 目前在 芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 资源池开放订购。 实例价格如下： 规格 标准资费（元/月） 标准资费（元/小时） 基础版（100 MB/s） 1300 2.71 高级版（300 MB/s ） 2100 4.38 存储空间价格如下： 存储类型 标准资费（元/G/月） 标准资费（元/G/小时） 普通 IO 0.45 0.0008 高 IO 0.6 0.0013 超高 IO 1.5 0.0032

参数 类型 示例值 描述 id string eca534636baf4d568f86cbdb748208ed 事件ID。标识事件的唯一值。 source string ctyun.faas.trigger.kafka 事件源。Kafka触发器固定为ctyun.faas.trigger.kafka。 specversion string 1.0 CloudEvents协议版本。 type string kafka:topic:sendmessage 事件类型。 datacontenttype string application/json 参数data的内容形式。 subject string kafkatriggermqbjvsezbpdialtest:testforfaas 事件主体。格式为[SourceName]:[消息topic]。 time string 20250522T02:04:16Z 消息被触发的时间。 data object Kafka触发器独有消息格式，详细参见下文RawData描述。

本节介绍批量修改Topic配置 本章节指导您在控制台修改如表1所示Kafka Topic的配置。 Kafka控制台支持修改单个Topic的配置，也支持批量修改Topic配置。批量修改Topic配置时，无法修改Topic描述信息。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数。 老化时间 消息的最长保留时间。 副本数 Topic每个分区的副本数量。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 约束与限制 当副本数为1时，不能开启同步复制功能。 开启同步复制后，需要在客户端配置acksall或者1，否则无效。 批量修改Topic配置时，每次最多修改100个Topic的配置。 修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述，不会重启实例。

生产消息 import java.util.ArrayList; import java.util.List; import java.util.Properties; import java.util.concurrent.Future; import org.apache.kafka.clients.CommonClientConfigs; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.config.SslConfigs; public class KafkaProducerDemo { public static void main(String args[]) { //加载kafka.properties Properties kafkaProperties JavaKafkaConfigurer.getKafkaProperties(); Properties props new Properties(); //设置接入点，请通过控制台获取对应Topic的接入点 props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, kafkaProperties.getProperty("bootstrap.servers")); //设置SSL根证书的路径，请记得将XXX修改为自己的路径 props.put(SslConfigs.SSLTRUSTSTORELOCATIONCONFIG, kafkaProperties.getProperty("ssl.truststore.location")); //根证书store的密码，保持不变 props.put(SslConfigs.SSLTRUSTSTOREPASSWORDCONFIG, "c24f5210"); //接入协议，目前支持使用SSL协议接入 props.put(CommonClientConfigs.SECURITYPROTOCOLCONFIG, "SSL"); //Kafka消息的序列化方式 props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringSerializer"); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringSerializer"); //请求的最长等待时间 props.put(ProducerConfig.MAXBLOCKMSCONFIG, 30 1000); //设置客户端内部重试次数 props.put(ProducerConfig.RETRIESCONFIG, 5); //设置客户端内部重试间隔 props.put(ProducerConfig.RECONNECTBACKOFFMSCONFIG, 3000); //hostname校验改成空 props.put(SslConfigs.SSLENDPOINTIDENTIFICATIONALGORITHMCONFIG, ""); //构造Producer对象，注意，该对象是线程安全的，一般来说，一个进程内一个Producer对象即可； //如果想提高性能，可以多构造几个对象，但不要太多，最好不要超过5个 KafkaProducer producer new KafkaProducer (props); //构造一个Kafka消息 String topic kafkaProperties.getProperty("topic"); //消息所属的Topic，请在控制台申请之后，填写在这里 String value "this is the message's value"; //消息的内容 try { //批量获取 futures 可以加快速度, 但注意，批量不要太大 List > futures new ArrayList >(128); for (int i 0; i kafkaMessage new ProducerRecord (topic, value + ": " + i); Future metadataFuture producer.send(kafkaMessage); futures.add(metadataFuture); } producer.flush(); for (Future future: futures) { //同步获得Future对象的结果 try { RecordMetadata recordMetadata future.get(); System.out.println("Produce ok:" + recordMetadata.toString()); } catch (Throwable t) { t.printStackTrace(); } } } catch (Exception e) { System.out.println("error occurred"); e.printStackTrace(); } } }

本节主要介绍分布式消息服务Kafka如何创建应用用户 场景描述 用户：主要用于规定生产消费指定加密主题的策略而需要，例如规定用户A可生产消费加密Topic1，用户B可生产消费加密Topic2，用户C可生产消费加密Topic1、Topic2，则需要为这三个用户创建用户，并分配加密主题权限。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面，点击新建用户。 （5）在 新建用户的窗口中填入集群名、用户、密码、描述，然后保存。 批量创建用户 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面。 （5）点击“批量创建用户”后，出现如下上传文件界面，文件格式件批量下载说明。 （6）点击“上传”完成批量创建。 下载批量创建用户模板 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面。 （5）点击“下载模板”右侧下拉倒三角“下载模板”，内容如下图。 （6）参数说明。 参数 说明 username 用户名 password 密码 description 备注或描述

本节主要介绍分布式消息服务Kafka的订购流程。 背景信息 Kafka实例订购支持用户自定义规格和自定义特性，采用物理隔离的方式部署。租户独占Kafka实例，可根据业务需要可定制相应规格的Kafka实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富用户选项。 前提条件 具备已通过实名认证的天翼云账号 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在管理控制台右上角单击“地域名称”，选择区域。此处请选择与您的应用服务相同的区域。 4. 点击“购买实例”跳转到购买页面，根据页面订购说明进行产品开通。 5. 下载安装工具Eclipse3.6.0以上上版本 或者IntelliJ ，JDK 1.8.111以上版本。 说明 以下订购说明适用于华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3资源池 计费模式：包周期和按需计费 引擎类型：云原生引擎和Kafka引擎。两者差别如下： 云原生引擎：大规模分区性能稳定性更高，扩容无需迁移数据。 Kafka引擎：完全兼容开源Kafka生态，占用更少IO带宽，可应对更高的性能峰值突刺。 部署方式：单可用区和多可用区部署。单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区 自动续期：支持自动续期，支持做选择自动续期时长 节点数：3、5、7、9 主机类型：通用型和计算增强型，不同类型主机规格价格不一样，具体区别见文档弹性云主机实例规格 实例规格：主机节点规格，通用型和计算增强型规格不一致，具体以页面为准。 说明 以下订购说明适用于芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 资源池 计费模式：包周期和按需计费 区域：开通实例所在资源池 类型：选择产品规格，包括高级版8核32G与基础版4核16G 节点数：固定3个节点 主机类型：支持通用型主机s2、s3和s6，具体区别见文档弹性云主机实例规格通用型

本节介绍批量修改Topic配置 本章节指导您在控制台修改如表1所示Kafka Topic的配置。 Kafka控制台支持修改单个Topic的配置，也支持批量修改Topic配置。批量修改Topic配置时，无法修改Topic描述信息。 表1 Kafka Topic的配置参数 参数名称 说明 分区数 Topic的分区数。 老化时间 消息的最长保留时间。 副本数 Topic每个分区的副本数量。 同步复制 后端收到生产消息请求并复制给所有副本后，才返回客户端。 同步落盘 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“批处理消息最大值”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 约束与限制 当副本数为1时，不能开启同步复制功能。 开启同步复制后，需要在客户端配置acksall或者1，否则无效。 批量修改Topic配置时，每次最多修改100个Topic的配置。 修改同步复制、同步落盘、消息时间戳类型、批处理消息最大值和描述，不会重启实例。

前提条件 Kafka实例的状态为“运行中”时，才能升级Kafka实例内核版本。 升级Kafka实例内核版本 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入Kafka实例列表页面。 4. 通过以下任意一种方法，升级Kafka实例。 在待升级内核版本的Kafka实例所在行，单击“更多 > 升级”，弹出“版本升级”对话框。 单击待升级内核版本的Kafka实例名称，进入实例详情页面。单击右上角的“ > 升级”，弹出“版本升级”对话框。 5. 选择执行时间，支持“立即执行”和“定时执行”。 如果选择“定时执行”，还需要指定执行时间。 6. 在“风险检查”区域，查看升级前的检查项是否正常。 如果检查项有异常，请先根据提示信息修改，然后单击“重新检查”。如果确认异常的检查项无需修改，请勾选“我已知晓风险。”。 7. 单击“确定”。 立即执行和定时执行查看升级是否完成的方法不同，具体如下： 表1110查看升级结果 执行方式 升级结果 立即执行 1. 单机升级实例名称，进入实例详情页。 2. 在左侧导航栏单击“实例管理 > 后台任务管理”，进入“后台任务管理”页面。 3. 在“即时任务”页签中，查看升级任务的状态。 1. 当任务的“状态”为“成功”时，表示升级完成。 2. 当任务的“状态”为“失败”时，表示升级失败，请联系客服处理。 定时执行 1. 单击升级实例名称，进入实例详情页。 2. 在左侧导航栏单击“实例管理 > 后台任务管理”，进入“后台任务管理”页面。 3. 在“定时任务”页签中，查看升级任务是否开始执行。 1. 当“状态”为“待执行”时，表示升级任务未执行。 2. 当“状态”为“成功”时，表示升级任务开始执行。 4. 在“即时任务”页签中，查看升级任务的状态。 1. 当任务的“状态”为“成功”时，表示升级完成。 2. 当任务的“状态”为“失败”时，表示升级失败，请联系客服处理。

您可以通过事件规则过滤事件，将事件路由到自建Apache Kafka服务。本文以自定义事件为例介绍将事件路由到自建Apache Kafka的前提条件、操作步骤和结果验证。 前提条件 开通事件总线EventBridge并委托授权 创建自定义总线服务 操作步骤 1. 登录事件总线EventBridge控制台，在左侧导航栏，单击事件总线。 2. 选择目标总线，在左侧导航栏，单击事件规则，然后单击添加事件规则。 3. 在添加事件规则页面，完成以下操作。 1. 在配置基本信息配置向导，在名称文本框输入规则名称，在描述文本框输入规则的描述，然后单击下一步。 2. 在配置事件模式配置向导，选择匹配全部事件，然后单击下一步。 3. 在配置事件目标 配置向导，配置事件目标，事件目标服务类型选择自建Apache Kafka，目标参数描述如下，然后单击创建。 参数说明 参数 说明 示例 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名：填写SASL用户名 密码：填写SASL密码 SASL鉴权方式：可选PLAIN和SCRAMSHA512 PLAINTEXT 消息体 选择消息体（Body）的内容，更多信息请参考事件内容转换。 完整事件 消息键值 选择消息键值（Key）的内容，更多信息请参考事件内容转换。 空

其他建议 连接数限制：3000 消息大小：不能超过10MB 使用saslssl协议访问Kafka：确保DNS具有反向解析能力，或者在hosts文件配置kafka所有节点ip和主机名映射，避免Kafka client做反向解析，阻塞连接建立。 磁盘容量申请超过业务量 副本数的2倍，即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC，否则会阻塞消息的生产和消费。

本文主要介绍实例规格变更问题。 Kafka扩容/缩容会影响业务吗？ Kafka扩容带宽/代理个数/存储空间，都不会影响业务的使用。 Kafka扩容代理规格，在扩容过程中，节点会重启，可能造成闪断。若Topic为单副本，扩容期间无法对该Topic生产消息或消费消息。 表 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理，业务也不受影响。 扩容基准带宽/代理数量时，系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3，每个代理的磁盘大小为200GB，扩容后实例的代理数为10，此时代理的磁盘大小依旧为200GB，但是总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过修改Kafka分区平衡，实现将原有Topic分区的副本迁移到新代理上。 存储空间 扩容存储空间有次数限制，只能扩容20次。 扩容存储空间不会影响业务。 代理规格 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息，会造成业务中断。 若Topic为多副本，扩容/缩容代理规格不会造成服务中断，但会逐个节点重启，负载会转移到剩余节点上，建议您在业务低峰期扩容/缩容。 扩容/缩容代理规格的过程中，节点滚动重启造成分区Leader切换，会发生秒级连接闪断，在用户网络环境稳定的前提下，Leader切换时长一般为1分钟以内。多副本的Topic需要在生产客户端配置重试机制，方法如下： a. 生产客户端为Kafka开源客户端时，检查是否配置retries和retry.backoff.ms参数。建议参数值分别配置为：retries10，retry.backoff.ms1000。 b. 生产客户端为Flink客户端时，检查是否配置重启策略，配置重启策略可以参考如下代码。 StreamExecutionEnvironment env StreamExecutionEnvironment.getExecutionEnvironment(); env.setRestartStrategy(RestartStrategies.fixedDelayRestart(10, Time.seconds(20))); 若实例已创建的分区数总和大于待缩容规格的实例分区数上限，此时无法缩容。不同规格配置的实例分区数上限不同，具体请参见产品规格。例如：kafka.4u8g.cluster3的实例，已创建800个分区，您想把此实例的规格缩容为kafka.2u4g.cluster3，kafka.2u4g.cluster3规格的实例分区数上限为750，此时无法缩容。 变更代理规格的时长和代理数量有关，单个代理的变更时长一般在5~10分钟，代理数量越多，规格变更时间越长。

命令行模式连接实例 以下操作命令以Linux系统为例进行说明： 步骤 1 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中， [kafkatar] 表示命令行工具的压缩包名称。 例如： tar zxf kafka2.122.7.2.tgz 步骤 2 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 步骤 3 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist {连接地址} topic {Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址，如果是公网访问，请使用“公网连接地址”，如果是VPC内访问，请使用“内网连接地址”，请根据实际情况选择。 Topic名称：Kafka实例下创建的Topic名称。如果Kafka实例开启了自动创建Topic功能，此参数值可以填写已创建的Topic名称，也可以填写未创建的Topic名称。 本文以公网连接为例，获取的Kafka实例公网连接地址为“10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094”。执行完命令后输入内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemo >Hello >DMS >Kafka! >^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 步骤 4 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver {连接地址} topic {Topic名称} group ${消费组名称} frombeginning 参数说明如下： 连接地址：从前提条件中获取的连接地址，如果是公网访问，请使用“公网连接地址”，如果是VPC内访问，请使用“内网连接地址”，请根据实际情况选择。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败 。 消费组名称开头包含特殊字符，例如下划线“”、

本文主要介绍如何在控制台删除消息。 操作场景 说明 消息删除后无法恢复，请谨慎操作。 前提条件 删除消息前，请先在客户端中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或者当前偏移量不存在（例如当前偏移量已被删除）时，消费者的消费策略。取值如下： latest：偏移量自动被重置到最晚偏移量。 earliest：偏移量自动被重置到最早偏移量。 none：向消费者抛出异常。 操作步骤 1. 登录管理控制台。 2. 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例名称，进入实例详情页面。 5. 在左侧导航栏选择“Topic管理”，进入Topic列表页面。 6. 在待删除消息的Topic所在行，单击“消息删除”，弹出“消息删除”对话框。 7. 设置消息删除参数，如下表所示。 图消息删除 表 消息删除参数说明 参数 说明 分区 选择消息所在的分区编号。 偏移量 输入偏移量，此偏移量之前的数据将被删除。 说明 如果“偏移量”设置为“1”，表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间，消息将不会被删除。 如果需要删除多个分区的消息，单击“添加分区”，设置需要删除消息的分区和偏移量。每次最多可选择10个分区。 8. 单击“确定”，弹出“清理结果”对话框，单击“确定”，完成消息的删除。 图 清理结果

本文主要介绍与其他云服务的关系。 云审计（Cloud Trace Service） 云审计为您提供云服务资源的操作记录，记录内容包括您从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果，供您查询、审计和回溯使用。 当前CTS记录的操作，请参考支持云审计的操作列表。 虚拟私有云（Virtual Private Cloud） Kafka实例运行于虚拟私有云，需要使用虚拟私有云创建的IP和带宽。通过虚拟私有云安全组的功能可以增强访问Kafka实例的安全性。 弹性云主机（Elastic Cloud Server） 弹性云主机是由CPU、内存、操作系统、云硬盘组成的基础的计算组件。Kafka实例运行在弹性云主机上，一个代理对应一台弹性云主机。 云硬盘（Elastic Volume Service） 云硬盘为云服务器提供块存储服务，Kafka的所有数据（如消息、元数据和日志等）都保存在云硬盘中。 云监控（Cloud Eye） 云监控是一个开放性的监控平台，提供资源的实时监控、告警、通知等服务。 说明 Kafka实例向CloudEye上报监控数据的更新周期为1分钟。 弹性公网IP（Elastic IP） 弹性公网IP提供独立的公网IP资源，包括公网IP地址与公网出口带宽服务。Kafka实例绑定弹性公网IP后，可以通过公网访问Kafka实例。

本文主要介绍 创建SASLSSL用户。 分布式消息服务Kafka支持对Topic进行ACL（Access Control List）权限管理，您可以在Topic中为不同的SASLSSL用户设置不同的权限，以达到SASLSSL用户之间的权限隔离。 本章节主要介绍Kafka实例开启SASLSSL后，如何创建SASLSSL用户。创建用户后，对Topic进行SASLSSL用户授权的操作，请参见设置Topic权限。 一个Kafka实例最多创建20个用户。 前提条件 创建Kafka实例时，已开启SASLSSL功能。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称，进入实例详情页面。 步骤 5 在“用户管理”页签，单击“创建用户”。 步骤 6 在弹出的“创建用户”对话框中，设置用户名和密码，单击“确定”，完成用户的创建。 SASLSSL用户创建成功后，参考设置Topic权限为SASLSSL用户授权。

介绍分布式消息服务Kafka查看分区状态功能操作内容。 场景描述 Kafka查看分区状态的场景描述如下： 监控和故障排查：通过查看分区状态，可以了解每个分区的健康状况和数据处理情况。如果某个分区出现延迟或者数据丢失等问题，可以及时发现并进行故障排查和修复。 性能优化：通过查看分区状态，可以了解每个分区的负载情况和数据处理速度。如果某个分区负载过高或者处理速度较慢，可以采取相应的措施进行性能优化，如增加分区数量或者优化消费者的消费能力。 容量规划：通过查看分区状态，可以了解每个分区的数据大小和数据增长趋势。根据分区状态，可以进行容量规划，确保有足够的存储空间来存储数据，并预测未来的数据增长趋势。 数据迁移和重平衡：当需要进行数据迁移或者重平衡时，查看分区状态可以帮助确定合适的迁移方案和平衡策略。通过了解每个分区的状态和负载情况，可以更好地规划和执行数据迁移和重平衡操作。 容错和冗余管理：通过查看分区状态，可以了解每个分区的副本分布情况和数据冗余情况。如果某个分区的副本数量不足或者副本分布不均衡，可以采取相应的措施来提高数据的容错性和冗余能力。 总之，Kafka查看分区状态的场景包括监控和故障排查、性能优化、容量规划、数据迁移和重平衡，以及容错和冗余管理等，以确保系统的稳定性、性能和可靠性。

本节介绍Group不存在但能消费消息原因 我在分布式消息服务Kafka控制台上，未查看到对应的Group，但此Group下却有消费线程在消费消息。 可能原因 如果客户端使用assign方式消费消息，那么即使不创建Group，也可能消费消息。 如果客户端使用subscribe方式消费消息，删除Group后，消费线程未停止或者未发生Rebalance，那么消费线程还可以继续正常消费。 解决方案 如果客户端使用assign方式消费消息，请提前在分布式消息服务Kafka控制台创建Group。 请尽量复用Group，避免创建过多的Group而影响集群的稳定性。 在删除Group前，请确保已停止该Group下的所有消费线程。

本文主要介绍云日志服务的投递概述。 天翼云云日志服务可以将日志单元中的数据投递到天翼云对象存储ZOS与分布式消息服务kafka，以满足归档或者计算的需求。 转储至对象存储ZOS 您将云主机和云服务的日志数据上报至云日志服务后，可对日志存储时长进行设置，默认存储时间为365天，超出存储时间后，日志数据将会被自动清理。若您需要长期存储日志数据进行日志持久化，可使用日志转储功能，将日志数据转储至对象存储中进行长期保存。具体操作请查看转储至对象存储ZOS。 说明 日志转储的实时性较弱，通常为5分钟~30分钟。数据延迟依赖于存储系统。 关于对象存储更多内容，请参考对象存储产品文档。 转储至分布式消息服务kafka 云日志服务采集到数据后，支持将数据转储至对天翼云分布式消息服务kafka，用于实时流计算等场景。具体操作请查看转储至分布式消息服务kafka。

本文主要介绍查看监控数据。 操作场景 云监控对Kafka实例的运行状态进行日常监控，可以通过控制台直观的查看Kafka实例各项监控指标。 前提条件 已创建Kafka实例，且实例中有可消费的消息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，查看监控数据。 在Kafka实例名称后，单击。跳转到云监控页面，查看实例、节点、队列和消费组的监控数据，数据更新周期为1分钟。 单击Kafka实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面，查看实例、节点、队列和消费组的监控数据，数据更新周期为1分钟。

创建实例时开启SASLSSL访问，则数据加密传输，安全性更高。 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 本节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka专享实例的方法。 说明： 使用SASL方式连接Kafka实例时，为了客户端能够快速解析实例的Broker，建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系。 其中，IP地址必须为实例连接地址（Broker地址），host为每个实例主机的名称（您可以自定义主机的名称，但不能重复）。 例如： 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 前提条件 已配置正确的安全组。 访问开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考表32。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9093，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例已开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载client.truststore.jks证书。如果没有，在控制台单击Kafka实例名称，进入实例详情页面，在“基本信息 > 高级配置 > Kafka SASLSSL”所在行，单击 。下载压缩包后解压，获取压缩包中的客户端证书文件：client.truststore.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 修改Kafka命令行工具配置文件。 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件，并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAIN security.protocolSASLSSL ssl.truststore.location/opt/kafka2.111.1.0/config/client.truststore.jks ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明： username和password为创建Kafka专享实例过程中开启SASLSSL时填入的用户名和密码。 ssl.trustore.location配置为client.truststore.jks证书的存放路径。注意，Windows系统下证书路径中也必须使用“/”，不能使用Windows系统中拷贝路径时的“”，否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码，不可更改，需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关，为空则表示关闭。这里需要保持关闭状态，必须设置为空。 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 如下示例，Kafka实例连接地址为“10.xxx.xxx.202:9093,10.xxx.xxx.197:9093,10.xxx.xxx.68:9093”。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

可信云服务可以通过IAM委托的方式访问其他云服务的资源。可信实体为天翼云服务的IAM委托，包括普通云服务委托和云服务关联委托。本文介绍事件总线EventBridge的服务内联委托。 什么是服务内联委托 在某些场景下，事件总线EventBridge为了完成自身的某个功能，需要获取其他云服务的访问权限，因此，事件总线EventBridge创建了与云服务内联委托，即服务内联委托CtyunAssumeRoleForEventBridge。 使用事件总线EventBridge，系统提供的服务内联委托及其包含的系统权限策略如下： 服务内联委托：CtyunAssumeRoleForEventBridge 系统权限策略：CtyunAssumePolicyForEventBridge CtyunAssumeRoleForEventBridge 服务内联委托CtyunAssumeRoleForEventBridge具有获取访函数列表、函数详情以及调用函数的权限；具有对分布式消息服务Kafka、分布式消息服务RocketMQ、分布式消息服务MQTT与分布式消息服务RabbitMQ的管理员权限；具有专有网络VPC、VPCE的管理员权限。 服务内联委托CtyunAssumeRoleForEventBridge被授予权限策略CtyunAssumePolicyForEventBridge，该权限策略的内容如下： plaintext { "Version": "1.1", "Statement": [ { "Action": [ "cf:inst:InvokeFunction", "cf:inst:GetFunction", "cf:inst:ListFunctions", "KAFKA::", "MQ2::", "mqtt::", "AMQP::", "vpce::", "vpc::" ], "Resource": [ "" ], "Effect": "Allow" } ] } 以下是使用事件总线EventBridge时，需要使用服务内联委托的场景： 建立函数计算规则时，需要委托事件总线EventBridge具有获取访函数列表、函数详情以及调用函数的权限。 建立消息中间件事件源与事件目标时，需要委托事件总线EventBridge具有对分布式消息服务Kafka、分布式消息服务RocketMQ、分布式消息服务MQTT与分布式消息服务RabbitMQ的管理员权限。 建立网络端点时，需要委托事件总线EventBridge具有专有网络VPC、VPCE的管理员权限。

Kafka实例规格参考 kafka.2u4g.cluster，三个代理 Kafka客户端连接数在3000以内，消费组个数在60个以内，业务TPS为100000以内时推荐选用。 kafka.4u8g.cluster，三个代理 Kafka客户端连接数在10000以内，消费组个数在300个以内，业务TPS为300000以内时推荐选用。 kafka.8u16g.cluster，三个代理 Kafka客户端连接数在20000以内，消费组个数在600个以内，业务TPS为600000以内时推荐选用。 kafka.12u24g.cluster，三个代理 Kafka客户端连接数在20000以内，消费组个数在600个以内，业务TPS为900000以内时推荐选用。 kafka.16u32g.cluster，三个代理 Kafka客户端连接数在20000以内，消费组个数在600个以内，业务TPS为1200000以内时推荐选用。 Kafka实例的存储空间估算参考 Kafka实例支持多副本存储，存储空间包含所有副本存储空间总和，您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估以及副本数量选择合适的存储空间。 例如：业务消息体积预估100GB，则磁盘容量最少应为100GB副本数 + 预留磁盘大小100GB。 Kafka实例支持对存储进行扩容，根据业务增长，随时扩容，节约成本。 Kafka实例Topic数量计算 Kafka实例对Topic分区数之和设置了上限，当达到上限之后，用户无法继续创建Topic。 所以，Topic数量和实例分区数上限、每个Topic的分区数有关，其中，每个Topic分区数可在创建Topic时设置，如下图，实例分区数上限参考上表。 图Topic的分区数 kafka.2u4g.cluster 3 broker实例的分区数上限为750。 如果该实例下每个Topic的分区个数都为3，则Topic个数为750/3250个。 如果该实例下每个Topic的分区个数都为1，则Topic个数为750/1750个。

Kafka支持减少分区数吗？ Kafka不支持减少分区数，您可以通过删除原先的Topic，然后创建新Topic，重新设置分区数。 Kafka实例创建Topic失败 可能原因：已创建的Topic，分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同，具体请参考产品规格。 解决方案：对Kafka实例扩容，或者删除不需要的Topic。 Kafka实例支持批量导入Topic功能么？或者是自动生成Topic功能？ 支持自动生成Topic功能，但不支持Topic批量导入功能，仅支持批量导出Topic功能。 通过以下任意一种方法，开启自动生成Topic功能： 创建实例时，开启Kafka自动创建Topic。 创建实例后，在实例详情页开启Kafka自动创建Topic。 为什么删除Topic不生效？删除后该Topic仍然存在 可能原因：您开启了自动创建Topic功能，且有消费者正在连接该Topic。所以，如果没有停止您的业务，删除了Topic后，还会有消息生产行为，并自动创建Topic。 解决办法：需要关闭自动创建Topic功能，才可以正常删除Topic。 Kafka实例是否支持查看单个Topic占用磁盘空间？ 支持。通过以下任意一种方法，查看单个Topic占用磁盘空间大小。 在Kafka实例名称后，单击，跳转到云监控页面。在“队列”页签中，“队列”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。 单击Kafka实例名称，进入实例详情页。在左侧导航栏单击“监控”，进入监控页面。在“主题”页签中，“主题”选择待查看磁盘空间大小的Topic名称，“监控类型”选择“基本监控”，查看“队列数据容量”，该指标表示该队列当前的消息数据大小。

事件示例 plaintext { "id": "601f1f756f8c4d97941e5c04f7add896", "specversion": "1.0", "source": "apache:kafka", "type": "kafka:Topic:SendMessage", "subject": "apache:kafka:bb9fdb42056xxxxxx0242ac110002:dab4124510dd4xxxxxxxxx5c6a6db69:topic:streamsource", "datacontenttype": "application/json", "time": "20251030T07:16:07.692257848Z", "data": { "topic": "streamsource", "partition": 0, "offset": 36, "value": "msg17" }, "ctyunaccountid": "dab4124510dd4xxxxxxxxx5c6a6db69", "ctyunregion": "bb9fdb42056xxxxxx0242ac110002" } data字段包含的参数解释如下表所示： 参数 类型 示例值 描述 topic String source1 Topic名称。 offset Integer 1 消费位点。 key String test 消息Key值。 value Object Hello,Kafka! 消息体，默认以JSON格式编码。

本文主要介绍查看示例代码。 本章节指导您在控制台查看Java、Go和Python生产消费消息的示例代码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 单击“查看示例代码”，弹出“生产消费示例代码”对话框。 查看Java、Go和Python生产消费消息的示例代码。示例代码区分是否开启SASLSSL认证，“接入类型”为“PLAINTEXT”时，表示未开启SASLSSL认证。“接入类型”为“SASLSSL”时，表示已开启SASLSSL认证。

本节主要介绍分布式消息服务Kafka主子账号和IAM权限管理 分布式消息服务Kafka已对接天翼云统一身份认证服务（IAM），可实现控制台按钮、菜单功能、OpenAPI等维度对用户访问、操作资源的权限控制等， 以达到用户权限的精细管理，保证访问的安全性。 IAM简介 统一身份认证（Identity and Access Management，简称IAM）服务，是提供用户进行权限管理的基础服务，可以帮助您安全的控制云服务和资源的访问及操作权限。目前天翼云提供对应专有的CTIAM服务，用户可申请开通后免费使用，您只需要为您帐号中的云服务和资源进行付费。具体IAM使用说明详情见：统一身份认证。 IAM涉及主要概念 主用户：用户在天翼云注册后自动创建，该用户对其所拥有的资源具有完全的访问权限，可以重置用户密码、分配用户权限等。如果需要多人共同使用天翼云资源，为了确保账号安全，建议创建子用户来进行日常管理工作。 子用户：由拥有IAM权限的用户，在用户中心创建的子用户。子用户的用户名、密码由拥有IAM权限的用户控制。子用户同样可以登录访问天翼云控制台，登录入口与主用户相同，受赋予的权限限制。 用户组：用户组是用户的集合，IAM通过用户组功能实现用户的授权。您创建的IAM用户，需要加入特定用户组后，才具备对应的权限，否则IAM用户无法访问您帐号中的任何资源或者云服务。 系统策略：由产品团队维护，系统预置的常用权限集，主要针对不同云服务的只读权限或管理员权限，比如对 ECS 的只读权限、对 ECS 的管理员权限等；系统策略在IAM控制台中只能用于授权，不能编辑和修改。 自定义策略：由用户自己在IAM控制台创建和管理的权限集，是用户可以自由定义的权限，是对系统策略的扩展和补充。 企业项目：企业项目权限实现细粒度控制的基础。将云资源、企业成员按企业项目进行管理，通过企业项目将云资源、带有权限的用户组绑定到一起，用户使用企业项目内云资源的权限受用户组的授权限制。

介绍分布式消息服务Kafka删除用户功能操作内容。 场景描述 Kafka删除用户的场景描述如下： 用户离职或不再需要访问权限：当用户离开组织或不再需要访问Kafka集群时，可以删除其用户账户。这可以确保已离职的用户无法再访问和操作Kafka，提高安全性和合规性。 角色调整或合并：在某些情况下，可能需要对用户角色进行调整或合并。如果某个角色不再需要或与其他角色重复，可以删除相关的用户账户和角色，以简化管理和维护。 用户账户过期或失效：如果用户账户的有效期已过或由于某种原因失效，可以删除该用户账户。这有助于清理无效的用户账户，减少安全风险和资源浪费。 安全审计和合规要求：根据安全审计和合规要求，可能需要删除某些用户账户。例如，当用户账户存在安全风险或违反合规规定时，需要及时删除相关账户以保护系统安全和数据隐私。 数据隔离和资源管理：在多租户环境中，当某个租户不再需要使用Kafka集群时，可以删除其相关的用户账户。这有助于释放资源，提高资源利用率和性能。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面，点击指定用户其右侧的“删除”按钮。 注意事项 Kafka删除用户时需要注意以下事项： 确认用户身份：在删除用户之前，确保要删除的用户的身份是正确的。验证用户的身份可以防止误删除或删除错误的用户账户。 备份和迁移数据：如果用户账户中存在重要的数据或信息，建议在删除用户之前进行数据备份和迁移。这可以确保数据的安全性和完整性，并防止数据的丢失或泄露。 通知相关人员：在删除用户之前，及时通知相关的管理人员或团队成员。这有助于协调和沟通，确保删除用户的操作得到充分的授权和确认。 关注系统性能：删除用户时，要注意对Kafka集群的性能影响。大规模的用户删除操作可能会对系统造成一定的负载和延迟，因此在合适的时间窗口进行删除操作，以减少对业务的影响。

消费消息 发送以下命令消费消息。 go run modvendor consumer/consumer.go 消费消息示例代码如下： package main import ( "encoding/json" "fmt" "github.com/confluentinc/confluentkafkago/kafka" "os" "path/filepath" ) type KafkaConfig struct { Topic string json:"topic" Topic2 string json:"topic2" GroupId string json:"group.id" BootstrapServers string json:"bootstrap.servers" SecurityProtocol string json:"security.protocol" } // config should be a pointer to structure, if not, panic func loadJsonConfig() KafkaConfig { workPath, err : os.Getwd() if err ! nil { panic(err) } configPath : filepath.Join(workPath, "conf") fullPath : filepath.Join(configPath, "kafka.json") file, err : os.Open(fullPath); if (err ! nil) { msg : fmt.Sprintf("Can not load config at %s. Error: %v", fullPath, err) panic(msg) } defer file.Close() decoder : json.NewDecoder(file) var config &KafkaConfig{} err decoder.Decode(config); if (err ! nil) { msg : fmt.Sprintf("Decode json fail for config file at %s. Error: %v", fullPath, err) panic(msg) } json.Marshal(config) return config } func doInitConsumer(cfg KafkaConfig) kafka.Consumer { fmt.Print("init kafka consumer, it may take a few seconds to init the connectionn") //common arguments var kafkaconf &kafka.ConfigMap{ "api.version.request": "true", "auto.offset.reset": "latest", "heartbeat.interval.ms": 3000, "session.timeout.ms": 30000, "max.poll.interval.ms": 120000, "fetch.max.bytes": 1024000, "max.partition.fetch.bytes": 256000} kafkaconf.SetKey("bootstrap.servers", cfg.BootstrapServers); kafkaconf.SetKey("group.id", cfg.GroupId) switch cfg.SecurityProtocol { case "PLAINTEXT" : kafkaconf.SetKey("security.protocol", "plaintext"); case "SSL": kafkaconf.SetKey("security.protocol", "ssl"); kafkaconf.SetKey("ssl.ca.location", "/XXX/caRoot.pem") case "SASLSSL": kafkaconf.SetKey("security.protocol", "saslssl"); kafkaconf.SetKey("ssl.ca.location", "/XXX/caRoot.pem"); kafkaconf.SetKey("sasl.username", cfg.SaslUsername); kafkaconf.SetKey("sasl.password", cfg.SaslPassword); kafkaconf.SetKey("sasl.mechanism", cfg.SaslMechanism) case "SASLPLAINTEXT": kafkaconf.SetKey("security.protocol", "saslplaintext"); kafkaconf.SetKey("sasl.username", cfg.SaslUsername); kafkaconf.SetKey("sasl.password", cfg.SaslPassword); kafkaconf.SetKey("sasl.mechanism", cfg.SaslMechanism) default: panic(kafka.NewError(kafka.ErrUnknownProtocol, "unknown protocol", true)) } consumer, err : kafka.NewConsumer(kafkaconf) if err ! nil { panic(err) } fmt.Print("init kafka consumer successn") return consumer; } func main() { // Choose the correct protocol cfg : loadJsonConfig(); consumer : doInitConsumer(cfg) consumer.SubscribeTopics([]string{cfg.Topic, cfg.Topic2}, nil) for { msg, err : consumer.ReadMessage(1) if err nil { fmt.Printf("Message on %s: %sn", msg.TopicPartition, string(msg.Value)) } else { // The client will //automatically try to recover from all errors. fmt.Printf("Consumer error: %v (%v)n", err, msg) } } consumer.Close() }

本文主要介绍 重启Kafka Manager。 操作场景 当Kafka Manager无法登录或者无法使用时，例如下图中的报错，可以通过重启Kafka Manager，使Kafka Manager恢复正常。 图 报错信息 说明 重启Kafka Manager不会影响业务。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重启Kafka Manager。 在待重启Manager的Kafka实例所在行，单击“更多 > 重启Manager”。 单击Kafka实例名称，进入实例详情页面。单击右上角的“更多 > 重启Manager”。 步骤 5 单击“确定”。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示重启成功。

前提条件： 1、提前开通专属云（计算独享型），并存留足够未分配的计算资源； 2、提前开通VPC、安全组等网络侧资源； 操作步骤： 步骤一： 登录天翼云账号，切换至专属云（计算独享型）节点； 如已购买了专属云（计算独享型），在控制台的右上角节点区域，可见有独立专属云“dec”标识的节点，选择用户需要进行Kafka购买的专属云节点进入。 图 带专属云“dec”标识的节点如下： 步骤二： 进入专属云节点后，在控制台中的产品列表中选择“分布式消息服务”，进入到服务控制台，在左侧菜单栏选择“Kafka专享版”，进入Kafka专享版实例列表页面。 图 专享版Kafka订购入口 步骤三： 点击“购买Kafka实例”，进入订购页面，按提示进行相关规格选择与配置。 1）计费方式为“包年包月”； 2）可用区：客户可自行根据资源池多AZ支持情况选择可用区进行创建。 说明：专享版Kafka的实例为集群模式，支持选择1个或者3个及以上可用区。不支持选择2个可用区，选择时需要注意；该可用区选择后不支持更换。 3）实例名称及企业项目：按命名规范自定义，也可以默认系统分配的名称； 4）Kafka版本：当前支持2种版本选择，2.3.0和1.1.0，推荐时间2.3.0版本； 5）CPU架构：当前仅支持“x86计算”，保持默认值即可； 图 购买Kafka订购页 6）选择具体的队列规格类型，在规格的描述与说明中会有该队列的底层资源类型、代理数量、分区上限、消费组数量，供客户与业务系统需求匹配规格。 说明：当前订购规格后，暂不支持规格变更，请在订购时做好业务整体需求评估。 7）选择存储空间：此处有2种存储可以选择，分别是公有云的云硬盘、专属分布式存储。存储的类型均支持高IO、超高IO。 说明：1、选择云硬盘时，具体价格以公有云的云硬盘价格为准； 2、选择转属分布式存储时，需提前已购买了专属云（存储独享型），在“可用存储”右侧的“存储池”列表中进行选择。 3、根据实际需要选择存储Kafka数据的总磁盘大小。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 • 基准带宽为100MB/s时，存储空间取值范围：600GB ~ 90000GB。 • 基准带宽为300MB/s时，存储空间取值范围：1200GB ~ 90000GB。 • 基准带宽为600MB/s时，存储空间取值范围：2400GB ~ 90000GB。 • 基准带宽为1200MB/s时，存储空间取值范围：4800GB ~ 90000GB 图 订购页界面 图 选择云硬盘时存储类别 图 选择专属分布式存储时，需要提前购买专属存储，并在存储池列表中选择 8）选择私有云、安全组； 虚拟私有云可以为您的Kafka专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 虚拟私有云和子网在Kafka专享版实例创建完成后，不支持修改。 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 9）设置Kafka Manager的用户名、密码； Kafka Manager是开源的kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 10）选择订购时长； 11）点击“立即购买”之前，还可进入“更多配置”也进行高级配置。 1、SASLSSL开关，开启后则对数据进行加密传输，但会对性能造成下降； 客户端连接Kafka专享版实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 创建实例后，Kafka SASLSSL开关不支持修改，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您需要设置连接Kafka专享版实例的用户名和密码。 2、自动创建Topic，开关开启后，Topic将根据配置API接口自动创建。 选择开启“Kafka自动创建Topic”，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 12）点击“立即购买”，进入支付前规格确认界面。显示详细kafka 实例信息，价格。 13）确认实例信息无误且阅读并同意服务协议后，点击“去支付”进入购买支付环节，完成付款后则开启Kafka创建。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明： 创建失败的实例，不会占用其他资源。