专属云（计算独享型） 该服务为专属云Kafka开通前必选服务，在开通了专属云计算独享后，才能在控制台中节点选择此专属云标识的环境，再进入控制台的分布式消息服务，来操作专属云Kafka的开通。 专属云（存储独享型） 该服务为专属云Kafka开通时的可选服务，在进如专属云Kafka的开通过程中，队列实例规格必须在专属云计算独享型，而队列存储的部分支持选择公有云的云盘承载，也可选择已经购买的专属云存储独享型，可根据需求灵活选择。

专属云Kafka的产品服务与公有云Kafka的产品规格保持一致，由两种服务资源组成，队列规格、队列存储。 其中队列计算规格按消息队列基准带宽分为4种分别是：100MB/s、300MB/s、600MB/s、1200MB/s； 存储类型分2种，分别如下：高I/O、超高I/O。

前提条件： 1、提前开通专属云（计算独享型），并存留足够未分配的计算资源； 2、提前开通VPC、安全组等网络侧资源； 购买操作步骤： 步骤一：登录天翼云账号，切换至专属云（计算独享型）节点； 如已购买了专属云（计算独享型），在控制台的右上角节点区域，可见有独立专属云“dec”标识的节点，选择用户需要进行Kafka购买的专属云节点进入。 图 带专属云“dec”标识的节点如下： 步骤二：进入专属云节点后，在控制台中的产品列表中选择“分布式消息服务”，进入到服务控制台，在左侧菜单栏选择“Kafka专享版”，进入Kafka专享版实例列表页面。 图 专享版Kafka订购入口 步骤三：点击“购买Kafka实例”，进入订购页面，按提示进行相关规格选择与配置。 1）计费方式为“包年包月”； 2）可用区：客户可自行根据资源池多AZ支持情况选择可用区进行创建。 说明：专享版Kafka的实例为集群模式，支持选择1个或者3个及以上可用区。不支持选择2个可用区，选择时需要注意；该可用区选择后不支持更换。 3）实例名称及企业项目：按命名规范自定义，也可以默认系统分配的名称； 4）Kafka版本：当前支持2种版本选择，2.3.0和1.1.0，推荐时间2.3.0版本； 5）CPU架构：当前仅支持“x86计算”，保持默认值即可； 图 购买Kafka订购页 6）选择具体的队列规格类型，在规格的描述与说明中会有该队列的底层资源类型、代理数量、分区上限、消费组数量，供客户与业务系统需求匹配规格。 说明：当前订购规格后，暂不支持规格变更，请在订购时做好业务整体需求评估。 7）选择存储空间：此处有2种存储可以选择，分别是公有云的云硬盘、专属分布式存储。存储的类型均支持高IO、超高IO。 说明：1、选择云硬盘时，具体价格以公有云的云硬盘价格为准； 2、选择转属分布式存储时，需提前已购买了专属云（存储独享型），在“可用存储”右侧的“存储池”列表中进行选择。 3、根据实际需要选择存储Kafka数据的总磁盘大小。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 • 基准带宽为100MB/s时，存储空间取值范围：600GB ~ 90000GB。 • 基准带宽为300MB/s时，存储空间取值范围：1200GB ~ 90000GB。 • 基准带宽为600MB/s时，存储空间取值范围：2400GB ~ 90000GB。 • 基准带宽为1200MB/s时，存储空间取值范围：4800GB ~ 90000GB 图 订购页界面 图 选择云硬盘时存储类别 图 选择专属分布式存储时，需要提前购买专属存储，并在存储池列表中选择 8）选择私有云、安全组； 虚拟私有云可以为您的Kafka专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 虚拟私有云和子网在Kafka专享版实例创建完成后，不支持修改。 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 9）设置Kafka Manager的用户名、密码； Kafka Manager是开源的kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 10）选择订购时长； 11）点击“立即购买”之前，还可进入“更多配置”也进行高级配置。 1、SASLSSL开关，开启后则对数据进行加密传输，但会对性能造成下降； 客户端连接Kafka专享版实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 创建实例后，Kafka SASLSSL开关不支持修改，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您需要设置连接Kafka专享版实例的用户名和密码。 2、自动创建Topic，开关开启后，Topic将根据配置API接口自动创建。 选择开启“Kafka自动创建Topic”，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 12）点击“立即购买”，进入支付前规格确认界面。显示详细kafka 实例信息，价格。 13）确认实例信息无误且阅读并同意服务协议后，点击“去支付”进入购买支付环节，完成付款后则开启Kafka创建。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 • 当实例的“状态”变为“运行中”时，说明实例创建成功。 • 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明： 创建失败的实例，不会占用其他资源。

介绍分布式消息服务Kafka与天翼云其他服务关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为分布式消息服务Kafka提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 分布式消息服务Kafka订购后，默认按照用户选择的实例规格开通弹性云主机，云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务Kafka持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 分布式消息服务Kafka订购后，默认按照用户选择的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务Kafka提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP（Elastic IP，EIP） 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式消息服务Kafka动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式消息服务Kafka实例的需求，用户可开通弹性IP后，在Kafka实例开通页面进行绑定。更多信息请参见弹性IP。

前提条件： 1、提前开通专属云（计算独享型），并存留足够未分配的计算资源； 2、提前开通VPC、安全组等网络侧资源； 操作步骤： 步骤一： 登录天翼云账号，切换至专属云（计算独享型）节点； 如已购买了专属云（计算独享型），在控制台的右上角节点区域，可见有独立专属云“dec”标识的节点，选择用户需要进行Kafka购买的专属云节点进入。 图 带专属云“dec”标识的节点如下： 步骤二： 进入专属云节点后，在控制台中的产品列表中选择“分布式消息服务”，进入到服务控制台，在左侧菜单栏选择“Kafka专享版”，进入Kafka专享版实例列表页面。 图 专享版Kafka订购入口 步骤三： 点击“购买Kafka实例”，进入订购页面，按提示进行相关规格选择与配置。 1）计费方式为“包年包月”； 2）可用区：客户可自行根据资源池多AZ支持情况选择可用区进行创建。 说明：专享版Kafka的实例为集群模式，支持选择1个或者3个及以上可用区。不支持选择2个可用区，选择时需要注意；该可用区选择后不支持更换。 3）实例名称及企业项目：按命名规范自定义，也可以默认系统分配的名称； 4）Kafka版本：当前支持2种版本选择，2.3.0和1.1.0，推荐时间2.3.0版本； 5）CPU架构：当前仅支持“x86计算”，保持默认值即可； 图 购买Kafka订购页 6）选择具体的队列规格类型，在规格的描述与说明中会有该队列的底层资源类型、代理数量、分区上限、消费组数量，供客户与业务系统需求匹配规格。 说明：当前订购规格后，暂不支持规格变更，请在订购时做好业务整体需求评估。 7）选择存储空间：此处有2种存储可以选择，分别是公有云的云硬盘、专属分布式存储。存储的类型均支持高IO、超高IO。 说明：1、选择云硬盘时，具体价格以公有云的云硬盘价格为准； 2、选择转属分布式存储时，需提前已购买了专属云（存储独享型），在“可用存储”右侧的“存储池”列表中进行选择。 3、根据实际需要选择存储Kafka数据的总磁盘大小。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 • 基准带宽为100MB/s时，存储空间取值范围：600GB ~ 90000GB。 • 基准带宽为300MB/s时，存储空间取值范围：1200GB ~ 90000GB。 • 基准带宽为600MB/s时，存储空间取值范围：2400GB ~ 90000GB。 • 基准带宽为1200MB/s时，存储空间取值范围：4800GB ~ 90000GB 图 订购页界面 图 选择云硬盘时存储类别 图 选择专属分布式存储时，需要提前购买专属存储，并在存储池列表中选择 8）选择私有云、安全组； 虚拟私有云可以为您的Kafka专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 虚拟私有云和子网在Kafka专享版实例创建完成后，不支持修改。 安全组是一组对弹性云服务器的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。 可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 9）设置Kafka Manager的用户名、密码； Kafka Manager是开源的kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 10）选择订购时长； 11）点击“立即购买”之前，还可进入“更多配置”也进行高级配置。 1、SASLSSL开关，开启后则对数据进行加密传输，但会对性能造成下降； 客户端连接Kafka专享版实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 创建实例后，Kafka SASLSSL开关不支持修改，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您需要设置连接Kafka专享版实例的用户名和密码。 2、自动创建Topic，开关开启后，Topic将根据配置API接口自动创建。 选择开启“Kafka自动创建Topic”，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。 12）点击“立即购买”，进入支付前规格确认界面。显示详细kafka 实例信息，价格。 13）确认实例信息无误且阅读并同意服务协议后，点击“去支付”进入购买支付环节，完成付款后则开启Kafka创建。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明： 创建失败的实例，不会占用其他资源。

分布式消息服务Kafka提供全托管、免运维的迁移上云服务，用于自建实例或跨云云实例与分布式消息服务Kafka实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。 背景信息 迁移上云可以把源云分布式消息服务Kafka集群的元数据（Topic和Group配置信息）、消息数据和点位信息同步到目标集群，迁移完成后目标集群的元数据与原集群的元数据保持一致，并且支持持续更新和完成后自动停止任务。 使用限制 1. 此功能不收费，会占用当前实例的服务器资源，请结合业务流量和服务器资源占用情况，在合理的情况下进行迁移。 2. 单机版不支持迁移。 计费说明 分布式消息服务Kafka的迁移上云组件处于公测阶段，不会在分布式消息服务Kafka侧产生费用。同时，天翼云不承诺迁移的SLA，使用迁移上云所依赖的其他产品的SLA和费用说明请以对应产品为准。 环境要求 如果您需要通过迁移上云功能将公网的自建实例的数据同步到分布式消息服务Kafka或者跨地域将某个VPC内的分布式消息服务Kafka的数据同步到另一个VPC的分布式消息服务Kafka，您需要为该实例绑定弹性IP开启公网访问，然后在公网上进行数据同步。 如果您需要将某个VPC内的数据通过迁移上云功能同步到另一个VPC的分布式消息服务Kafka，需要手动打通VPC。具体步骤，请参见：使用VPCEP实现跨VPC访问Kafka

分布式消息服务Kafka版完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 专享实例只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明：Kafka专享实例兼容开源社区Kafka 1.1.0和2.3.0版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka专享实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka专享实例支持跨AZ部署，节点部署在不同的AZ，进一步保障服务高可用。 无忧运维 公有云提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka专享实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka专享实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数。

云服务名称 作用范围 系统策略名称 系统策略描述 分布式消息服务Kafka 全局 KAFKA viewer 只读用户 分布式消息服务Kafka 全局 KAFKA user 管理员 分布式消息服务Kafka 全局 KAFKA admin 超级管理员 分布式消息服务RabbitMQ 全局 AMQP viewer 只读用户 分布式消息服务RabbitMQ 资源池 AMQP user 管理员 分布式消息服务RabbitMQ 全局 AMQP admin 超级管理员 分布式消息服务RabbitMQ 全局 RabbitMQ4.0只读管理员 4.0只读管理员 分布式消息服务RabbitMQ 全局 RabbitMQ4.0超级管理员 4.0超级管理员 分布式消息服务RabbitMQ 全局 RabbitMQ4.0普通管理员 4.0普通管理员 分布式消息服务RocketMQ 全局 MQ2 viewer 只读用户 容器云服务引擎CCSE 全局 MQ2 user 管理员 容器云服务引擎CCSE 全局 MQ2 admin 超级管理员 容器云服务引擎CCSE 全局 RocketMQMQ2 viewer 只读访问分布式消息服务RocketMQMQ2的权限 容器云服务引擎CCSE 全局 RocketMQMQ2 admin 分布式消息服务RocketMQMQ2管理权限 容器云服务引擎CCSE 全局 CCSE admin CCSE超级管理员权限 容器云服务引擎CCSE 全局 CCSE user CCSE管理员权限 容器云服务引擎CCSE 全局 CCSE viewer CCSE只读用户权限 微服务应用平台MSAP 全局 MSAP管理员 管理员策略 微服务应用平台MSAP 全局 MSAP普通用户 MSAP普通用户策略

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

在开通了专属云（计算独享型）基础上，再购买专属云Kafka，对产品各服务规格收取服务费。具体价格如下： 专属云Kafka中，队列实例各规格价格： 规格 标准资费(元/月) 100 MB/s 650 300 MB/s 1050 600 MB/s 2002.5 1200 MB/s 3635 对于专属云Kafka的存储部分，有2种可选。 1）选择公有云中云硬盘来承载存储，则此部分存储价格按公有云收费标准收取； 2）购买专属云（存储独享型）后，以专属存储承载Kafka存储，则收费服务费，价格如下： 专属存储部分服务费 存储类型 标准资费（元/GB/月） 高IO 0.3 超高IO 0.75

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

本文主要介绍产品优势。 分布式消息服务Kafka完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 您只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明 Kafka实例兼容开源社区Kafka 1.1.0、2.3.0和2.7版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL（Simple Authentication and Security Layer）认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka实例支持跨AZ部署，代理部署在不同的AZ，进一步保障服务高可用。不同AZ之间基于Kafka ISR（insync replica）进行数据同步，Topic需要选择数据多副本并且将不同副本分布到不同的ISR上，在ISR正常同步状态下，故障RPO（Recovery Point Objective）趋近于0。 无忧运维 云服务平台提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数、副本数。

本文主要介绍日志收集系统Flume接入Kafka。 最佳实践概述 场景描述 使用Flume+Kafka来完成实时流式日志处理，后面再连接上Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。如果Flume直接对接实时计算框架，当数据采集速度大于数据处理速度，很容易发生数据堆积或者数据丢失，而kafka可以当做一个消息缓存队列，可以把它理解为一个数据库，可以存放一段时间的数据。 因此数据从数据源（ HTTP、Log 文件、JMS、监听端口数据等）到flume再到Kafka进行消息缓存，数据一方面可以同步到HDFS做离线计算，另一方面可以做实时计算，可实现数据多分发。 技术架构图 暂无。 方案优势 把数据存储到 HDFS 或者 HBase 等下游存储模块或者计算模块时需要考虑各种复杂的场景，例如并发写入的量以及系统承载压力、网络延迟等问题。Flume 作为灵活的分布式系统具有多种接口，同时提供可定制化的管道。在生产处理环节中，当生产与处理速度不一致时，Kafka 可以充当缓存角色。Kafka 拥有 partition 结构以及采用 append 追加数据，使 Kafka 具有优秀的吞吐能力；同时其拥有 replication 结构，使 Kafka 具有很高的容错性。所以将 Flume 和 Kafka 结合起来，可以满足生产环境中绝大多数要求。 前提条件 需已购买Kafka实例、创建Topic，并且已成功消费消息。 确认准备 Apache Flume环境（1.6.0以上版本兼容 Kafka）。 确认 Kafka 的 Source、 Sink 组件已经在 Flume 中。 资源规划 本实践方案内容仅涉及Kafka专享版实例。 分布式消息服务 Figure 1 分布式消息服务 资源类型 配置项 配置明细 说明 :::: 企业中间件 DMS Kafka专享实例 需已购买kafka专享实例，创建好Topic，并成功消费消息。 方案正文

本文主要介绍如何转储日志数据至分布式消息服务Kafka。 云日志服务采集到数据后，支持将数据转储至对天翼云分布式消息服务kafka，用于实时流计算等场景。 前提条件 已创建日志项目和日志单元 已开通天翼云分布式消息服务kafka 已采集到日志 创建日志转储任务 1. 登录云日志服务控制台。 2. 左侧点击【日志转储】菜单，进入日志转储页面。 3. 在页面上方选择“kafka”。 4. 点击【创建转储任务】。 5. 在创建转储任务功能面板，配置如下参数，然后单击确定，完成转储任务创建。 参数 说明 日志项目名称 选择源日志所在的日志项目。 日志单元名称 选择源日志所在的日志单元。 转储任务名称 转储任务的名称。 kafka实例 选择转出目标的kafka实例。 Topic 选择当前kafka的topic。（当前仅支持转储至公有 Topic） 转储时间范围 1、某时间开始：指定转储任务的开始时间，从该时间点开始进行数据转储，直到您手动停止转储任务。(开始时间不得早于当前时间，早于当前时间则以当前时间为准) 2、特定时间范围：指定转储任务的起止时间，转储任务将执行到您指定的结束时间后自动停止。(开始时间不得早于当前时间，早于当前时间则以当前时间为准)

本文主要介绍 产品定义。 Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka，资源按需申请，即买即用，您将有更多精力专注于业务快速开发，不用考虑部署和运维。 关于Kafka的帮助手册阅读指引 受限于篇幅，我们提供的Kafka帮助手册重点描述产品相关的内容，以及与开源社区版Kafka的差异部分，例如Kafka的产品规格、控制台操作、客户端对接等。 如果您需要了解Kafka入门知识或消息生产、消费等方面的技术细节，请查阅Kafka官网资料。

Hudi Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 资源池 ModelArts提供的大规模计算集群，可应用于模型开发、训练和部署。支持公共资源池和专属资源池两种，分别为共享资源池和独享资源池。ModelArts默认提供公共资源池。专属资源池需单独购买，专属使用，不与其他用户共享。 Hue Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Kafka Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Spark Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速，统一的大数据应用，对数据进行离线处理，流式处理，交互式分析等等。

本文介绍分布式消息服务Kafka入门指引的环境准备内容。 概述 在创建天翼云分布式消息服务Kafka实例之前，您需要做一些准备工作。 首先，您需要设置一个虚拟私有云（VPC），这是一个隔离的网络环境，用于托管Kafka实例。 接下来，您需要创建一个子网，它是VPC内部的一个子网络，用于划分不同的部分和区域。 最后，您需要配置一个安全组，用于控制入站和出站的流量规则，以保证Kafka实例的安全性。 每个分布式消息服务Kafka实例都会被部署在特定的VPC中，并与特定的子网和安全组相关联。这种方式可以让您自主配置和管理Kafka实例的网络环境，并提供安全保护策略。如果您已经有了现成的VPC、子网和安全组，可以重复使用它们，无需重复创建。这样可以节省时间和资源，并确保一致性和可靠性。 VPC和子网 VPC和子网可重复使用，您也可以使用不同的VPC和子网来配置Kafka实例，您可根据实际需要进行配置。在创建VPC和子网时应注意如下要求： ● VPC与使用的天翼云分布式消息服务Kafka服务应在相同的区域。 ● 如无特殊需求，创建VPC和子网的配置参数使用默认配置即可。 创建VPC和子网的操作请参考虚拟私有云创建VPC、子网搭建私有网络。 若需要在已有VPC上创建和使用新的子网，请参考虚拟私有云子网管理创建子网。

介绍分布式消息服务Kafka认证与访问控制方式 分布式消息服务Kafka支持CTIAM身份认证和多种访问控制，多维度保障您数据的安全。 身份认证 CTIAM 统一身份认证（Identity and Access Management， 简称：CTIAM）是提供用户进行权限管理的基础服务，可以帮助您安全的控制天翼云服务和资源的访问及操作权限，包括：用户身份认证、权限分配、访问控制等功能。具体介绍请参考统一身份认证产品介绍。 您可以创建IAM用户，并为其设置关联分布式消息服务Kafka实例权限，该用户就可以通过用户名和密码访问授权的实例资源。具体请参见统一身份认证快速入门创建IAM用户。 访问控制 权限控制 购买分布式消息服务Kafka实例之后，您可以使用CTIAM为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，通过CTIAM进行精细的权限管理。 VPC和子网 虚拟私有云（Virtual Private Cloud，VPC）为分布式消息服务Kafka构建隔离、私密的虚拟网络环境，提升数据库的安全性，并简化用户的网络部署。您可以完全掌控自己的专有网络，VPC丰富的功能帮助您灵活管理云上网络，包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。通过子网与其他网络隔离，独享网络资源，提高网络安全性。具体内容请参见虚拟私有云用户指南创建虚拟私有云和子网 。 安全组 安全组是一个逻辑上的分组，可以为同一个虚拟私有云内具有相同安全保护需求并相互信任的Kafka实例提供相同的访问策略。您可以通过为数据库实例设置安全组，开通需访问Kafka实例的IP地址和端口，来保证保障其运行环境的安全性和稳定性。具体请参见配置安全组

Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。使用分布式消息服务Kafka，资源按需申请，按需配置Topic的分区与副本数量，即买即用，您将有更多精力专注于业务快速开发，不用考虑部署和运维。

本文主要介绍 与开源Kafka的差异。 分布式消息服务Kafka在兼容开源Kafka基础上，对版本特性做了一定程度的定制和增强，所以，除了拥有开源Kafka的优点，分布式消息服务Kafka提供了更多可靠、实用的特性。 表分布式消息服务Kafka与开源Kafka的差异说明 对比类 对比项 分布式消息服务Kafka 开源Kafka :::: 简单易用 立等可用 即开即用，可视化操作，自助创建，自动化部署，分钟级创建实例，立即使用，实时查看和管理消息实例。 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 易出错。 简单API 提供简单的实例管理RESTFul API，使用门槛低。 无 成本低廉 按需使用 提供多种规格，按需使用，支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要费用，而且即使没有使用，所占用资源本身依旧要收费。 成本低廉 完全托管 租户不需要单独采购硬件资源，直接使用就绪的服务，无需额外成本。 需要购买硬件资源，自行搭建整个消息服务，使用和维护成本高。 实践验证 成熟度高 经受电商网站大规模访问考验，并且已经在云服务平台许多产品中使用，广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本，修复开源bug，持续上线新功能，进行版本升级。 使用开源软件成熟度低，无法保证关键业务，商业案例少；自研周期长，并需要长时间进行验证。 实践验证 能力强大 100%兼容开源，支持一键扩容，深度优化开源代码提升性能和可靠性，支持消息查询等高级特性。 功能不完善，需额外投入进行开发。 稳定可靠 稳定高可用 支持跨AZ部署，提升可靠性。故障自动发现并上报告警，保证用户关键业务的可靠运行。 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 稳定可靠 无忧运维 后台运维对租户完全透明，整个服务运行具有完备的监控和告警功能。有异常可以及时通知相关人员。避免724小时人工值守。 需要自行开发完善运维功能，尤其是告警及通知功能，否则只能人工值守。 稳定可靠 安全保证 VPC隔离，支持SSL通道加密。 需要自行进行安全加固。

实例的地域无法变更？ 实例购买部署之后，其地域与物理资源紧密结合，无法变更。如需变更实例的地域，请释放实例，并重新购买。 如何快速测试分布式消息服务Kafka服务端是否正常？ 前提条件 已创建并部署分布式消息服务Kafka实例，且实例处于服务中状态。 操作流程 快速测试分布式消息服务Kafka服务端的流程如下： （1）新建Topic （2）在主题管理页面，生产拨测，体验发送消息 （3）在主题管理页面，查看分区状态 （4）在消息查询页面，按时间或位点查询消息 是否支持延迟消息？ 和开源Apache Kafka一样，分布式消息服务Kafka同样不支持延迟消息。 是否支持压缩消息？ 分布式消息服务Kafka服务端支持收发压缩消息。 如需使用压缩消息，需要在分布式消息服务Kafka的客户端进行设置。在分布式消息服务Kafka客户端进行消息压缩的说明如下： 压缩格式：支持Snappy、LZ4、GZIP等压缩格式。其中，GZIP对CPU的消耗较高，因此不建议选择GZIP，建议选择Snappy或LZ4。 适用场景：一般来说，CPU的价格比流量和存储要高。对于日志类等压缩比较高的场景，可以考虑使用压缩。其余场景，不建议使用压缩。 CPU消耗：压缩会消耗额外的CPU，平均在20%以上。具体额外CPU消耗，需要根据实际场景进行测试。 如何释放实例？ 若不再需要使用实例，可以在控制台上退订实例。 为什么限制Topic总数（分区总数）？ Topic总数（分区总数）太多会使集群性能和稳定性能急剧下降。 分布式消息服务Kafka的存储和协调机制是以分区为粒度的，分区数太多，会导致存储碎片化严重，集群性能和稳定性都会急剧下降。

分布式消息服务Kafka提供全托管、免运维的云实例间迁移服务，用于同云实例与分布式消息服务Kafka实例之间的数据同步。本文介绍云实例间迁移的源实例类型、使用限制以及使用流程。 背景信息 云实例间迁移可以把天翼云分布式消息服务Kafka集群的元数据（Topic、Group和SASL User信息）、消息数据和点位信息同步到目标集群，迁移完成后目标集群的元数据与原集群的元数据保持一致，并且支持持续更新和完成后自动停止任务。 使用限制 1.此功能不收费，会占用当前实例的服务器资源，请结合业务流量和服务器资源占用情况，在合理的情况下进行迁移 2.单机版不支持迁移 计费说明 分布式消息服务Kafka的云实例间迁移组件处于公测阶段，不会在分布式消息服务Kafka侧产生费用。同时，天翼云不承诺迁移的SLA。 创建迁移任务 1.登录分布式消息服务Kafka控制台。 2.在左侧导航栏，单击集群迁移 ，然后单击云实例间迁移。 3.在云实例间迁移页签，单击创建任务。 4.在创建 云实例间迁移任务面板，填写任务名称，选择目标实例，然后单击下一步。 5.填写接入点，选择源实例，任务数等，具体请看参数说明。 参数说明： 参数 说明 示例 源实例 下拉框选择源实例 192.168.XX.XX:9092 任务数 选择同步数据的任务数。取值说明如下：1、6、12 1 迁移完成后自动停止任务 迁移任务会自动检测是否完成迁移 是：在检测到消息数据完成同步后停止任务 否：不停止任务，您可以手动停止任务 否 Topic 要迁移的topic信息，选填，多个用半角逗号分开，不填则迁移所有topic topic1,topic2 Groups 要迁移的group信息，选填，多个用半角逗号分开，不填则迁移所有group group1,group2 副本数是否和源集群保持一致 迁移到目标集群的topic的副本数是否和源集群保持一致，默认否 是：副本数是否和源集群保持一致，如原集群topic副本数为1，迁移后的topic副本数也为1 否：迁移后topic的副本数为3 否 6.填写完参数后，单击创建 ，完成任务的创建，在任务列表能看到一条任务，状态为等待迁移，后台调度到此任务时，会将任务状态改为迁移中。 7.其他操作 查看任务详情：单击详情。在任务详情页面，查看云实例间迁移任务的基础信息、源服务、目标服务和运行环境配置信息。 查看同步进度：单击同步进度，选择查看的Topic，可以看到对应Topic的分区id，最早点位，最新点位和当前点位信息。 启停任务：单击停止，然后在提示对话框，单击确认可停止任务。

本文介绍如何在分布式消息服务Kafka控制台创建元数据导入任务，将元数据迁移至分布式消息服务Kafka现有实例。 前提条件 下载JDK8 购买并部署分布式消息服务Kafka实例 背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出成一份JSON文件，然后被导入到另一个Kafka集群，实现自建Kafka集群元数据迁移上云。 元数据迁移是指将自建Kafka集群的元数据迁移到分布式消息服务Kafka实例。您可以将自建Kafka集群元数据导出，然后导入云分布式消息服务Kafka实例，分布式消息服务Kafka会解析成功导入的元数据，并支持在创建任务时可视化配置Topic和Group，配置完成后在目标实例中创建对应的Topic和Group，实现自建Kafka集群元数据迁移上云。 步骤一：导出元数据 使用元数据导出工具导出自建Kafka集群的元数据文件。 1.下载元数据导出工具，登陆分布式消息服务Kafka控制台>集群迁移>元数据迁移>创建任务>下载工具 下载对应jar包 2.将下载好的工具上传至能连接到Kafka集群的机器上 3.运行以下命令，导出元数据。运行命令后，您将在kafkamigration.jar 同级目录下看到 名为 metadata.json 的元数据文件。 java cp kafkamigration.jar com.ctg.migration.kafka.MigrationMetadata sourceKafkaConnect (resource topic,group username password mechanism configKey ) 参数 说明 示例 sourceKafkaConnect 自建Kafka集群的IP地址和端口号。 192.168.XX.XX:9092 resource 要导出的资源，可以是topic、 group或topic,group 默认topic,group topic,group username 连接kafka用户名，如果sourceKafkaConnect为免密接入点则无需填写 admin user password 连接kafka密码，如果sourceKafkaConnect为免密接入点则无需填写 real password mechanism 对应的协议，支持PLAIN、SCRAMSHA256、SCRAMSHA512，如果sourceKafkaConnect为免密接入点则无需填写 PLAIN configKey 源集群topic配置，支持多个key，多个用半角逗号分开，all：表示所有配置(不推荐)，具体支持哪些配置可以通过(bin/kafkaconfigs.sh help)命令查看 默认值为：retention.ms retention.ms,max.message.bytes

本文介绍如何应用事件总线EventBridge的事件流功能实现分布式消息服务Kafka的消息路由。 前提条件 开通事件总线EventBridge并授权。 开通分布式消息服务Kafka并创建最少两个主题。 背景信息 事件流作为更轻量、实时端到端的流式事件通道，提供轻量级的流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步。源端分布式消息服务Kafka生产的消息可以通过事件流这个通道被路由到目标端的分布式消息服务Kafka。 步骤一：创建事件流 1. 登录事件总线EventBridge控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在创建事件流面板，设置任务名称和描述，配置以下参数，然后单击保存。 a.在Source（源）配置向导，选择数据提供方为分布式消息服务Kafka ，设置以下参数，然后单击下一步。 参数 说明 示例 Kafka实例 选择Kafka实例。 instancexxx Kafka Topic 选择Kafka topic。 topicxxx Group 选择消费组。 快速创建 消费位点 选择消费位点。 最新位点 b.在Filtering（过滤）配置向导，设置事件过滤规则，单击下一步。 c.在Sink（目标）配置向导，选择服务类型为分布式消息服务Kafka，配置参数，单击保存，如图1所示。 参数 说明 示例 Kafka实例 选择Kafka实例。 instancexxx Kafka Topic 选择Kafka topic。 topicxxx 消息体（value） 提取事件中的数据。 $.data.value 消息键值（key） 提前事件中的key到目标。 $.data.key 图1 创建事件流时目标类型选择分布式消息服务Kafka 5. 创建事件流后，会有30秒~60秒的延迟时间，您可以在事件流页面的状态栏查看启动进度。

介绍分布式消息服务Kafka监控安全风险 分布式消息服务Kafka提供资源和操作监控能力，可以对每个消息实例实时监控、告警和通知操作。用户可以实时掌握实例、主题、消费组的生产消费情况，包括流量、堆积量、重平衡次数等关键信息。 分布式消息服务Kafka支持的监控指标等内容，参考监控信息。

介绍分布式消息服务Kafka业务迁移内容。 应用场景 Kafka的业务迁移可以应用在多个领域和场景中，包括但不限于以下几个方面： 数据集成和数据仓库：Kafka可以用作数据集成的中间件，将分散的数据源集中到一个统一的平台上。通过使用Kafka的生产者和消费者，可以实现数据的可靠传输和消费，支持实时的数据集成和数据仓库的建设。 实时数据处理和流处理：Kafka提供了流处理功能，可以对实时数据流进行处理和分析。通过使用Kafka Streams、Apache Flink等流处理框架，可以对数据流进行实时的计算、转换、聚合等操作，实现实时数据处理和实时决策。 异步通信和消息队列：Kafka作为消息队列，可以用于异步通信和解耦系统之间的依赖关系。通过将同步的请求和响应转换为异步的消息，可以提高系统的可伸缩性和响应性能，实现松耦合的系统架构。 日志收集和分析：Kafka可以用作日志收集和分析的中间件，用于接收和传递系统和应用程序的日志数据。通过将日志数据发送到Kafka中，可以实现日志的集中存储和分发。同时，可以使用Kafka的消费者来实时消费和分析日志数据，帮助进行故障排查、性能监控和安全审计等工作。 数据同步和复制：在多个数据中心或分布式系统之间进行数据同步和复制时，可以使用Kafka作为数据的中间传输通道。通过使用Kafka的生产者和消费者，可以实现数据的可靠传输和复制，保证数据的一致性和可用性。 这些只是Kafka业务迁移的一部分应用场景，实际应用中还有很多其他的需求和场景。Kafka的高性能、可靠性和可扩展性使其成为业务迁移的理想选择。

本节介绍分布式消息服务Kafka实例常见问题 为什么可用区不能选择2个？ Kafka 通常选择三个可用区而不是两个的原因在于数据的容错性和高可用性。通过将副本分布在三个可用区中，Kafka 能够实现更高级别的容错性和可用性，即使一个可用区发生故障，系统仍然可以继续正常运行。这种三个可用区的配置是为了提供更强大的冗余和容错能力，确保 Kafka 集群在面对故障时仍能保持数据的可靠性和可用性。 创建实例时为什么无法查看子网和安全组等信息？ 创建实例时，如果无法查看虚拟私有云、子网、安全组、弹性IP，可能原因是该用户还没创建相关网络实例，需要到对应天翼云网络产品购买相应的网络产品实例。 如何选择实例硬盘大小？ 磁盘大小：流量均值×存储时长×3（备份），建议在迁移上云过程中优化Topic以降低成本。 Kafka实例的超高IO和高IO如何选择？ 选择Kafka磁盘类型主要取决于应用的需求和预算。通常，对于Kafka来说，高IO磁盘是更常见的选择，因为它提供了更好的性能和吞吐量。更多信息请参考计费及购买类问题Kafka磁盘选择超高IO还是高IO？ Kafka服务端支持版本是多少？ 分布式消息服务Kafka支持2.132.8.2版本和2.133.6.2版本服务端。 Kafka实例是否支持修改访问端口？ 分布式消息服务Kafka支持在实例创建时指定访问端口。

本章节将为您介绍分布式消息服务Kafka入门的基本流程，主要包括环境准备、购买实例、创建Topic以及编译运行Demo Java工程，帮助您快速上手Kafka。 操作流程 操作流程如下： 1. 环境准备 创建Kafka实例先要准备好虚拟私有云、子网和安全组，可选弹性公网IP。 2. 创建实例 在订购分布式消息Kafka填写和确认实例名称、计费模式等信息，确认费用后点击下一步，等待开通流程结果通知成功后完成创建实例。 3. 创建Topic 开通实例后，在控制台相关页面按照指引创建主题，用于发送消息。点击“生产消息”来测试Topic是否正常。 4. 编译运行Demo Java工程 以上工作完成后，在客户端应用编译工程进行生产消费，包括引入依赖，生产消息和消费消息。

本文介绍如何在事件总线EventBridge管理控制台添加分布式消息服务Kafka作为事件流中的事件提供方。 前提条件 事件总线EventBridge 开通事件总线EventBridge并委托授权。 分布式消息服务Kafka 开通分布式消息服务Kafka。 操作步骤 1. 登录事件总线管理控制台。 2. 在左侧导航栏，单击事件流。 3. 在事件流页面，单击创建事件流。 4. 在事件源（Source） 配置面板，事件提供方 选择分布式消息服务Kafka，选择或填入主题等配置然后单击确认，如图1所示。 图1 创建事件流时选择事件提供方为分布式消息服务Kafka 参数说明 参数 说明 示例 实例名称 选择前提条件中已创建的分布式消息服务Kafka版实例。 KAFKAxxx Topic 选择当前实例中的Topic。 topic1 Group 快速创建：自动创建以GIDEVENTBRIDGExxx命名的Group ID。 使用已有：选择当前实例中已创建的Group，请不要与已有业务的Group混用，以免影响已有的消息收发。 group1 消费位点 开始消费的位置。 最新位点：从最新位点开始消费。 最早位点：从最初位点开始消费。 最新位点 事件示例 plaintext { "id": "c40c8fe289994177b5aed37466bae2e5", "source": "ctyun:kafka", "specversion": "1.0", "subject": "ctyun:kafka:b342b77ef26b11ecbxxxxxxxc110002:0b3a633836ef4xxxxxx33ab4da:topic:streamsource", "time": "20250206T03:44:55.026774053Z", "datacontenttype": "application/json", "type": "kafka:Topic:SendMessage", "ctyunregion": "b342b77ef26b11ecbxxxxxxxc110002", "ctyunaccountid": "0b3a633836ef4xxxxxx33ab4da", "data": { "offset": 1, "topic": "streamsource", "value": "Hello,Kafka!", "key": "test" } } data字段包含的参数解释如下表所示： 参数 类型 示例值 描述 topic String source1 Topic名称。 offset Integer 1 消费位点。 key String test 消息Key值。 value Object Hello,Kafka! 消息体，默认以JSON格式编码。

本节主要介绍分布式消息服务Kafka的产品简介 分布式消息服务Kafka 是一个分布式、高吞吐量、高可用的消息队列服务，针对开源的 Kafka 提供全托管服务，解决开源产品长期以来的痛点，用户只需专注于业务开发，无需部署运维，低成本、更弹性、更可靠，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。 关于Kafka的帮助手册阅读指引 考虑到篇幅的限制，我们提供的Kafka用户手册主要描述了产品相关的信息，以及与开源社区版Kafka的差异，如天翼云Kafka的产品规格、控制台操作、API接口调用，以及客户端对接等方面。 如果您需要了解Kafka的基础入门知识或者消息的生产和消费等技术细节，请查阅Kafka官网资料。 产品架构 Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。 Topic：主题 一类消息的集合。 Partition：分区，topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。 Segment：partition物理上由多个segment组成。 offset：每个partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息。 Producer：消息和数据生成者，一般为应用调用API进行消息生产，并向Kafka的Topic发布消息。 Consumer：消息订阅者，也成为消息消费者，负责向 Kafka Broker 读取消息并进行消费。 Consumer Group：一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致，Consumer Group 和 Topic 的关系是 N：N，同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以被多个 Consumer Group 订阅。 更多信息请参见名词解释。

本文主要介绍云日志服务的投递概述。 天翼云云日志服务可以将日志单元中的数据投递到天翼云对象存储ZOS与分布式消息服务kafka，以满足归档或者计算的需求。 转储至对象存储ZOS 您将云主机和云服务的日志数据上报至云日志服务后，可对日志存储时长进行设置，默认存储时间为365天，超出存储时间后，日志数据将会被自动清理。若您需要长期存储日志数据进行日志持久化，可使用日志转储功能，将日志数据转储至对象存储中进行长期保存。具体操作请查看转储至对象存储ZOS。 说明 日志转储的实时性较弱，通常为5分钟~30分钟。数据延迟依赖于存储系统。 关于对象存储更多内容，请参考对象存储产品文档。 转储至分布式消息服务kafka 云日志服务采集到数据后，支持将数据转储至对天翼云分布式消息服务kafka，用于实时流计算等场景。具体操作请查看转储至分布式消息服务kafka。

结果验证 1. 使用事件总线事件发布功能，发送一个自定义事件。 2. 您可以在分布式消息服务Kafka管理控制台确认是否接收到事件，如图2所示。 1. 登录分布式消息服务Kafka管理控制台，然后在左侧导航栏选择实例列表。 2. 在实例列表页面单击目标实例名称。 3. 在消息查询页面，进行对应消息查询即可查看消息内容。 图2 在分布式消息服务Kafka管理控制台消息查询界面查询消息