产品服务等级协议请查看： 分布式消息服务Kafka服务等级协议

本节介绍分布式消息服务Kafka集群模式 是的，Kafka实例通常是以集群模式创建的。Kafka集群由多个Kafka节点组成，每个节点负责存储和处理消息。集群模式可以提供高可用性、容错性和扩展性。 Kafka集群中的每个节点都可以承担多个分区的领导者或副本角色，从而实现数据的冗余和故障恢复。通过复制机制，Kafka可以提供高可用性和容错性，即使在节点故障的情况下也能保证数据的可靠性和可用性。 注意 Kafka集群的规模和配置取决于应用的需求和可用的资源。可以根据实际情况来决定集群中节点的数量、分区的数量以及数据的复制策略，以满足性能、可用性和扩展性的要求。

本节主要介绍分布式消息服务Kafka产品的API中资源池ID列表。 分布式消息服务Kafka的资源池列表。 资源池 资源池ID(Region ID) 华东1 bb9fdb42056f11eda1610242ac110002 华北2 200000001852 西南1 200000002368 华南2 200000002530 上海36 200000001790 青岛20 200000001703 长沙42 200000002401 南昌5 200000002527 武汉41 200000001781 杭州7 200000003329 太原4 200000002689 郑州5 200000002586 西安7 200000001851 芜湖4 200000003327 呼和浩特3 200000003573 乌鲁木齐7 200000004098 庆阳2 200000003664 西南2贵州 200000002927

修改Kafka连接地址 1.在管理控制台左上角单击，选择“企业间件 > 分布式消息服务Kafka版”，进入分布式消息服务Kafka控制台页面。 2.单击Kafka集群名称，进入实例详情页面。 3.在“实例详情”页面的“高级配置”区域，单击“添加路由策略”，选择接入类型为跨VPC访问，填入advertised.listeners IP和Port端口，advertised.listeners IP为7和8中记录的节点IP，8为创建终端节点服务时填入的端口。修改完后，单击“保存”。其中dvertised.listeners IP中可填入域名，需客户端支持域名解析。 4.20240810前开通的实例，需要重启实例才能生效 图9 修改advertised.listeners IP 验证接口连通性 参考安全接入点接入，测试是否可以生产和消费消息。 测试接口连通性时，注意以下几点： 连接Kafka实例的地址为“advertiesd.listeners IP:port”，以图9为例，连接Kafka实例的地址为“10.254.0.74:9011,10.254.0.75:9011,10.254.0.88:9011”。 在Kafka实例安全组的入方向规则中放通对应端口，以及 XX.XX.XX.0/16网段的地址。 说明 XX.XX.XX.0/16是为VPC终端节点分配的网段，使用VPC终端节点需要放通此网段。

介绍Logstash对接Kafka具体内容。 应用场景 通过Logstash对接Kafka，可以实现以下功能： 1. 数据收集：Logstash可以从Kafka主题中消费数据，将数据从Kafka集群中获取到Logstash中进行处理和转发。这样可以方便地将分布式系统、应用程序、传感器数据等各种数据源的数据集中收集起来。 2. 数据处理和转换：Logstash提供了丰富的过滤器插件，可以对从Kafka中消费的数据进行各种处理和转换操作。例如，可以进行数据清洗、解析、分割、合并、字段映射等操作，以满足不同数据源和目标的数据格式要求。 3. 数据传输和转发：Logstash可以将处理后的数据发送到不同的目标位置，如Elasticsearch、MySQL、文件系统、消息队列等。通过配置适当的输出插件，可以将数据传输到目标系统，以便后续的数据分析、存储、可视化等操作。 4. 实时数据处理：Logstash与Kafka结合使用，可以实现实时的数据处理和传输。Kafka作为高吞吐量的消息队列，可以确保数据的高效传输和缓冲。而Logstash作为数据处理引擎，可以对从Kafka中消费的数据进行实时处理，满足实时数据分析和监控的需求。 5. 分布式部署和负载均衡：Logstash支持分布式部署，可以通过配置多个Logstash节点来实现高可用性和负载均衡。多个Logstash节点可以同时从Kafka主题中消费数据，并进行并行处理和转发，以提高整体系统的性能和吞吐量。 总之，通过Logstash对接Kafka，可以实现灵活、可扩展和高效的数据处理和传输。Logstash提供了丰富的插件和配置选项，可以根据实际需求进行定制化的数据处理流程。同时，Logstash还具有良好的可扩展性和可靠性，适用于各种规模和类型的数据处理场景。

本文主要介绍 支持的监控指标。 功能说明 本章节定义了分布式消息服务Kafka上报云监控服务的监控指标的命名空间，监控指标列表和维度定义，您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息，也可以通过分布式消息服务Kafka控制台提供的“监控”页面来检索Kafka实例产生的监控指标。 命名空间 SYS.DMS 实例监控指标 表 实例支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。单位：Count 0~1800 Kafka实例 1分钟 currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。单位：Count 0~1800 Kafka实例 1分钟 groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。单位：Count 0~1000000000 Kafka实例 1分钟 节点监控指标 表 节点支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） brokerdatasize 节点数据容量 该指标用于统计节点当前的消息数据大小。单位：Byte、KB、MB、GB、TB、PB 0~5000000000000 Kafka实例节点 1分钟 brokermessagesinrate 消息生产速率 该指标用于统计每秒生产的消息数量。单位：Count/s 0~500000 Kafka实例节点 1分钟 brokerbytesoutrate 消费流量 该指标用于统计每秒消费的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerbytesinrate 生产流量 该指标用于统计每秒生产的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesinrate 公网入流量 统计Broker节点每秒公网访问流入流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesoutrate 公网出流量 统计Broker节点每秒公网访问流出流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerfetchmean 消费请求平均处理时长 统计Broker节点处理消费请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokerproducemean 生产请求平均处理时长 统计Broker节点处理生产请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokercpucoreload CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。单位：% 0~20 Kafka实例节点 1分钟 brokerdiskusage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。单位：% 0~100% Kafka实例节点 1分钟 brokermemoryusage 内存使用率 该指标为Kafka节点虚拟机层面采集的内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerheapusage Kafka进程JVM堆内存使用率 该指标从Kafka节点Kafka进程JVM中采集的堆内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokeralive 节点存活状态 表示Kafka节点是否存活。 1：存活 0：离线 Kafka实例节点 1分钟 brokerconnections 连接数 统计Kafka节点当前所有TCP连接数量。单位：Count 0~65535 Kafka实例节点 1分钟 brokercpuusage CPU使用率 统计Kafka节点虚拟机的CPU使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerdiskreadawait 磁盘平均读操作耗时 该指标用于统计磁盘在测量周期内平均每个读IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokerdiskwriteawait 磁盘平均写操作耗时 该指标用于统计磁盘在测量周期内平均每个写IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokertotalbytesinrate 网络入流量 统计Broker节点每秒网络访问流入流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokertotalbytesoutrate 网络出流量 统计Broker节点每秒网络访问流出流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokerdiskreadrate 磁盘读流量 磁盘读操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟 brokerdiskwriterate 磁盘写流量 磁盘写操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟

介绍分布式消息服务Kafka的新建消费组功能操作介绍。 场景描述 Kafka新建消费组的场景如下： 多个应用程序需要独立消费同一个主题：如果有多个应用程序需要从同一个Kafka主题中独立消费消息，并且每个应用程序需要管理自己的消费进度和分区分配，那么可以为每个应用程序创建一个独立的消费组。 消费者需要实现消息的负载均衡：当有多个消费者需要消费同一个主题的消息时，可以将它们加入同一个消费组，Kafka会自动将主题的分区均匀地分配给消费组中的消费者，实现消息的负载均衡。 消费者需要实现消息的并行处理：如果需要将一个主题的消息并行地处理，可以创建多个消费者实例，并将它们加入同一个消费组。Kafka会将主题的分区分配给消费组中的消费者，每个消费者只消费自己被分配的分区，从而实现消息的并行处理。 消费者需要实现高可用性：为了提高消费者的可用性，可以创建一个消费组，并将多个消费者实例加入该组。当一个消费者实例发生故障时，Kafka会将该消费者的分区重新分配给其他健康的消费者，从而保证消息的连续消费。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）点击“创建消费组”后，输入消费组名称，点击创建。 说明 消费组业务应用接入使用时客户端也可自动创建。

Kafka触发器可以订阅天翼云提供的分布式消息队列Kafka实例，并根据消息触发关联的函数，借此能力，使得函数可以消费指定Topic的消息，执行自定义处理逻辑。 注意事项 Kafka触发器订阅的Kafka实例必须和函数计算的函数实例在相同地域。 前提条件 已创建函数。 已开通分布式消息Kafka实例（KAFKA引擎版），详情请参考创建分布式消息服务Kafka实例。 已创建Topic，创建GroupID（可选）。 操作步骤 1. 登录函数计算控制台，点击目标函数，进入函数详情。 2. 选择详情下顶部的配置选项卡。 3. 在配置选项卡 中，选择左边的触发器选项卡。 4. 点击创建触发器 ，在弹出的右抽屉中选择Kafka触发器，配置参数解释如下。 配置项 操作 示例 触发器类型 选择Kafka触发器。 Kafka触发器 名称 填写自定义的触发器名称。 kafkatrigger 版本或别名 默认值为LATEST，支持选择任意函数版本或函数别名。 LATEST Kafka 实例 选择已创建的Kafka实例。 Topic 选择已创建的Kafka实例的Topic。 Group ID 快速创建：推荐方案。自动创建以 GROUPFCTrigger{triggername}{uuid} 命名的 Group ID。 使用已有：选择Kafka实例已有的GroupID，请您注意不要与已有的业务混用GroupID，否则会影响已有的消息收发。 消费任务并发数 消费者的并发数量，有效取值范围为[1,20]，建议不超过Topic的分区数。该值同时影响投递到函数的并发数。 消费位点 选择消息的消费位点，即触发器从kafka消息队列开始拉取消息的位置。 最早位点 ：从最早位点开始消费。 最新位点：从最新位点开始消费。 最新位点 调用方式 选择函数调用方式。 同步调用 ：指触发器消费topic消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。但消费任务并发数大于1时，多个消费者有可能会并发消费消息并投递，并发的情况视Topic队列本身积存的消息而定。 异步调用：指触发器消费topic消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 同步调用 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用 推送配置 批量推送条数：批量推送的最大值，积压值达到后立刻推送，取值范围为 [1, 10000]。 批量推送间隔：批量推送的最大时间间隔，达到后立刻推送，单位秒，取值[0,15]。默认0无需等待，数据直接推送。 推送格式：函数收到的事件格式，详情请查阅触发器事件消息格式。 重试策略 消息推送函数失败后重试的策略，共两种： 指数退避：指数退避重试，重试5次，重试周期为2，4，8，16，32（秒）。 线性退避：线性退避重试，重试5次，重试周期为1，2，3，4，5（秒）。 容错策略 当重试次数耗尽后仍然失败时的处理方式： 允许容错：当异常发生并超过重试策略配置时直接丢弃。 禁止容错：当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为：允许容错时，可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时，消息会被投递到指定的消息队列里，当前只支持投递到kafka和rocketmq

介绍分布式消息服务Kafka计费模式互转的功能操作内容。 场景描述 Kafka的按需转包周期的场景描述如下： 在使用Kafka时，可能会遇到需要设置按需转包周期的场景，例如： 消息积压处理：当Kafka中的消息积压较多时，可能会导致消息的消费速度跟不K上消息的生产速度，进而影响系统的性能和稳定性。为了解决这个问题，可以设置按需转包周期，即将一定数量的消息打包成一个批次进行消费，以提高消费的效率和吞吐量。 业务流量波动：在某些业务场景下，业务流量可能会出现波动，即某个时间段内的消息产生速度较快，而另一个时间段内的消息产生速度较慢。为了更好地适应业务流量的波动，可以设置按需转包周期，以根据实际的消息产生情况进行灵活的批量消费。 系统资源优化：当Kafka的消费者资源有限时，可以通过设置按需转包周期来优化系统的资源利用。通过将一定数量的消息打包成一个批次进行消费，可以减少消费者的竞争和上下文切换，提高系统的并发处理能力。 消息处理延迟优化：在某些场景下，对消息的实时性要求较低，可以通过设置按需转包周期来优化消息的处理延迟。将一定数量的消息打包成一个批次进行消费，可以减少消息的处理次数，从而降低消息的处理延迟。 需要注意的是，在设置按需转包周期时，应根据实际业务需求和系统情况进行调整。同时，应考虑消息的重要性、消费者的处理能力、系统的资源限制等因素，以确保系统的稳定性和性能。

基准带宽和磁盘可选择哪些？ 资源、规格等信息可参考产品规格文档。 哪些资源池可以订购分布式消息服务Kafka？ 天翼云分布式消息服务Kafka可以在以下资源池订购： （1）华南2、华东1、华北2、西南1、上海36、青岛20、长沙42、南昌5、南宁23、武汉41、太原4 （2）芜湖2、福州4、重庆2 、北京5 、佛山3、贵州3、杭州2、内蒙6、上海7、上海6、西安3、昆明2、保定、北京4、合肥2 、乌鲁木齐27 账户里面有钱，为什么无法创建按需付费Kafka实例？ 请检查您的账户金额是否小于100元，如果小于100元，则无法创建新的Kafka实例。 （1）预存后付费方式：提前充值现金到天翼云账户中，现金账户余额不低于100元，之后系统按照用户实际使用量进行结算。 （2）计费周期：按小时计费，以自然小时为计费单位（均以北京时间为准），不满一小时按照一小时计费。费用从用户账户现金余额中扣费。开通时间建议整点开通，开通不足一个自然小时，按一小时收费。提前删除也按照自然小时收费。 欠费后如何重新启用？ 如果您在15天内充值补足欠款，服务会自动启用。 欠费后，资源进入保留期，您将不能正常访问及使用云服务（资源冻结），但对于您存储在云服务中的数据予以保留。 若您在保留期内充值，充值后系统会自动扣减欠费金额。 若保留期到期您仍未充值，存储在云服务中的数据将被删除、云服务资源将被释放。

分类 服务 命名空间 维度 监控指标参考文档 企业中间件 分布式消息服务 SYS.DMS 请参考右侧相关文档链接页面。

介绍分布式消息服务Kafka删除消息功能操作内容。 场景描述 在以下场景中，可以考虑删除Kafka中的消息： 错误消息：当Kafka中的消息存在错误或异常时，需要将这些消息删除。这可能是由于消息格式错误、消息内容不完整或者其他数据质量问题导致的。删除错误消息可以保持数据的一致性和准确性。 保留策略变更：Kafka中可以设置消息的保留时间或者大小，即消息在主题中的保留期限。当需要更改消息的保留策略时，可能需要删除旧的消息以应用新的策略。例如，如果要缩短消息的保留时间，则需要删除超过新保留期限的旧消息。 清理测试数据：在测试环境中，经常需要清理旧的测试数据，以确保环境的可用空间和性能。当测试数据不再需要时，可以删除相应的消息来释放资源。 故障恢复：当Kafka发生故障或者数据丢失时，可能需要删除一些消息以进行数据恢复。在这种情况下，需要根据故障的范围和影响选择删除相应的消息，以恢复数据的完整性。 需要注意的是，在删除消息之前，需要确保删除的消息不再需要或者已经备份。删除消息是不可逆的操作，一旦删除就无法恢复。因此，在执行删除操作之前，建议先进行备份或者确认消息不再需要。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后进入主题管理页面。 （5）在Topic所在行，点击其右侧“更多”，在下拉框中单击“消息删除”，并选择确认。

本文主要介绍消息队列 Kafka 发布者的最佳实践，从而帮助您更好的使用该产品。 文中的最佳实践基于消息队列 Kafka 的 Java 客户端；对于其它语言的客户端，其基本概念与思想是通用的，但实现细节可能有差异，仅供参考。 Kafka 发送示例代码片段 Key 和 Value Kafka 0.10.0.0 的消息字段只有两个：Key 和 Value。Key 是消息的标识，Value 即消息内容。为了便于追踪，重要消息最好都设置一个唯一的 Key。通过 Key 追踪某消息，打印发送日志和消费日志，了解该消息的发送和消费情况。 失败重试 在分布式环境下，由于网络等原因，偶尔的发送失败是常见的。导致这种失败的原因有可能是消息已经发送成功，但是 Ack 失败，也有可能是确实没发送成功。 消息队列 Kafka 是 VIP 网络架构，会主动掐掉空闲连接（30 秒没活动），也就是说，不是一直活跃的客户端会经常收到 “connection rest by peer” 这样的错误，因此建议都考虑重试消息发送。 异步发送 发送接口是异步的；如果你想得到发送的结果，可以调用metadataFuture.get(timeout, TimeUnit.MILLISECONDS)。 线程安全 Producer 是线程安全的，且可以往任何 Topic 发送消息。通常情况下，一个应用对应一个 Producer 就足够了。 Acks Acks的说明如下： acks0，表示无需服务端的 Response，性能较高，丢数据风险较大； acks1，服务端主节点写成功即返回 Response，性能中等，丢数据风险中等，主节点宕机可能导致数据丢失； acksall，服务端主节点写成功，且备节点同步成功，才返回 Response，性能较差，数据较为安全，主节点和备节点都宕机才会导致数据丢失。 一般建议选择 acks1，重要的服务可以设置 acksall。

本文主要介绍购买实例。 操作场景 Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。支持用户自定义规格和自定义特性，您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。 购买前须知 Kafka实例运行于虚拟私有云，购买实例前，需保证有可用的虚拟私有云，并且已配置好安全组与子网。 （可选）如果需要通过公网访问Kafka实例，请提前准备弹性IP地址。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击页面右上方的“购买Kafka实例”。 每个项目默认最多可以创建100个Kafka实例，如果您想创建更多实例，请联系客服申请增加配额。 步骤 5 选择“计费模式”、“区域”、“项目”和“可用区”。 步骤 6 设置“实例名称”和“企业项目”。 步骤 7 设置实例信息。 1. 版本：Kafka的版本号，支持1.1.0、2.3.0、2.7和3.x，根据实际情况选择，推荐使用3.x。 Kafka实例创建后，版本号不支持修改 。 2. 鲲鹏规格：“创建鲲鹏架构实例”选框，默认不勾选是X86架构的实例，勾选之后是ARM架构的鲲鹏实例。 3. 在“代理规格”中，请根据业务需求选择相应的代理规格。在“代理数量”中，选择代理个数。 单个代理最大分区数代理个数实例分区数上限。当所有Topic的总分区数大于实例分区数上限时，创建Topic失败。 4. 在“存储空间”区域，您根据实际需要选择存储Kafka数据的磁盘类型和总磁盘大小。 Kafka实例创建后，磁盘类型不支持修改 。 存储空间包含所有副本存储空间总和，建议根据业务消息体积以及副本数量选择存储空间大小。假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB副本数 + 预留磁盘大小100GB。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 5. 在“容量阈值策略”区域，设置磁盘使用达到容量阈值后的消息处理策略，容量阈值为95%。 自动删除：可以正常生产和消费消息，但是会删除最早的10%的消息，以保证磁盘容量充足。该场景优先保障业务不中断，数据存在丢失的风险。 生产受限：无法继续生产消息，但可以继续消费消息。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 图 创建Kafka实例 步骤 8 设置实例网络环境信息。 在“虚拟私有云”下拉列表，选择已经创建好的虚拟私有云和子网。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。 说明 虚拟私有云和子网在Kafka实例创建完成后，不支持修改。 子网开启IPv6后，Kafka实例支持IPv6功能。 IPv6：子网开启IPv6后，支持设置此参数。开启IPv6后，客户端可以使用IPv6地址连接实例。 说明 开启IPv6的实例不支持动态开启和关闭SASLSSL功能。 实例创建成功后，不支持修改IPv6开关。 在“安全组”下拉列表，可以选择已经创建好的安全组。 安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 步骤 9 设置登录Kafka Manager的用户名和密码。创建实例后，Kafka Manager用户名无法修改。 Kafka Manager是开源的Kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 步骤 10 设置实例购买时长。 当选择了“包年/包月”付费模式时，页面才显示“购买时长”参数，您需要根据业务需要选择。 步骤 11 单击“更多配置”，设置更多相关信息。 1. 设置“公网访问”。 “公网访问”默认为关闭状态，您可以选择是否开启。 开启公网访问后，还需要为每个代理设置对应的IPv4弹性IP地址。 说明 如果开启了IPv6功能，支持设置此参数。 2. 设置“Kafka SASLSSL”。 客户端连接Kafka实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 “Kafka SASLSSL”默认为关闭状态，您可以选择是否开启。 Kafka实例创建后，Kafka SASLSSL开关不支持修改 ，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您可以选择是否开启“SASL PLAIN 机制”。未开启“SASL PLAIN 机制”时，使用SCRAMSHA512机制传输数据，开启“SASL PLAIN 机制”后，同时支持SCRAMSHA512机制和PLAIN机制，根据实际情况选择其中任意一种配置连接。Kafka实例创建后，SASL PLAIN机制开关不支持修改。 什么是SCRAMSHA512机制和PLAIN机制？ SCRAMSHA512机制：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN机制：一种简单的用户名密码校验机制。 开启Kafka SASLSSL后，您需要设置连接Kafka实例的用户名和密码。 3. 设置“Kafka自动创建Topic”。 “Kafka自动创建Topic”默认为关闭状态，您可以选择是否开启。 开启“Kafka自动创建Topic”表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 4. 设置“标签”。 标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键值对。另外，您可以单击“查看预定义标签”，跳转到标签管理服务页面，查看已经预定义的标签，或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签，标签的命名规格，请参考管理实例标签章节。 5. 设置实例的描述信息。 步骤 12 填写完上述信息后，单击“立即购买”，进入规格确认页面。 步骤 13 确认实例信息无误后，单击“提交”。 步骤 14 在实例列表页面，查看Kafka实例是否创建成功。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请参考删除实例，删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明 创建失败的实例，不会占用其他资源。

本文主要介绍 创建Topic。 Topic，即消息主题。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic，然后才能进行生产消息和消费消息。如果实例开启了“Kafka自动创建Topic”，则该操作为可选。 “Kafka自动创建Topic”表示在生产或消费一个未创建的Topic时，会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 Kafka实例对Topic的总分区数设置了上限， 当Topic的总分区数达到上限后，用户就无法继续创建Topic 。不同规格配置的Topic总分区数不同，具体请参考Kafka产品规格说明。 本文主要介绍手动创建Topic的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 方式1：在控制台创建 方式2：在Kafka Manager创建 方式3：在Kafka客户端上创建 说明 实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 方式1：在控制台创建 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，单击“创建Topic”。 弹出“创建Topic”对话框。 图 创建Topic 步骤 6 填写Topic名称和配置信息。 表 Topic参数说明 参考 说明 Topic名称 系统为您自动生成了Topic名称，您可以根据需要修改。 创建Topic后不能修改名称。 分区数 您可以设置Topic的分区数，分区数越大消费的并发度越大。 该参数设置为1时，消费消息时会按照先入先出的顺序进行消费。 取值范围：1~200 默认值：3 副本数 您可以为每个Topic设置副本的数量，Kafka会自动在每个副本上备份数据，当其中一个Broker故障时数据依然是可用的，副本数越大可靠性越高。 该参数设置为1时，表示只有一份数据。 默认值：3 说明 实例节点出现故障的情况下，单副本Topic查询消息时可能会报“内部服务错误”，因此不建议使用单副本Topic。 老化时间（小时） 消息的最长保留时间，消费者必须在此时间结束前消费消息，否则消息将被删除。删除的消息，无法被消费。 取值范围：1~720 默认值：72 同步复制 指后端收到生产消息请求并复制给所有副本后，才返回客户端。 开启同步复制后，需要在客户端配置acksall或者1，否则无效。 当副本数为1时，不能选择同步复制功能。 同步落盘 同步落盘是指生产的每条消息都会立即写入磁盘。 开启：生产的每条消息都会立即写入磁盘，可靠性更高。 关闭：生产的消息存在内存中，不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型，取值如下： CreateTime：生产者创建消息的时间。 LogAppendTime：broker将消息写入日志的时间。 批处理消息最大值 Kafka允许的最大批处理大小，如果启用消息压缩，则表示压缩后的最大批处理大小。 如果增加“max.message.bytes”的值，且存在消费者版本早于0.10.2，此时消费者的“fetch size”值也必须增加，以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 步骤 7 配置完成后，单击“确定”，完成创建Topic。

本文主要讲述修改实例信息。 创建Kafka实例成功后，您可以根据自己的业务情况对Kafka实例的部分参数进行调整，包括实例名称、描述、安全组和容量阈值策略等。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 以下参数支持修改。 实例名称 企业项目（修改企业项目，不会重启实例） 描述 安全组 公网访问（公网访问的修改方法，请参考设置实例公网访问。） 容量阈值策略（修改容量阈值策略，不会重启实例。） Kafka自动创建Topic（修改Kafka自动创建Topic，会导致Kafka重启） 跨VPC访问（跨VPC访问的操作步骤，请参考使用DNAT访问Kafka实例。） 参数修改完成后，通过以下方式查看修改结果。 修改“容量阈值策略”、“公网访问”和“Kafka自动创建Topic”后，系统跳转到“后台任务管理”页签，并显示当前任务的操作进度和结果。 修改“实例名称”、“描述”、“企业项目”、“跨VPC访问”和“安全组”后，右上角直接提示修改结果。

介绍分布式消息服务Kafka按时间查询消息功能操作内容。 场景描述 Kafka按时间查询是指通过指定时间范围来查询Kafka主题中的消息。以下是一些常见的按时间查询的场景描述： 数据分析和报告：在数据分析和报告生成的场景中，经常需要按时间查询Kafka主题中的消息。通过指定起始时间和结束时间，可以获取在特定时间范围内产生的消息，用于进一步的数据分析和报告生成。 故障排查：当出现故障或问题时，按时间查询可以帮助定位问题的发生时间和相关的消息。通过指定故障发生的时间范围，可以获取相关的消息，用于故障排查和问题分析。 监控和警报：按时间查询还可以用于监控和警报系统。通过定期按时间查询Kafka主题中的消息，可以检查是否有异常或异常事件发生，并触发相应的警报机制。 数据回溯和重播：按时间查询功能还可以用于数据回溯和重播。通过指定特定的时间范围，可以获取过去某个时间段内的消息，并进行数据回溯或重播操作。 数据同步和复制：在数据同步和复制的场景中，按时间查询可以帮助确保数据的一致性。通过按时间查询源和目标主题中的消息，可以比较不同时间段内的消息，并进行数据同步和复制操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消息查询”后默认就是按点位查询。 （5）选择按时间查询，选择需要查询的Topic，输入分区号以及时间段，点击”查询“按钮，会返回时间段内的所有消息。 （6）点击消息列表的“消息详情”可查看消息详情信息。

查看消费者列表（Kafka客户端） 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令查询消费者列表。 ./kafkaconsumergroups.sh bootstrapserver {brokerip}:{port} group {groupname} members describe 已开启SASL的Kafka实例，通过以下步骤查询消费者列表。 （可选）如果已经设置了SSL证书配置，请跳过此步骤。否则请执行以下操作。在Kafka客户端的“/config”目录中创建“ssluserconfig.properties”文件，参考步骤3增加SSL证书配置。 在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令查询消费者列表。 ./kafkaconsumergroups.sh bootstrapserver {brokerip}:{port} group {groupname} members describe commandconfig ./config/ssluserconfig.properties 查看消费进度（控制台） 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待查看消费进度的消费组名称，进入消费组详情页。 步骤 7 在“消费进度”页签，查看此消费组订阅的Topic列表、Topic中消息的总堆积数、Topic每个分区的堆积数、Topic每个分区的偏移量和最大消息位置。 图 消费进度 步骤 8 （可选）如果需要查询某个Topic的消费进度，在搜索框中，输入Topic名称，单击。

分布式消息服务Kafka引擎类型云原生引擎调整为白名单特性，更多了解请查看快速入门创建实例引擎类型说明。 调整时间 2024年7月5日 影响范围 所有区域 调整影响 新用户默认不开放云原生引擎订购开通，如需要该特性，请联系技术支持开通后使用。 已购买云原生引擎实例的用户，原实例仍可正常使用，续费、扩容等操作不受影响。

本章节介绍了分布式消息服务RocketMQ与Kafka和RabbitMQ的差异。 功能项 RocketMQ Kafka RabbitMQ 优先级队列 不支持 不支持 支持。建议优先级大小设置在010之间。 延迟队列 支持 不支持 不支持 死信队列 支持 不支持 支持 消息重试 支持 不支持 不支持 消费模式 支持客户端主动拉取和服务端推送两种方式 客户端主动拉取 支持客户端主动拉取以及服务端推送两种模式 广播消费 支持 支持 支持 消息回溯 支持 支持。Kafka支持按照offset和timestamp两种维度进行消息回溯。 不支持。RabbitMQ中消息一旦被确认消费就会被标记删除。 消息堆积 支持 支持。考虑吞吐因素，Kafka的堆积效率比RabbitMQ总体上要高。 支持 持久化 支持 支持 支持 消息追踪 支持 不支持 支持。RabbitMQ中可以采用Firehose或者rabbitmqtracing插件实现，但开启rabbitmqtracing插件会影响性能，建议只在定位问题过程中开启。 消息过滤 支持 支持 不支持，但可以自行封装。 多租户 支持 不支持 支持 多协议支持 兼容RocketMQ协议 只支持Kafka自定义协议。 RabbitMQ基于AMQP协议实现，同时支持MQTT、STOMP等协议。 跨语言支持 支持多语言的客户端 采用Scala和Java编写，支持多种语言的客户端。 采用Erlang编写，支持多种语言的客户端。 流量控制 待规划 支持client和user级别，通过主动设置可将流控作用于生产者或消费者。 RabbitMQ的流控基于CreditBased算法，是内部被动触发的保护机制，作用于生产者层面。 消息顺序性 单队列（queue）内有序 支持单分区（partition）级别的顺序性。 不支持。需要单线程发送、单线程消费并且不采用延迟队列、优先级队列等一些高级功能整体配合，才能实现消息有序。 安全机制 支持SSL认证 支持SSL、SASL身份认证和读写权限控制。 与Kafka相似 事务性消息 支持 支持 支持

介绍分布式消息服务Kafka服务韧性 Kafka服务的韧性是指其在面对各种故障和异常情况时能够保持可用性和可靠性的能力。以下是保障Kafka服务韧性的关键方面： 跨AZ容灾 根据数据和服务的不同可靠性需求，您有多种选择。您可以选择在一个可用区（即单个机房）内部署Kafka实例，或者选择跨多个可用区（即同城灾备）进行部署。 AZ内实例容灾 Kafka的AZ内实例容灾可以通过部署多个Broker节点，以及实施监控和自动化措施来实现。这样可以提高Kafka集群的可用性和容灾能力，确保数据的可靠性和业务的连续性。 数据容灾 Kafka使用副本机制来提供数据的冗余备份和故障转移。每个分区可以配置多个副本，其中一个副本作为领导者处理读写请求，其他副本作为追随者复制数据。当领导者副本发生故障时，Kafka会自动选举一个新的领导者副本来接管分区，从而实现故障转移。

本文主要介绍查看消费者连接地址。 分布式消息服务Kafka支持通过以下两种方式查看消费者连接地址，您可以根据实际情况选择任意一种方式。 方法一：在管理控制台查看消费者连接地址 方法二：在Kafka Manager中查看消费者连接地址 说明 消费者处于连接Kafka实例时，才可以查看消费者连接地址。 Kafka Manager由于缓存原因，显示的消费者连接地址可能不是当前消费者连接地址，建议重启Kafka Manager解决。 方法一：在管理控制台查看消费者连接地址 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”，进入消费组列表页面。 步骤 6 单击待查看消费者连接地址的消费组名称，进入消费组详情页。 步骤 7 在“消费者列表”页签，查看消费者连接地址。 图 消费者列表 方法二：在Kafka Manager中查看消费者连接地址 步骤 1 登录Kafka Manager。 步骤 2 单击“kafkacluster”，进入集群详情页。 步骤 3 在顶部导航栏单击“Consumers”，进入消费组列表页面。 图 导航栏 步骤 4 单击待查看消费者连接地址的消费组名称，进入消费组订阅的Topic列表页面。 图 消费组列表页面 步骤 5 单击待查看消费者连接地址的Topic名称，进入Topic详情页。 图 消费组订阅的Topic列表页面 步骤 6 在“Consumer Instance Owner”中，查看消费者连接地址。 图Topic详情页

本文主要介绍步骤三：创建Topic。 Topic，即消息主题。创建Kafka实例成功后，如果没有开启“Kafka自动创建Topic”，需要手动创建Topic，然后才能进行生产消息和消费消息。如果实例开启了“Kafka自动创建Topic”，则该操作为可选，在进行生产时，会自动创建一个Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 本文主要介绍手动创建Topic的操作，有以下三种方式，您可以根据实际情况选择任意一种方式： 方式1：在控制台创建 方式2：在Kafka Manager创建 方式3：在Kafka客户端上创建 方式1：在控制台创建 步骤 1 登录分布式消息服务Kafka控制台，选择Kafka实例所在的区域。 步骤 2 在“Kafka专享版”页面，单击Kafka实例的名称，进入实例详情页面。 步骤 3 在“Topic管理”页签，单击“创建Topic”，弹出“创建Topic”对话框。 步骤 4 填写Topic名称和配置信息，单击“确定”，完成创建Topic。 方式2：在Kafka Manager创建 登录Kafka Manager后，在页面顶部选择“Topic > Create”，然后按照界面参数填写即可。 注意 Topic名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 方式3：在Kafka客户端上创建 仅在Kafka客户端版本为2.2以上 时，支持通过kafkatopics.sh创建Topic，以及管理Topic的各类参数。 注意 Topic名称开头包含特殊字符，例如下划线“”、

介绍分布式消息服务Kafka主题列表功能操作内容。 场景描述 Kafka主题列表是Kafka消息队列中的一个重要概念，用于列出所有可用的主题。以下是一些Kafka主题列表的应用场景的描述： 监控和管理：通过查看Kafka主题列表，管理员可以了解当前系统中存在的所有主题。他们可以监控主题的状态、分区数量和副本分布，并进行必要的管理操作，如创建、删除和修改主题。 数据消费者选择：Kafka主题列表可以帮助数据消费者选择他们感兴趣的主题。消费者可以浏览主题列表，找到包含他们需要的数据的主题，并订阅这些主题以接收数据。 数据集成和数据流转：Kafka主题列表可以帮助数据集成和数据流转的过程。数据源可以查看主题列表，确定将数据写入哪些主题。而数据接收方可以查看主题列表，选择他们需要的主题来消费数据。 监控数据流：通过查看Kafka主题列表，监控系统可以了解当前系统中的所有数据流。监控系统可以根据主题列表中的信息，监控每个主题的数据流量、延迟和健康状况，并进行实时的监控和报警。 系统调试和故障排查：Kafka主题列表可以帮助开发人员进行系统调试和故障排查。他们可以查看主题列表，确定消息是否正确地写入和消费，并检查主题的状态和分区情况，以解决潜在的问题。 总之，Kafka主题列表提供了对Kafka消息队列中所有主题的全局视图，帮助管理员、数据消费者和开发人员进行监控、管理和调试。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后即可查看所有Topic的信息。 （5）右上角输入Topic名称，可查询对应Topic。

本文主要介绍 计费模式。 分布式消息服务Kafka支持按需和包周期两种付费模式。 包年包月 Kafka当前支持包年、包月的计费方式。 且按天翼云的包年订购优惠策略享受相关的一次性包年订购优惠。 按需 Kafka当前支持按需的计费方式，按小时计费。 具体价格，请详见产品价格。

查看Prometheus监控数据 1. 登录分布式消息服务Kafka控制台。 2. 在实例列表页面，点击目标Kafka实例名称。 3. 在左侧导航栏，单击消息查询，可选择按时间查询，并选择目标Topic。 4. 点击消息详情，即可查看您导入的Prometheus监控数据。

自2021年11月11日起，新版分布式消息服务Kafka服务等级协议（SLA）生效。详情请参见这里。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

本节介绍Kafka 判断和处理消息堆积 判断消息堆积是否属于正常情况 登录“分布式消息服务Kafka”控制台，在“消费组管理”页面，找到目标消费组，进入“消息堆积”页面。 （1）堆积量保持在一个稳定的数值之间波动，没有持续扩大。说明客户端一直在拉取最新消息，没有消息堆积，属于正常情况。 （2）堆积量逐步扩大，并且当前位点一直不变。客户端的消费线程因为某些原因卡住，没有继续消费，也没有继续向服务端提交位点，属于异常情况，即消息的确堆积了。 （3）堆积量逐步扩大，同时当前位点在前进。说明客户端还在消费中，但是消息的消费速度慢于消息的发送速度。消息堆积大多是消费速度过慢或者消费线程阻塞造成的，建议不要在消费逻辑中有太多耗时的操作。 消息堆积的处理方式 经过上述判断，确认消息的确存在堆积情况时，建议打印消息的消费耗时，或者根据堆栈信息查看线程执行情况，适当调整以加快消息的消费速度，避免出现消息堆积。

本文主要介绍 步骤二：创建Kafka实例。 前提条件 在创建Kafka实例前，需要保证存在可使用的虚拟私有云。创建方法，请参考《虚拟私有云 用户指南》的“创建虚拟私有云和子网”。 如果您已有虚拟私有云，可重复使用，不需要多次创建。 操作步骤 步骤 1 登录分布式消息服务Kafka控制台，单击页面右上方的“购买Kafka实例”。 步骤 2 选择计费模式。 步骤 3 在“区域”下拉列表中，选择靠近您应用程序的区域，可降低网络延时、提高访问速度。 步骤 4 在“项目”下拉列表中，选择项目。 步骤 5 在“可用区”区域，根据实际情况选择1个或者3个及以上可用区。 步骤 6 设置“实例名称”和“企业项目”。 步骤 7 设置实例信息。 1. 版本：Kafka的版本号，支持1.1.0、2.3.0和2.7，根据实际情况选择，推荐使用2.7。 Kafka实例创建后，版本号不支持修改 。 2. CPU架构：支持“x86计算”，保持默认值即可。 3. 在“代理规格”中，请根据业务需求选择相应的代理规格。在“代理数量”中，选择代理个数。 单个代理最大分区数代理个数实例分区数上限。当所有Topic的总分区数大于实例分区数上限时，创建Topic失败。 4. 在“存储空间”区域，您根据实际需要选择存储Kafka数据的磁盘类型和总磁盘大小。 Kafka实例创建后，磁盘类型不支持修改 。 存储空间包含所有副本存储空间总和，建议根据业务消息体积以及副本数量选择存储空间大小。假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB副本数 + 预留磁盘大小100GB。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 5. 在“容量阈值策略”区域，设置磁盘使用达到容量阈值后的消息处理策略，容量阈值为95%。 自动删除：可以正常生产和消费消息，但是会删除最早的10%的消息，以保证磁盘容量充足。该场景优先保障业务不中断，数据存在丢失的风险。 生产受限：无法继续生产消息，但可以继续消费消息。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 图 创建Kafka实例 步骤 8 设置实例网络环境信息。 1. 在“虚拟私有云”下拉列表，选择已经创建好的虚拟私有云和子网。 说明 虚拟私有云和子网在Kafka实例创建完成后，不支持修改。 2. 在“安全组”下拉列表，可以选择已经创建好的安全组。 安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 步骤 9 设置登录Kafka Manager的用户名和密码。创建实例后，Kafka Manager用户名无法修改。 Kafka Manager是开源的Kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 步骤 10 设置实例购买时长。 当选择了“包年/包月”付费模式时，页面才显示“购买时长”参数，您需要根据业务需要选择。 步骤 11 单击“更多配置”，设置更多相关信息。 1. 设置“公网访问”。 “公网访问”默认为关闭状态，根据业务需求选择是否开启。开启公网访问后，还需要为每个代理设置对应的IPv4弹性IP地址。 图 设置公网访问开关 2. 设置“Kafka SASLSSL”。 客户端连接Kafka实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 “Kafka SASLSSL”默认为关闭状态，您可以选择是否开启。 Kafka实例创建后，Kafka SASLSSL开关不支持修改 ，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您可以选择是否开启“SASL PLAIN 机制”。未开启“SASL PLAIN 机制”时，使用SCRAMSHA512机制传输数据，开启“SASL PLAIN 机制”后，同时支持SCRAMSHA512机制和PLAIN机制，根据实际情况选择其中任意一种配置连接。Kafka实例创建后，SASL PLAIN机制开关不支持修改。 什么是SCRAMSHA512机制和PLAIN机制？ SCRAMSHA512机制：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN机制：一种简单的用户名密码校验机制。 开启Kafka SASLSSL后，您需要设置连接Kafka实例的用户名和密码。 3. 设置“Kafka自动创建Topic”。 “Kafka自动创建Topic”默认为关闭状态，您可以选择是否开启。 开启“Kafka自动创建Topic”表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 4. 设置“标签”。 标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键值对。另外，您可以单击“查看预定义标签”，跳转到标签管理服务页面，查看已经预定义的标签，或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签，标签的命名规格，请参考管理实例标签。 5. 设置实例的描述信息。 步骤 12 填写完上述信息后，单击“立即购买”，进入规格确认页面。 步骤 13 确认实例信息无误后，提交请求。 步骤 14 单击“返回Kafka专享版”，查看Kafka实例是否创建成功。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明 创建失败的实例，不会占用其他资源。

本文主要介绍云审计服务支持的DMS for Kafka操作列表。 通过云审计服务，您可以记录与分布式消息服务Kafka相关的操作事件，便于日后的查询、审计和回溯。 表 云审计服务支持的DMS for Kafka操作列表 操作名称 资源类型 事件名称 创建DMS实例订单成功 kafka createDMSInstanceOrderSuccess 创建DMS实例任务执行成功 kafka createDMSInstanceTaskSuccess 创建DMS实例订单失败 kafka createDMSInstanceOrderFailure 创建DMS实例任务执行失败 kafka createDMSInstanceTaskFailure 删除创建失败的DMS实例成功 kafka deleteDMSCreateFailureInstancesSuccess 删除创建失败的DMS实例失败 kafka deleteDMSCreateFailureInstancesFailure 删除DMS实例任务执行成功 kafka deleteDMSInstanceTaskSuccess 删除DMS实例任务执行失败 kafka deleteDMSInstanceTaskFailure 批量删除DMS实例任务 kafka batchDeleteDMSInstanceTask 提交批量删除DMS实例请求成功 kafka batchDeleteDMSInstanceSuccess 批量删除DMS实例任务执行成功 kafka batchDeleteDMSInstanceTaskSuccess 提交批量删除DMS实例请求失败 kafka batchDeleteDMSInstanceFailure 批量删除DMS实例任务执行失败 kafka batchDeleteDMSInstanceTaskFailure 提交修改DMS实例订单请求成功 kafka modifyDMSInstanceOrderSuccess 提交修改DMS实例订单请求失败 kafka modifyDMSInstanceOrderFailure 提交扩容实例请求成功 kafka extendDMSInstanceSuccess 扩容DMS实例任务执行成功 kafka extendDMSInstanceTaskSuccess 提交扩容实例请求失败 kafka extendDMSInstanceFailure 扩容DMS实例任务执行失败 kafka extendDMSInstanceTaskFailure 提交重置DMS实例密码请求成功 kafka resetDMSInstancePasswordSuccess 提交重置DMS实例密码请求失败 kafka resetDMSInstancePasswordFailure 提交重启DMS实例请求成功 kafka restartDMSInstanceSuccess 重启DMS实例任务执行成功 kafka restartDMSInstanceTaskSuccess 提交重启DMS实例请求失败 kafka restartDMSInstanceFailure 重启DMS实例任务执行失败 kafka restartDMSInstanceTaskFailure 提交批量重启DMS实例请求成功 kafka batchRestartDMSInstanceSuccess 批量重启DMS实例任务执行成功 kafka batchRestartDMSInstanceTaskSuccess 提交批量重启DMS实例请求失败 kafka batchRestartDMSInstanceFailure 批量重启DMS实例任务执行失败 kafka batchRestartDMSInstanceTaskFailure 提交修改DMS实例信息请求成功 kafka modifyDMSInstanceInfoSuccess 修改DMS实例信息任务执行成功 kafka modifyDMSInstanceInfoTaskSuccess 提交修改DMS实例信息请求失败 kafka modifyDMSInstanceInfoFailure 修改DMS实例信息任务执行失败 kafka modifyDMSInstanceInfoTaskFailure 删除后台任务成功 kafka deleteDMSBackendJobSuccess 删除后台任务失败 kafka deleteDMSBackendJobFailure 冻结DMS实例任务执行成功 kafka freezeDMSInstanceTaskSuccess 冻结DMS实例任务执行失败 kafka freezeDMSInstanceTaskFailure 解冻DMS实例任务执行成功 kafka unfreezeDMSInstanceTaskSuccess 解冻DMS实例任务执行失败 kafka unfreezeDMSInstanceTaskFailure Kafka专享实例创建Topic成功 kafka KafkacreatetopicSuccess Kafka专享实例创建Topic失败 kafka KafkacreatetopicFailure Kafka专享实例删除Topic成功 kafka KafkadeletetopicsSuccess Kafka专享实例删除Topic失败 kafka KafkadeletetopicsFailure 开启自动创建Topic成功 kafka enableautotopicSuccess 开启自动创建Topic失败 kafka enableautotopicFailure 重置消费组偏移量成功 kafka KafkaresetconsumeroffsetSuccess 重置消费组偏移量失败 kafka KafkaresetconsumeroffsetFailure 创建用户成功 kafka createUserSuccess 创建用户失败 kafka createUserFailure 删除用户成功 kafka deleteUserSuccess 删除用户失败 kafka deleteUserFailure 更新用户策略成功 kafka updateUserPoliciesTaskSuccess 更新用户策略失败 kafka updateUserPoliciesTaskFailure

如何选择磁盘空间？ Kafka支持多副本存储，副本数量为3。存储空间包含所有副本存储空间总和，因此，您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估以及副本数量选择合适的存储空间。 例如：业务消息体积预估100GB，则磁盘容量最少应为100GB3+ 预留磁盘大小100GB。 如何选择实例带宽？ Kafka实例的网络带宽指单向（读或写）最大带宽。一般建议选择带宽时建议预留30%，确保您的应用运行更稳定。 100MB/s，业务流量为70M以内时推荐选用。 300MB/s，业务流量为210M以内时推荐选用。 Kafka支持磁盘加密吗？ 分布式消息服务Kafka不支持磁盘加密。 Kafka扩容会影响业务吗？ Kafka的扩容过程可能会对业务产生一定的影响，具体取决于您的扩容策略和实施方式。以下是一些可能的影响： 重分区和重新分配：当您需要扩容Kafka集群时，可能需要进行重分区和重新分配。这涉及到数据的重新分布和重新平衡，可能会导致一段时间内的性能下降和延迟增加。在重分区和重新分配期间，Kafka会重新分配副本、重新分区数据，并且可能需要重新加载和重新平衡消费者群组。 网络和磁盘负载增加：扩容Kafka集群意味着增加了更多的节点和副本，这可能会增加网络和磁盘的负载。数据的复制和同步可能会导致网络带宽的消耗，而新增的节点和副本可能会增加磁盘的写入和读取负载。