分布式消息服务Kafka主机类型通用型规格调整为白名单特性，更多了解请查看计费项产品规格说明。 调整时间 2024年6月25日 影响范围 所有区域 调整影响 新用户默认不开放主机类型通用型规格订购开通，如需要该特性，请联系技术支持开通后使用。 已购买主机类型通用型规格实例的用户，原实例仍可正常使用，续费、扩容等操作不受影响。

分布式消息服务RabbitMQ主机类型通用型规格调整为白名单特性，更多了解请查看计费项产品规格说明。 调整时间 2024年6月25日 影响范围 所有区域 调整影响 新用户默认不开放主机类型通用型规格订购开通，如需要该特性，请联系技术支持开通后使用。 已购买主机类型通用型规格实例的用户，原实例仍可正常使用，续费、扩容等操作不受影响。

本文主要介绍 创建流控。 操作场景 本章节指导您在控制台对用户/客户端/Topic进行流量控制，控制生产/消费消息的上限速率。 用户/客户端的流控作用范围是整个broker，Topic的流控作用范围是指定Topic。 操作影响 当流控值达到上限后，会导致生产/消费的时延增大。 设置的流控值较小且生产者速率较大时，可能会造成生产超时、消息丢失，导致部分消息生产失败。 初始生产/消费的流量较大，如果设置一个较小的流控值，会导致生产/消费的时延增大、部分消息生产失败。建议逐次减半设置流控值，待生产/消费稳定后继续减半设置，直到设置为目标流控值。例如初始生产流量100MB/s，可先设置生产流控为50MB/s，待稳定后再修改为25MB/s，直到目标流控值。 前提条件 如果需要对用户进行流量控制，请在创建Kafka实例时，开启SASLSSL功能。然后在控制台的“用户管理”页面，获取用户名。 如果需要对指定客户端进行流量控制，请在客户端配置中获取client ID。 如果需要对指定Topic进行流量控制，请在控制台的“Topic管理”页面，获取Topic名称。 创建用户/客户端流控 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”，进入流控列表页面。 步骤 6 在页面顶端单击“User/Client”，进入“User/Client”页签。 步骤 7 在页面左上角单击“创建流控”，弹出“创建流控”对话框。 步骤 8 设置流控参数。 表 流控参数说明 参数名称 说明 用户名 输入指定用户名，对此用户进行流控。如果需要对所有用户进行流控，在“用户名”后，单击“选择默认”。流控创建完后，无法修改“用户名”。 客户端ID 输入指定客户端ID，对此客户端进行流控。如果需要对所有客户端进行流控，在“客户端ID”后，单击“选择默认”。流控创建完后，无法修改“客户端ID”。 生产上限速率 设置生产上限速率，单位为MB/s。为空时，表示不设置速率。 消费上限速率 设置消费上限速率，单位为MB/s。为空时，表示不设置速率。 说明 未开启SASL的实例，在“创建流控”对话框中，不显示“用户名”。 “用户名”和“客户端ID”不可同时为空。 “生产上限速率”和“消费上限速率”不可同时为空。 步骤 9 单击“确定”，跳转到“后台任务管理”页面，当流控任务的“状态”为“成功”时，表示流控创建成功。 进入“流控管理 > 流控列表”页面，在“User/Client”页签中，单击页面右上角的“仅设置了用户名”/“仅设置了客户端ID”/“设置了用户名和客户端ID”，输入新创建的流控名称，单击，查看新创建的流控。 图 查看新创建的流控

本文为您介绍分布式消息服务MQTT的API设备客户端查询设备是否在线。 GET URI参数说明： 参数名 参数类型 是否必填 参数描述 prodInstId String 是 实例ID clientId String 是 设备ID 返回参数说明：成功 参数名 参数类型 参数描述 returnObj Object 返回对象 returnObj.clientId String 设备ID returnObj.online Boolean 是否在线 message String 描述状态 statusCode String 800成功 其他失败 成功 {"returnObj": {"clientId":"aaa","online":true},"message": "success","statusCode": "800"} 失败 {"returnObj": null,"message": "error","statusCode": 900}

分布式消息服务RabbitMQ引擎类型云原生引擎调整为白名单特性，更多了解请查看快速入门购买实例引擎类型说明。 调整时间 2024年7月5日 影响范围 所有区域 调整影响 新用户默认不开放云原生引擎订购开通，如需要该特性，请联系技术支持开通后使用。 已购买云原生引擎实例的用户，原实例仍可正常使用，续费、扩容等操作不受影响。

本文为您介绍分布式消息服务MQTT的API认证授权删除认证用户。 POST ContentType：application/json 请求体json参数说明： 参数名 参数类型 是否必填 参数描述 prodInstId String 是 实例Id userName String 是 认证用户 返回参数说明： 参数名 参数类型 参数描述 message String 描述状态 statusCode String 800成功 其他失败 返回示例：成功 { "message": "success","statusCode": "800"} 返回示例：失败 {"returnObj": null,"message": "error","statusCode": "900"}

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

本文主要介绍重置SASLSSL密码。 操作场景 在“用户管理”页签创建的SASLSSL用户，如果忘记了SASLSSL密码，通过重置SASLSSL密码功能，重新设置一个新的密码，可使用新密码连接Kafka实例。 如果忘记了创建实例时设置的SASLSSL密码，请参考重置Kafka密码，重置密码。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置SASLSSL密码。 只有处于“运行中”状态的Kafka实例支持重置SASLSSL密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击待重置SASLSSL密码的Kafka实例名称，进入实例详情页面。 步骤 5 在“用户管理”页签，在待重置SASLSSL密码的用户所在行，单击“重置密码”。 步骤 6 输入“新密码”，单击“确定”，完成密码重置。 如果重置密码成功，界面提示重置实例的密码成功。 如果重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

本文主要介绍 重置Kafka密码。 操作场景 如果您忘记了创建实例时设置的SASLSSL密码，通过重置Kafka密码功能，重新设置一个新的密码，可使用新密码连接Kafka实例。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置Kafka密码。 只有处于“运行中”状态的Kafka实例支持重置Kafka密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重置Kafka密码。 在需要重置Kafka密码的Kafka实例右侧，单击“更多 > 重置Kafka密码”，弹出重置Kafka密码对话框。 单击Kafka实例名称，进入实例详情页面。在“基本信息”页签，在“连接信息 > 用户名”后，单击“重置密码”，弹出重置Kafka密码对话框。 单击Kafka实例名称，进入实例详情页面。在“用户管理”页签，在待重置Kafka密码的用户所在行，单击“重置密码”，弹出重置Kafka密码对话框。 步骤 5 输入“新密码”，单击“确定”，完成密码重置。 如果重置密码成功，界面提示重置实例的密码成功。 如果重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

云监控服务支持哪些服务的企业项目维度的分权分域监控？ 目前，云监控服务支持的企业项目维度的分权分域资源有：弹性云主机、弹性伸缩、云硬盘、弹性IP、弹性负载均衡、云数据库、分布式缓存服务、文档数据库服务和分布式消息服务。 云监控服务哪些资源支持企业项目？ 目前，云监控服务的监控面板、监控视图、告警规则和资源分组支持按企业项目分权分域。 为什么企业项目的子用户在监控概览页面可以查看到主帐号资源信息？ 云监控服务的概览页面暂未支持按企业项目分权分域维度的查询功能，敬请期待。 为什么企业项目的子用户无法看到一键告警功能？ 云监控服务的一键告警功能只有主帐号或配置了Tenant Administrator权限的子用户才有权访问和使用。 为什么企业项目的子用户在配置告警规则时，无法选择全部资源？ 配置告警规则可选择全部资源的功能只有主帐号或配置了Tenant Administrator权限的子用户才有权使用。

本文为您介绍分布式消息服务MQTT的API设备客户端退订客户端主题。 POST ContentType：application/json 请求体参数说明： 参数名 参数类型 是否必填 参数描述 prodInstId String 是 实例ID clientId String 是 设备ID topic String 是 主题 返回参数说明: 参数名 参数类型 参数描述 message String 描述状态 statusCode Integer 800成功 其他失败 返回示例：成功 { "message": "success","statusCode": "800"} 返回示例：失败 {"returnObj": null,"message": "error","statusCode": "900"}

Hudi Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 资源池 ModelArts提供的大规模计算集群，可应用于模型开发、训练和部署。支持公共资源池和专属资源池两种，分别为共享资源池和独享资源池。ModelArts默认提供公共资源池。专属资源池需单独购买，专属使用，不与其他用户共享。 Hue Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Kafka Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Spark Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速，统一的大数据应用，对数据进行离线处理，流式处理，交互式分析等等。

本节介绍分布式消息服务Kafka连接常见问题 接入地址出现不足三个ip+端口？ 集群三台机器正常运作的情况下，接入点会出现三个ip:port连起来，当出现不足三个时候，说明其中一台机器不正常工作（没出现在接入点的机器），请尽快联系管理人员查看不正常工作的节点，尽快恢复。 实例是否支持跨VPC访问？ 实例支持跨VPC访问，可以通过创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问实例。 如何通过代理访问Kafka实例 暂不支持通过代理访问Kafka实例。 原因：客户端通过bootstrap.servers随机访问服务器获取元数据，通过元数据里的IP地址进行后续的消息收发。配置代理后，第一步正常，但在第二步时，客户端仍然通过元数据中的IP地址进行访问，导致访问不通。因此，必须保证网络全连通。 生产者会建立多少个连接到Broker？ 每个生产者通常会建立2个到Broker的TCP连接，一个TCP连接用于更新元数据，一个TCP连接用于发送消息。 VPC实例和公网/VPC实例的区别是什么？ VPC实例：仅提供VPC接入点，只能通过VPC访问。 公网/VPC实例：提供公网接入点和VPC接入点，可以通过公网访问，也可以通过VPC访问。 Kafka实例是否支持公网访问？ Kafka实例支持公网访问。使用公网访问Kafka实例的具体操作，请参考设置公网ip。

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。

该页面主要介绍分布式消息服务Kafka版的SDK，您可以根据实际业务需求进行集成。 各语言SDK下载及使用 支持语言 SDK附件 Java ctyunctgkafkajavasdkv1.0.1.zip Go ctyunctgkafkagosdkv1.0.1.zip 说明 由于运行环境的多样性，部分接口在某些特定配置下可能存在适配差异，我们的技术团队将持续优化兼容性。如有问题，可提单咨询。

为保障更优的性能，分布式消息服务MQTT上线并主推计算增强型主机类型，原通用型规格调整为白名单特性，更多产品类型信息请参阅产品规格。 调整时间 2024年11月9日 影响范围 所有区域 调整影响 新用户默认不开放主机类型通用型规格订购开通，如需要该特性，请联系技术支持开通后使用。 已购买主机类型通用型规格实例的用户，原实例仍可正常使用，续费等操作不受影响。

本章节主要介绍翼MapReduce服务的集群管理功能。 集群生命周期管理 翼MR支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型，组件范围，各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，翼MR将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群，比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群：当按需计费的集群不再需要时（包括集群中的数据和配置），用户可以选择删除集群，翼MR会将集群相关的资源全部删除。 创建集群 通过在翼MR服务管理面，客户可以按需创建翼MR集群，通过选择集群所建的区域及使用的云资源规格，一键式创建适合企业业务的翼MR集群。翼MR服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的翼MR集群资源完全归客户所用。同时翼MR支持在最小可在两节点4U8G的ECS上部署大数据集群，为客户测试开发提供更多的灵活选择。 翼MR集群类型包括分析集群、流式集群和混合集群。 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，又可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：根据业务需求，可以灵活搭配所需组件（翼MR 3.x及后续版本）。 翼MR集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点，分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。 Core节点：支持存储和计算两种目标的节点，可扩容、缩容。因承载的数据存储，因此在缩容时，为保证数据不丢失，有较多限制，无法进行弹性伸缩。 Task节点：仅用于计算的节点，可扩容、缩容。因只承载计算任务，因此可以进行弹性伸缩。 翼MR创建集群方式支持自定义创建集群和快速创建集群两种。 自定义创建集群：自定义创建可以灵活地选择计费模式、配置项，针对不同的应用场景，可以选择不同规格的弹性云服务器，全方位贴合您的业务诉求。 快速创建集群：用户可以根据应用场景，快速创建对应配置的集群，提高了配置效率，更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。 − Hadoop分析集群：Hadoop分析集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框等Hadoop生态圈的组件，进行海量数据分析与查询。 − HBase集群：HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 − Kafka集群：Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。

在业务场景允许的情况下，优先选择无序消息，或者在业务能变通的情况下，将有序消息转化为无序消息。 无序消息的优点： 生产者可以使用多进程、多线程往同一个Topic发送消息，性能更好。 消费者可以使用多进程、多线程同时消费，性能较好。 可以充分使用集群的Failover特点，无须依赖自动主备切换（切换过程服务会中断），包括： 当集群中某一Broker节点故障时，不影响业务消息生产，消息将failover发送到其它节点； 当集群中某一Broker节点故障时，不影响其它节点数据消费，故障恢复后即可消费。 能动态地扩容。 有序消息的缺点： 对于有序消息，当节点故障时，Queue数不会变化，生产与消费都会出现异常，直到故障节点恢复。 对于有序消息，需要将所有消息消费完，并且停止客户端，才能扩容。

本节介绍分布式消息服务Kafka客户端参数配置 根据实际业务场景，客户端参数配置适当的值，客户端参数列表及说明如下所示： 表1.生产者客户端 参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔，建议设置为1000。单位：毫秒。 acks 发送消息的持久化机制。为了提升发送性能， 建议设置为acks1。acks0：无需服务端的Response，性能较高、丢数据风险较大。acks1：服务端主节点写成功即返回Response，性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall：服务端主节点写成功且备节点同步成功才返回Response，性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时，就会触发一次网络请求，然后Producer客户端把消息批量发往服务器。如果batch.size设置过小，有可能影响发送性能和稳定性。建议保持默认值16384。单位：字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间，Producer客户端就会忽略batch.size的限制，立即把消息发往服务器。建议根据业务场景， 将linger.ms设置在100~1000之间。单位：毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略，可提升发送性能。发送客户端2.4及以上版本，默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小，则有可能导致申请内存耗时过长，从而影响发送性能，甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位：字节。 表2.消费者客户端参数 参数 说明 fetch.min.bytes 消费者从服务端获取数据的最小字节数。设置该参数时请尽量评估消息发送端的消息量，若设置过大可能会导致消费端延迟增大，过小可能会导致消费端频繁拉取消息。单位：字节。 fetch.max.wait.ms 服务端等待的最大时间。单位：毫秒。如果使用Local存储引擎，配置了fetch.min.bytes参数，服务器会等待足够的数据才会返回。超过此时间即使没有足够数据也会返回。如果是云存储引擎，一旦有新数据发送进来， 服务器就会结束等待，不需要等待fetch.min.bytes的值。 max.partion.fetch.bytes 每个分区返回的最大字节数。单位：字节。 session.timeout.ms 消费端发送心跳的时间间隔，如果在心跳时间间隔内没有发送心跳，则服务端会认为消费者死亡，从而触发Rebalance，Rebalance期间客户端将会停止消费数据等待Rebalance完成。建议将此参数设置为3000060000。单位：毫秒。默认有效值：6000300000。 max.poll.records 每次Poll获取的最大消息数量，若此值设置过大则需要尽快处理业务逻辑，避免处理过慢影响下一次Poll数据，从而导致在session.timeout.ms时间内没有发送心跳引起Rebalance。建议该值小于 的值。重要 在Java Client 0.10.1及其以上版本有单独的线程发送心跳，小于此版本或者其他语言的客户端都需考虑处理数据时间和发送心跳的间隔，防止频繁Rebalance影响正常消费。 max.poll.interval.ms 最大的Poll间隔时间，仅在Java Client 0.10.1及其以上版本需配置该参数。如果在间隔时间内消费者没有发送Poll请求，即使在session.timeout.ms参数设置的时间内发送了心跳。服务端也会认为消费者死亡，从而触发Rebalance。因此需注意此值需要合理设置，建议该值大于 的值。通常使用默认值即可。单位：毫秒。默认值：300000。 enable.auto.commit 是否采用自动提交位点机制。true：默认采用自动提交机制。false：不采用自动提交机制。默认值：true。 auto.commit.interval.ms 自动提交位点时间间隔。默认值为1000，单位：毫秒。 auto.offset.reset 消费位点重置策略。latest：从最大位点开始消费。earliest：从最小位点开始消费。none：不做任何操作，即不重置。说明建议设置成latest，而不要设置成earliest，避免因位点非法时从头开始消费，从而造成大量重复。如果是您自己管理位点，可以设置为none。

介绍分布式消息服务Kafka修改用户的功能操作内容。 场景描述 当前主要支持重置用户密码：当用户忘记密码或需要更改密码时，可以通过修改用户密码来实现。这有助于保护用户账户的安全性，防止未经授权的访问和操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面，点击“修改”。 （5）点击“修改”后，在弹窗中可以修改密码和对应描述。

本文主要介绍了站内消息的设置方法和消息类型。 用户可以接收、查看、管理天翼云发送的各类消息通知。 操作步骤 1、登录消息中心。 2、在站内消息菜单，可以进行以下操作： 查看全部、未读、已读消息。 按消息类别/消息类型，筛选查看某类消息。 将未读消息标记为已读。 删除消息。 消息类型 消息类型 消息介绍 产品信息 产品的创建、开通及资源到期提醒等产品相关信息通知 账户资金 充值、订单支付、提现等资金相关信息通知 活动消息 各类线上活动通知 服务消息 新产品上线或商业化通知 重要通知 网站重要公告、通知、声明等信息通知 其他 非以上消息类型通知

本章节主要介绍如何删除Vhost。 操作场景 本章节主要介绍删除Vhost的操作，有以下几种方式，您可以根据实际情况选择任意一种方式： 方式一：在控制台删除 方式二：使用RabbitMQ WebUI删除 方式三：调用API删除 方式一：在控制台删除 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤 4 单击实例名称，进入实例详情页面。 步骤 5 在左侧导航栏选择“Vhost列表”，进入Vhost列表页面。 步骤 6 通过以下任意一种方法，删除Vhost。 勾选Vhost名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除Vhost”。 在待删除的Vhost所在行，单击“删除”。 步骤 7 在弹出的确认删除对话框中，单击“是”。 方式二：使用RabbitMQ WebUI删除 步骤 1 登录RabbitMQ WebUI。 步骤 2 在顶部导航栏选择“Admin”，进入Admin页面。 步骤 3 在右侧导航栏选择“Virtual Hosts”，进入Virtual Hosts页面。 图1 Virtual Hosts页面 步骤 4 单击待删除的Vhost名称，进入Vhost详情页。 图2 待删除的Vhost 步骤 5 在“Delete this vhost”区域，单击“Delete this virtual host”，弹出确认删除对话框。 图3 删除Vhost 步骤 6 单击“确定”，完成Vhost的删除。

本文主要介绍 支持的监控指标。 功能说明 本章节定义了分布式消息服务Kafka上报云监控服务的监控指标的命名空间，监控指标列表和维度定义，您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息，也可以通过分布式消息服务Kafka控制台提供的“监控”页面来检索Kafka实例产生的监控指标。 命名空间 SYS.DMS 实例监控指标 表 实例支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。单位：Count 0~1800 Kafka实例 1分钟 currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。单位：Count 0~1800 Kafka实例 1分钟 groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。单位：Count 0~1000000000 Kafka实例 1分钟 节点监控指标 表 节点支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） brokerdatasize 节点数据容量 该指标用于统计节点当前的消息数据大小。单位：Byte、KB、MB、GB、TB、PB 0~5000000000000 Kafka实例节点 1分钟 brokermessagesinrate 消息生产速率 该指标用于统计每秒生产的消息数量。单位：Count/s 0~500000 Kafka实例节点 1分钟 brokerbytesoutrate 消费流量 该指标用于统计每秒消费的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerbytesinrate 生产流量 该指标用于统计每秒生产的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesinrate 公网入流量 统计Broker节点每秒公网访问流入流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesoutrate 公网出流量 统计Broker节点每秒公网访问流出流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerfetchmean 消费请求平均处理时长 统计Broker节点处理消费请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokerproducemean 生产请求平均处理时长 统计Broker节点处理生产请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokercpucoreload CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。单位：% 0~20 Kafka实例节点 1分钟 brokerdiskusage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。单位：% 0~100% Kafka实例节点 1分钟 brokermemoryusage 内存使用率 该指标为Kafka节点虚拟机层面采集的内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerheapusage Kafka进程JVM堆内存使用率 该指标从Kafka节点Kafka进程JVM中采集的堆内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokeralive 节点存活状态 表示Kafka节点是否存活。 1：存活 0：离线 Kafka实例节点 1分钟 brokerconnections 连接数 统计Kafka节点当前所有TCP连接数量。单位：Count 0~65535 Kafka实例节点 1分钟 brokercpuusage CPU使用率 统计Kafka节点虚拟机的CPU使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerdiskreadawait 磁盘平均读操作耗时 该指标用于统计磁盘在测量周期内平均每个读IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokerdiskwriteawait 磁盘平均写操作耗时 该指标用于统计磁盘在测量周期内平均每个写IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokertotalbytesinrate 网络入流量 统计Broker节点每秒网络访问流入流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokertotalbytesoutrate 网络出流量 统计Broker节点每秒网络访问流出流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokerdiskreadrate 磁盘读流量 磁盘读操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟 brokerdiskwriterate 磁盘写流量 磁盘写操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟

本节主要介绍分布式消息服务Kafka主子账号和IAM权限管理 分布式消息服务Kafka已对接天翼云统一身份认证服务（IAM），可实现控制台按钮、菜单功能、OpenAPI等维度对用户访问、操作资源的权限控制等， 以达到用户权限的精细管理，保证访问的安全性。 IAM简介 统一身份认证（Identity and Access Management，简称IAM）服务，是提供用户进行权限管理的基础服务，可以帮助您安全的控制云服务和资源的访问及操作权限。目前天翼云提供对应专有的CTIAM服务，用户可申请开通后免费使用，您只需要为您帐号中的云服务和资源进行付费。具体IAM使用说明详情见：统一身份认证。 IAM涉及主要概念 主用户：用户在天翼云注册后自动创建，该用户对其所拥有的资源具有完全的访问权限，可以重置用户密码、分配用户权限等。如果需要多人共同使用天翼云资源，为了确保账号安全，建议创建子用户来进行日常管理工作。 子用户：由拥有IAM权限的用户，在用户中心创建的子用户。子用户的用户名、密码由拥有IAM权限的用户控制。子用户同样可以登录访问天翼云控制台，登录入口与主用户相同，受赋予的权限限制。 用户组：用户组是用户的集合，IAM通过用户组功能实现用户的授权。您创建的IAM用户，需要加入特定用户组后，才具备对应的权限，否则IAM用户无法访问您帐号中的任何资源或者云服务。 系统策略：由产品团队维护，系统预置的常用权限集，主要针对不同云服务的只读权限或管理员权限，比如对 ECS 的只读权限、对 ECS 的管理员权限等；系统策略在IAM控制台中只能用于授权，不能编辑和修改。 自定义策略：由用户自己在IAM控制台创建和管理的权限集，是用户可以自由定义的权限，是对系统策略的扩展和补充。 企业项目：企业项目权限实现细粒度控制的基础。将云资源、企业成员按企业项目进行管理，通过企业项目将云资源、带有权限的用户组绑定到一起，用户使用企业项目内云资源的权限受用户组的授权限制。

说明 分布式消息服务Kafka旧资费根据实例规格分为基础版和高级版，存储空间按照不同类型收费。 目前在 芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 资源池开放订购。 实例价格如下： 规格 标准资费（元/月） 标准资费（元/小时） 基础版（100 MB/s） 1300 2.71 高级版（300 MB/s ） 2100 4.38 存储空间价格如下： 存储类型 标准资费（元/G/月） 标准资费（元/G/小时） 普通 IO 0.45 0.0008 高 IO 0.6 0.0013 超高 IO 1.5 0.0032

介绍分布式消息服务Kafka删除消费组功能操作内容。 场景描述 Kafka删除消费组的场景包括： 消费组不再使用：当一个消费组不再需要使用时，可以选择删除该消费组。这可能是因为业务需求变化，或者消费组已经完成了其任务。删除消费组可以释放资源，并减少管理和维护的工作量。 重置消费者偏移量：在某些情况下，可能需要重置消费者组的偏移量，以重新开始消费消息。例如，当需要重新处理之前的消息，或者需要从最早的消息开始消费时，可以删除消费组并创建一个新的消费组来实现偏移量的重置。 清理过期的消费组：如果消费组长时间未被使用或者没有活跃的消费者，可以选择删除这些过期的消费组。这有助于减少资源占用和管理的复杂性，同时也可以提高整体性能和效率。 需要注意的是，在删除消费组之前，要确保没有任何正在运行的消费者实例与该消费组相关联。否则，删除消费组可能会导致数据丢失或其他问题。在删除消费组之前，建议先停止相关的消费者实例，并确保所有的消费者都已经退出消费组。 操作步骤 删除消费组 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，单击“更多 ”“删除”。 批量删除消费组 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，勾选其左侧目标框。 （6）点击左上角“删除消费组”按钮，完成批量删除。

本页介绍天翼云TeleDB数据库如何查询站内消息。 在消息中心模块，提供了站内消息和消息订阅的功能。站内消息包括服务订阅、系统消息、产品消息和告警消息四大类消息。 消息查询：在消息查询中可以通过消息类型的精确匹配和消息标题或消息内容的模糊匹配对消息进行过滤查询。 消息详情：单击消息标题可以查看具体消息的详情，在查看具体消息详情之后，会将推送的消息置灰。 除此之外，还能够站内消息进行删除和批量删除以及全部删除操作。当您在消息列表上方单击全部标为已读按钮时，所有消息都将置灰。

如何选择磁盘空间？ Kafka支持多副本存储，副本数量为3。存储空间包含所有副本存储空间总和，因此，您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估以及副本数量选择合适的存储空间。 例如：业务消息体积预估100GB，则磁盘容量最少应为100GB3+ 预留磁盘大小100GB。 如何选择实例带宽？ Kafka实例的网络带宽指单向（读或写）最大带宽。一般建议选择带宽时建议预留30%，确保您的应用运行更稳定。 100MB/s，业务流量为70M以内时推荐选用。 300MB/s，业务流量为210M以内时推荐选用。 Kafka支持磁盘加密吗？ 分布式消息服务Kafka不支持磁盘加密。 Kafka扩容会影响业务吗？ Kafka的扩容过程可能会对业务产生一定的影响，具体取决于您的扩容策略和实施方式。以下是一些可能的影响： 重分区和重新分配：当您需要扩容Kafka集群时，可能需要进行重分区和重新分配。这涉及到数据的重新分布和重新平衡，可能会导致一段时间内的性能下降和延迟增加。在重分区和重新分配期间，Kafka会重新分配副本、重新分区数据，并且可能需要重新加载和重新平衡消费者群组。 网络和磁盘负载增加：扩容Kafka集群意味着增加了更多的节点和副本，这可能会增加网络和磁盘的负载。数据的复制和同步可能会导致网络带宽的消耗，而新增的节点和副本可能会增加磁盘的写入和读取负载。

本节介绍分布式消息服务Kafka使用安全接入点，公网接入点等需要鉴权的接入点时，可能会遇到连接超时的问题。 使用安全接入点，公网接入点等需要鉴权的接入点时，可能会遇到连接超时等问题。 解决方法为可以在客户端机器的host文件上配置Kafka的ip。 例如用户连接Kafka的公网接入点34.28.112.101:8094,34.28.112.102:8094,34.28.112.103:8094时，出现连接超时的报错，可以在客户端机器上的/etc/hosts文件里面加上如下配置： plaintext 34.28.112.101 34.28.112.101 34.28.112.102 34.28.112.102 34.28.112.103 34.28.112.103 然后再重启客户端服务，看是否能正常生产消费。

介绍分布式消息服务Kafka主题列表功能操作内容。 场景描述 Kafka主题列表是Kafka消息队列中的一个重要概念，用于列出所有可用的主题。以下是一些Kafka主题列表的应用场景的描述： 监控和管理：通过查看Kafka主题列表，管理员可以了解当前系统中存在的所有主题。他们可以监控主题的状态、分区数量和副本分布，并进行必要的管理操作，如创建、删除和修改主题。 数据消费者选择：Kafka主题列表可以帮助数据消费者选择他们感兴趣的主题。消费者可以浏览主题列表，找到包含他们需要的数据的主题，并订阅这些主题以接收数据。 数据集成和数据流转：Kafka主题列表可以帮助数据集成和数据流转的过程。数据源可以查看主题列表，确定将数据写入哪些主题。而数据接收方可以查看主题列表，选择他们需要的主题来消费数据。 监控数据流：通过查看Kafka主题列表，监控系统可以了解当前系统中的所有数据流。监控系统可以根据主题列表中的信息，监控每个主题的数据流量、延迟和健康状况，并进行实时的监控和报警。 系统调试和故障排查：Kafka主题列表可以帮助开发人员进行系统调试和故障排查。他们可以查看主题列表，确定消息是否正确地写入和消费，并检查主题的状态和分区情况，以解决潜在的问题。 总之，Kafka主题列表提供了对Kafka消息队列中所有主题的全局视图，帮助管理员、数据消费者和开发人员进行监控、管理和调试。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后即可查看所有Topic的信息。 （5）右上角输入Topic名称，可查询对应Topic。

本文主要介绍设置实例公网访问。 当业务不再使用公网访问功能时，也可以关闭实例的公网访问功能。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 设置公网访问。 说明 只有处于“运行中”状态的Kafka实例支持修改公网访问配置。 Kafka实例只支持绑定IPv4弹性IP地址。 开启公网访问。 在“公网访问”后，单击，开启公网访问。在“弹性IP地址”中，为每个代理设置对应的弹性IP地址，单击。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。 图 公网访问 开启公网访问后，需要设置对应的安全组规则，才能成功连接Kafka。连接Kafka的具体操作请参考连接Kafka。 表安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 0.0.0.0/0 通过公网访问Kafka（关闭SSL加密）。 入方向 TCP 9095 0.0.0.0/0 通过公网访问Kafka（开启SSL加密）。 关闭公网访问。 在“公网访问”后，单击，完成公网访问的关闭。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。

日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”、“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。