本文主要介绍重置SASLSSL密码。 操作场景 在“用户管理”页签创建的SASLSSL用户，如果忘记了SASLSSL密码，通过重置SASLSSL密码功能，重新设置一个新的密码，可使用新密码连接Kafka实例。 如果忘记了创建实例时设置的SASLSSL密码，请参考重置Kafka密码，重置密码。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置SASLSSL密码。 只有处于“运行中”状态的Kafka实例支持重置SASLSSL密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击待重置SASLSSL密码的Kafka实例名称，进入实例详情页面。 步骤 5 在“用户管理”页签，在待重置SASLSSL密码的用户所在行，单击“重置密码”。 步骤 6 输入“新密码”，单击“确定”，完成密码重置。 如果重置密码成功，界面提示重置实例的密码成功。 如果重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

本文主要介绍 重置Kafka密码。 操作场景 如果您忘记了创建实例时设置的SASLSSL密码，通过重置Kafka密码功能，重新设置一个新的密码，可使用新密码连接Kafka实例。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置Kafka密码。 只有处于“运行中”状态的Kafka实例支持重置Kafka密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法，重置Kafka密码。 在需要重置Kafka密码的Kafka实例右侧，单击“更多 > 重置Kafka密码”，弹出重置Kafka密码对话框。 单击Kafka实例名称，进入实例详情页面。在“基本信息”页签，在“连接信息 > 用户名”后，单击“重置密码”，弹出重置Kafka密码对话框。 单击Kafka实例名称，进入实例详情页面。在“用户管理”页签，在待重置Kafka密码的用户所在行，单击“重置密码”，弹出重置Kafka密码对话框。 步骤 5 输入“新密码”，单击“确定”，完成密码重置。 如果重置密码成功，界面提示重置实例的密码成功。 如果重置密码失败，界面提示重置实例的密码失败，请重新尝试重置密码操作。如果多次重置失败，请联系客服处理。 说明 只有所有代理都重置密码成功，系统才会提示重置密码成功，否则会提示重置失败。

示例三：转换时变量为JSON形式 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": ${data} } plaintext { "value": { "key": "test2", "value": "test1" } } 示例四：转换时变量进行JSON转义 若希望转换的字符串保持JSON字符串格式，不破坏原有JSON的格式，可使用jsonEscape函数，如下所示： 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量： plaintext { "data": "$.data" } 模板： plaintext { "value": "${jsonEscape(data)}" } plaintext { "value": "{"key": "test2","value": "test1"}" } 空 当转换类型为空时，事件总线EventBridge将事件路由到事件目标时，对应的属性为空。如希望分布式消息服务Kafka事件目标的Key、分布式消息服务RocketMQ事件目标的Tags为空时，可以将对应属性设置为空。

本章节主要介绍如何配置作业消息通知。 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 操作步骤 1.登录管理控制台。 2.单击“服务列表”选择“管理与监管 > 消息通知服务”，进入消息通知服务页面。 3.创建主题并向主题中添加订阅，具体请参考配置消息通知。 4.进入MRS管理控制台，单击集群名称进入集群详情页面。 5.选择“告警管理 > 消息订阅规则 > 添加消息订阅规则”。 6.配置向订阅者发送作业执行结果消息的规则。 消息订阅规则参数说明 参数 说明 规则名称 用户自定义发送订阅消息的规则名称，只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启，将向订阅者发送对应订阅消息。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。 消息类型 选择“事件”。 订阅规则 1. 单击“提示”前的。 2. 单击“Manager”前的。 3. 勾选“作业执行成功”和“作业执行失败”。

本节介绍分布式消息服务Kafka连接常见问题 接入地址出现不足三个ip+端口？ 集群三台机器正常运作的情况下，接入点会出现三个ip:port连起来，当出现不足三个时候，说明其中一台机器不正常工作（没出现在接入点的机器），请尽快联系管理人员查看不正常工作的节点，尽快恢复。 实例是否支持跨VPC访问？ 实例支持跨VPC访问，可以通过创建VPC对等连接，将两个VPC的网络打通，实现跨VPC访问实例。 如何通过代理访问Kafka实例 暂不支持通过代理访问Kafka实例。 原因：客户端通过bootstrap.servers随机访问服务器获取元数据，通过元数据里的IP地址进行后续的消息收发。配置代理后，第一步正常，但在第二步时，客户端仍然通过元数据中的IP地址进行访问，导致访问不通。因此，必须保证网络全连通。 生产者会建立多少个连接到Broker？ 每个生产者通常会建立2个到Broker的TCP连接，一个TCP连接用于更新元数据，一个TCP连接用于发送消息。 VPC实例和公网/VPC实例的区别是什么？ VPC实例：仅提供VPC接入点，只能通过VPC访问。 公网/VPC实例：提供公网接入点和VPC接入点，可以通过公网访问，也可以通过VPC访问。 Kafka实例是否支持公网访问？ Kafka实例支持公网访问。使用公网访问Kafka实例的具体操作，请参考设置公网ip。

云监控服务支持哪些服务的企业项目维度的分权分域监控？ 目前，云监控服务支持的企业项目维度的分权分域资源有：弹性云主机、弹性伸缩、云硬盘、弹性IP、弹性负载均衡、云数据库、分布式缓存服务、文档数据库服务和分布式消息服务。 云监控服务哪些资源支持企业项目？ 目前，云监控服务的监控面板、监控视图、告警规则和资源分组支持按企业项目分权分域。 为什么企业项目的子用户在监控概览页面可以查看到主帐号资源信息？ 云监控服务的概览页面暂未支持按企业项目分权分域维度的查询功能，敬请期待。 为什么企业项目的子用户无法看到一键告警功能？ 云监控服务的一键告警功能只有主帐号或配置了Tenant Administrator权限的子用户才有权访问和使用。 为什么企业项目的子用户在配置告警规则时，无法选择全部资源？ 配置告警规则可选择全部资源的功能只有主帐号或配置了Tenant Administrator权限的子用户才有权使用。

该页面主要介绍分布式消息服务Kafka版的SDK，您可以根据实际业务需求进行集成。 各语言SDK下载及使用 支持语言 SDK附件 Java ctyunctgkafkajavasdkv1.0.1.zip Go ctyunctgkafkagosdkv1.0.1.zip 说明 由于运行环境的多样性，部分接口在某些特定配置下可能存在适配差异，我们的技术团队将持续优化兼容性。如有问题，可提单咨询。

为保障更优的性能，分布式消息服务MQTT上线并主推计算增强型主机类型，原通用型规格调整为白名单特性，更多产品类型信息请参阅产品规格。 调整时间 2024年11月9日 影响范围 所有区域 调整影响 新用户默认不开放主机类型通用型规格订购开通，如需要该特性，请联系技术支持开通后使用。 已购买主机类型通用型规格实例的用户，原实例仍可正常使用，续费等操作不受影响。

Hudi Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 资源池 ModelArts提供的大规模计算集群，可应用于模型开发、训练和部署。支持公共资源池和专属资源池两种，分别为共享资源池和独享资源池。ModelArts默认提供公共资源池。专属资源池需单独购买，专属使用，不与其他用户共享。 Hue Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Kafka Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Spark Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速，统一的大数据应用，对数据进行离线处理，流式处理，交互式分析等等。

本文主要介绍 支持的监控指标。 功能说明 本章节定义了分布式消息服务Kafka上报云监控服务的监控指标的命名空间，监控指标列表和维度定义，您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息，也可以通过分布式消息服务Kafka控制台提供的“监控”页面来检索Kafka实例产生的监控指标。 命名空间 SYS.DMS 实例监控指标 表 实例支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。单位：Count 0~1800 Kafka实例 1分钟 currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。单位：Count 0~1800 Kafka实例 1分钟 groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。单位：Count 0~1000000000 Kafka实例 1分钟 节点监控指标 表 节点支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） brokerdatasize 节点数据容量 该指标用于统计节点当前的消息数据大小。单位：Byte、KB、MB、GB、TB、PB 0~5000000000000 Kafka实例节点 1分钟 brokermessagesinrate 消息生产速率 该指标用于统计每秒生产的消息数量。单位：Count/s 0~500000 Kafka实例节点 1分钟 brokerbytesoutrate 消费流量 该指标用于统计每秒消费的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerbytesinrate 生产流量 该指标用于统计每秒生产的字节数。单位：Byte/s、KB/s、MB/s、GB/s 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesinrate 公网入流量 统计Broker节点每秒公网访问流入流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerpublicbytesoutrate 公网出流量 统计Broker节点每秒公网访问流出流量。单位：Byte/s、KB/s、MB/s、GB/s 说明 已开启公网访问，并且设置了弹性IP地址的实例，请在弹性公网IP服务中查看此监控指标。 0~500000000 Kafka实例节点 1分钟 brokerfetchmean 消费请求平均处理时长 统计Broker节点处理消费请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokerproducemean 生产请求平均处理时长 统计Broker节点处理生产请求平均时长。单位：ms 0~10000 Kafka实例节点 1分钟 brokercpucoreload CPU核均负载 该指标为从Kafka节点虚拟机层面采集的CPU每个核的平均负载。单位：% 0~20 Kafka实例节点 1分钟 brokerdiskusage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。单位：% 0~100% Kafka实例节点 1分钟 brokermemoryusage 内存使用率 该指标为Kafka节点虚拟机层面采集的内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerheapusage Kafka进程JVM堆内存使用率 该指标从Kafka节点Kafka进程JVM中采集的堆内存使用率。单位：% 0~100% Kafka实例节点 1分钟 brokeralive 节点存活状态 表示Kafka节点是否存活。 1：存活 0：离线 Kafka实例节点 1分钟 brokerconnections 连接数 统计Kafka节点当前所有TCP连接数量。单位：Count 0~65535 Kafka实例节点 1分钟 brokercpuusage CPU使用率 统计Kafka节点虚拟机的CPU使用率。单位：% 0~100% Kafka实例节点 1分钟 brokerdiskreadawait 磁盘平均读操作耗时 该指标用于统计磁盘在测量周期内平均每个读IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokerdiskwriteawait 磁盘平均写操作耗时 该指标用于统计磁盘在测量周期内平均每个写IO的操作时长。单位：ms >0 Kafka实例节点 1分钟 brokertotalbytesinrate 网络入流量 统计Broker节点每秒网络访问流入流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokertotalbytesoutrate 网络出流量 统计Broker节点每秒网络访问流出流量。单位：Byte/s 0~1000000000 Kafka实例节点 1分钟 brokerdiskreadrate 磁盘读流量 磁盘读操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟 brokerdiskwriterate 磁盘写流量 磁盘写操作流量。单位：Byte/s、KB/s、MB/s、GB/s >0 Kafka实例节点 1分钟

本章节主要介绍账号密码规范问题。 DMS RabbitMQ帐号密码规范 DMS帐号密码必须满足以下复杂度要求： 密码不能为空。 输入长度为8到32位的字符串。 必须包含如下四种字符中的三种组合： 小写字母 大写字母 数字 特殊字符包括（~!@$%^&()+[{}]:'", /?） 不能以开头。 密码不能和帐号及帐号的倒序相同。

本章节主要介绍创建消息通知主题。 操作场景 确定创建消息通知主题后，您可在消息通知服务的“主题管理”页面中，对对应的主题“添加订阅”，选择不同方式（例如短信或者邮件等）进行订阅；订阅成功后，若作业失败，则系统将会自动发送消息到您指定的订阅终端。 操作步骤 1.在“资源管理 > 队列管理”页面，单击左上角“创建消息通知主题”。 2.选择队列，单击“确定”。 说明 选择队列时，可以选择单个队列，也可以选择所有队列。 如果单个队列和所有队列的终端不一致，当选择了单个队列，同时选择了所有队列进行订阅时，在所有队列的消息通知中将不包含该队列的消息。 创建消息通知主题后，只有在订阅队列上创建的Spark作业失败时才会收到消息通知。 3.单击“主题管理”，跳转至消息通知服务“主题管理”页面。 4.在对应主题的“操作”栏中，单击“添加订阅”，选择“协议”，确定订阅方式。 5.通过单击邮件中的链接确认后，将收到“订阅成功”的信息。 6.在消息通知服务的“订阅”页面，对应的订阅状态为“已确认”，表示订阅成功。

本节主要介绍分布式消息服务Kafka主子账号和IAM权限管理 分布式消息服务Kafka已对接天翼云统一身份认证服务（IAM），可实现控制台按钮、菜单功能、OpenAPI等维度对用户访问、操作资源的权限控制等， 以达到用户权限的精细管理，保证访问的安全性。 IAM简介 统一身份认证（Identity and Access Management，简称IAM）服务，是提供用户进行权限管理的基础服务，可以帮助您安全的控制云服务和资源的访问及操作权限。目前天翼云提供对应专有的CTIAM服务，用户可申请开通后免费使用，您只需要为您帐号中的云服务和资源进行付费。具体IAM使用说明详情见：统一身份认证。 IAM涉及主要概念 主用户：用户在天翼云注册后自动创建，该用户对其所拥有的资源具有完全的访问权限，可以重置用户密码、分配用户权限等。如果需要多人共同使用天翼云资源，为了确保账号安全，建议创建子用户来进行日常管理工作。 子用户：由拥有IAM权限的用户，在用户中心创建的子用户。子用户的用户名、密码由拥有IAM权限的用户控制。子用户同样可以登录访问天翼云控制台，登录入口与主用户相同，受赋予的权限限制。 用户组：用户组是用户的集合，IAM通过用户组功能实现用户的授权。您创建的IAM用户，需要加入特定用户组后，才具备对应的权限，否则IAM用户无法访问您帐号中的任何资源或者云服务。 系统策略：由产品团队维护，系统预置的常用权限集，主要针对不同云服务的只读权限或管理员权限，比如对 ECS 的只读权限、对 ECS 的管理员权限等；系统策略在IAM控制台中只能用于授权，不能编辑和修改。 自定义策略：由用户自己在IAM控制台创建和管理的权限集，是用户可以自由定义的权限，是对系统策略的扩展和补充。 企业项目：企业项目权限实现细粒度控制的基础。将云资源、企业成员按企业项目进行管理，通过企业项目将云资源、带有权限的用户组绑定到一起，用户使用企业项目内云资源的权限受用户组的授权限制。

本节介绍分布式消息服务Kafka客户端参数配置 根据实际业务场景，客户端参数配置适当的值，客户端参数列表及说明如下所示： 表1.生产者客户端 参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔，建议设置为1000。单位：毫秒。 acks 发送消息的持久化机制。为了提升发送性能， 建议设置为acks1。acks0：无需服务端的Response，性能较高、丢数据风险较大。acks1：服务端主节点写成功即返回Response，性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall：服务端主节点写成功且备节点同步成功才返回Response，性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时，就会触发一次网络请求，然后Producer客户端把消息批量发往服务器。如果batch.size设置过小，有可能影响发送性能和稳定性。建议保持默认值16384。单位：字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间，Producer客户端就会忽略batch.size的限制，立即把消息发往服务器。建议根据业务场景， 将linger.ms设置在100~1000之间。单位：毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略，可提升发送性能。发送客户端2.4及以上版本，默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小，则有可能导致申请内存耗时过长，从而影响发送性能，甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位：字节。 表2.消费者客户端参数 参数 说明 fetch.min.bytes 消费者从服务端获取数据的最小字节数。设置该参数时请尽量评估消息发送端的消息量，若设置过大可能会导致消费端延迟增大，过小可能会导致消费端频繁拉取消息。单位：字节。 fetch.max.wait.ms 服务端等待的最大时间。单位：毫秒。如果使用Local存储引擎，配置了fetch.min.bytes参数，服务器会等待足够的数据才会返回。超过此时间即使没有足够数据也会返回。如果是云存储引擎，一旦有新数据发送进来， 服务器就会结束等待，不需要等待fetch.min.bytes的值。 max.partion.fetch.bytes 每个分区返回的最大字节数。单位：字节。 session.timeout.ms 消费端发送心跳的时间间隔，如果在心跳时间间隔内没有发送心跳，则服务端会认为消费者死亡，从而触发Rebalance，Rebalance期间客户端将会停止消费数据等待Rebalance完成。建议将此参数设置为3000060000。单位：毫秒。默认有效值：6000300000。 max.poll.records 每次Poll获取的最大消息数量，若此值设置过大则需要尽快处理业务逻辑，避免处理过慢影响下一次Poll数据，从而导致在session.timeout.ms时间内没有发送心跳引起Rebalance。建议该值小于 的值。重要 在Java Client 0.10.1及其以上版本有单独的线程发送心跳，小于此版本或者其他语言的客户端都需考虑处理数据时间和发送心跳的间隔，防止频繁Rebalance影响正常消费。 max.poll.interval.ms 最大的Poll间隔时间，仅在Java Client 0.10.1及其以上版本需配置该参数。如果在间隔时间内消费者没有发送Poll请求，即使在session.timeout.ms参数设置的时间内发送了心跳。服务端也会认为消费者死亡，从而触发Rebalance。因此需注意此值需要合理设置，建议该值大于 的值。通常使用默认值即可。单位：毫秒。默认值：300000。 enable.auto.commit 是否采用自动提交位点机制。true：默认采用自动提交机制。false：不采用自动提交机制。默认值：true。 auto.commit.interval.ms 自动提交位点时间间隔。默认值为1000，单位：毫秒。 auto.offset.reset 消费位点重置策略。latest：从最大位点开始消费。earliest：从最小位点开始消费。none：不做任何操作，即不重置。说明建议设置成latest，而不要设置成earliest，避免因位点非法时从头开始消费，从而造成大量重复。如果是您自己管理位点，可以设置为none。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

本章节主要介绍翼MapReduce服务的集群管理功能。 集群生命周期管理 翼MR支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型，组件范围，各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，翼MR将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群，比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群：当按需计费的集群不再需要时（包括集群中的数据和配置），用户可以选择删除集群，翼MR会将集群相关的资源全部删除。 创建集群 通过在翼MR服务管理面，客户可以按需创建翼MR集群，通过选择集群所建的区域及使用的云资源规格，一键式创建适合企业业务的翼MR集群。翼MR服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的翼MR集群资源完全归客户所用。同时翼MR支持在最小可在两节点4U8G的ECS上部署大数据集群，为客户测试开发提供更多的灵活选择。 翼MR集群类型包括分析集群、流式集群和混合集群。 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，又可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：根据业务需求，可以灵活搭配所需组件（翼MR 3.x及后续版本）。 翼MR集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点，分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。 Core节点：支持存储和计算两种目标的节点，可扩容、缩容。因承载的数据存储，因此在缩容时，为保证数据不丢失，有较多限制，无法进行弹性伸缩。 Task节点：仅用于计算的节点，可扩容、缩容。因只承载计算任务，因此可以进行弹性伸缩。 翼MR创建集群方式支持自定义创建集群和快速创建集群两种。 自定义创建集群：自定义创建可以灵活地选择计费模式、配置项，针对不同的应用场景，可以选择不同规格的弹性云服务器，全方位贴合您的业务诉求。 快速创建集群：用户可以根据应用场景，快速创建对应配置的集群，提高了配置效率，更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。 − Hadoop分析集群：Hadoop分析集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框等Hadoop生态圈的组件，进行海量数据分析与查询。 − HBase集群：HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 − Kafka集群：Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。

介绍分布式消息服务Kafka修改用户的功能操作内容。 场景描述 当前主要支持重置用户密码：当用户忘记密码或需要更改密码时，可以通过修改用户密码来实现。这有助于保护用户账户的安全性，防止未经授权的访问和操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面，点击“修改”。 （5）点击“修改”后，在弹窗中可以修改密码和对应描述。

说明 分布式消息服务Kafka旧资费根据实例规格分为基础版和高级版，存储空间按照不同类型收费。 目前在 芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 资源池开放订购。 实例价格如下： 规格 标准资费（元/月） 标准资费（元/小时） 基础版（100 MB/s） 1300 2.71 高级版（300 MB/s ） 2100 4.38 存储空间价格如下： 存储类型 标准资费（元/G/月） 标准资费（元/G/小时） 普通 IO 0.45 0.0008 高 IO 0.6 0.0013 超高 IO 1.5 0.0032

介绍分布式消息服务Kafka删除消费组功能操作内容。 场景描述 Kafka删除消费组的场景包括： 消费组不再使用：当一个消费组不再需要使用时，可以选择删除该消费组。这可能是因为业务需求变化，或者消费组已经完成了其任务。删除消费组可以释放资源，并减少管理和维护的工作量。 重置消费者偏移量：在某些情况下，可能需要重置消费者组的偏移量，以重新开始消费消息。例如，当需要重新处理之前的消息，或者需要从最早的消息开始消费时，可以删除消费组并创建一个新的消费组来实现偏移量的重置。 清理过期的消费组：如果消费组长时间未被使用或者没有活跃的消费者，可以选择删除这些过期的消费组。这有助于减少资源占用和管理的复杂性，同时也可以提高整体性能和效率。 需要注意的是，在删除消费组之前，要确保没有任何正在运行的消费者实例与该消费组相关联。否则，删除消费组可能会导致数据丢失或其他问题。在删除消费组之前，建议先停止相关的消费者实例，并确保所有的消费者都已经退出消费组。 操作步骤 删除消费组 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，单击“更多 ”“删除”。 批量删除消费组 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“消费组管理”后进入消费组管理页面。 （5）在目标消费组所在行，勾选其左侧目标框。 （6）点击左上角“删除消费组”按钮，完成批量删除。

本小节介绍如何设置告警通知。 开启告警通知功能后，您能接收到主机安全服务发送的告警通知，及时了解主机/容器/网页内的安全风险。否则，无论是否有风险，您都只能登录管理控制台自行查看，无法收到报警信息。 告警通知设置仅在当前区域生效，若需要接收其他区域的告警通知，请切换到对应区域后进行设置。 告警通知信息可能会被误拦截，若您未收到相关告警信息，请在信息拦截中查看。 前提条件 在设置告警通知前： “告警方式”如果选择“消息中心”，建议您在右上角“消息中心”单击“消息接收管理”进入消息接收配置页面，在“安全消息>安全事件通知”上方添加或在“操作”列“修改”消息接收人。 告警方式”如果选择“消息主题”，建议您先以管理员身份在“消息通知服务”中创建“消息主题”。 开启告警通知 1、登录管理控制台。 2、在页面左上角选择“区域”，选择“安全>企业主机安全”，进入“企业主机安全”页面。 3、在弹窗界面单击“体验新版”，切换至主机安全服务页面。切换至新版后，在总览页左上角单击“返回旧版”，可切换至主机安全（旧版）。 4、在左侧导航树选择“安装与配置”，选择“告警配置”页签，进入“告警配置”页面，配置参数说明请参见表。 告警配置页面 告警配置参数 通知项 说明 选择建议 每日告警通知 每日凌晨，主机安全服务将主动检测主机系统中的帐号、Web目录、漏洞、恶意程序及关键配置等，汇总各项检测结果后，将检测结果发送给您在“消息中心”中添加的消息接收人，或者在“消息通知服务主题”中添加的订阅终端。 单击“查看每日告警默认通知事件”可查看通知项。 接收并定期查看每日告警通知中所有的内容，能有效降低主机中未及时处理的风险成为主机安全隐患的概率。 由于每日告警中通知项的内容较多，如果您使用的“消息通知服务”，接收告警通知，建议您选择“订阅终端”配置为“邮箱”的“消息通知服务主题”。 实时告警通知 当攻击者入侵主机时，主机安全服务将按照选定的“消息中心”或者“消息通知服务主题”为您告警。 单击“查看实时告警默认通知事件”可查看通知项。 建议您接收实时告警通知中所有的内容并及时查看。企业安全服务实时监测主机中的安全情况，能监测到攻击者入侵主机的行为，接收实时告警通知能快速处理攻击者入侵主机的行为。 由于实时告警中通知项的内容紧急度较高，如果您使用的“消息通知服务”，接收告警通知，建议您选择“订阅终端”配置为“短信”的“消息通知服务主题”。 告警等级 自定义勾选通知的告警等级。 选择全部。 屏蔽事件 选择无需发送告警通知的事件。 展开选框可自定义选择不发送告警的事件类型。 根据[]( " ")[告警通知项说明](

本文主要介绍设置实例公网访问。 当业务不再使用公网访问功能时，也可以关闭实例的公网访问功能。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例的“基本信息”页签。 步骤 5 设置公网访问。 说明 只有处于“运行中”状态的Kafka实例支持修改公网访问配置。 Kafka实例只支持绑定IPv4弹性IP地址。 开启公网访问。 在“公网访问”后，单击，开启公网访问。在“弹性IP地址”中，为每个代理设置对应的弹性IP地址，单击。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。 图 公网访问 开启公网访问后，需要设置对应的安全组规则，才能成功连接Kafka。连接Kafka的具体操作请参考连接Kafka。 表安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 0.0.0.0/0 通过公网访问Kafka（关闭SSL加密）。 入方向 TCP 9095 0.0.0.0/0 通过公网访问Kafka（开启SSL加密）。 关闭公网访问。 在“公网访问”后，单击，完成公网访问的关闭。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。

如何选择磁盘空间？ Kafka支持多副本存储，副本数量为3。存储空间包含所有副本存储空间总和，因此，您在创建Kafka实例，选择初始存储空间时，建议根据业务消息体积预估以及副本数量选择合适的存储空间。 例如：业务消息体积预估100GB，则磁盘容量最少应为100GB3+ 预留磁盘大小100GB。 如何选择实例带宽？ Kafka实例的网络带宽指单向（读或写）最大带宽。一般建议选择带宽时建议预留30%，确保您的应用运行更稳定。 100MB/s，业务流量为70M以内时推荐选用。 300MB/s，业务流量为210M以内时推荐选用。 Kafka支持磁盘加密吗？ 分布式消息服务Kafka不支持磁盘加密。 Kafka扩容会影响业务吗？ Kafka的扩容过程可能会对业务产生一定的影响，具体取决于您的扩容策略和实施方式。以下是一些可能的影响： 重分区和重新分配：当您需要扩容Kafka集群时，可能需要进行重分区和重新分配。这涉及到数据的重新分布和重新平衡，可能会导致一段时间内的性能下降和延迟增加。在重分区和重新分配期间，Kafka会重新分配副本、重新分区数据，并且可能需要重新加载和重新平衡消费者群组。 网络和磁盘负载增加：扩容Kafka集群意味着增加了更多的节点和副本，这可能会增加网络和磁盘的负载。数据的复制和同步可能会导致网络带宽的消耗，而新增的节点和副本可能会增加磁盘的写入和读取负载。

本节介绍如何配置Kafka数据转储至OBS。 本章节介绍如何创建转储的Smart Connect任务，通过Smart Connect任务可以将Kafka实例中的数据转储至OBS中，实现消息数据的备份。 源Kafka实例中的数据会实时同步到转储文件中。 约束与限制 一个实例最多创建18个Smart Connect任务。 Smart Connect任务创建成功后，不支持修改任务参数。 前提条件 已开启Smart Connect。 已创建Kafka实例，且实例状态为“运行中”。 已创建的OBS桶和Kafka实例需要在同一个区域。 配置Kafka数据转储至OBS 1、登录管理控制台。 2、在管理控制台左上角单击，选择Kafka实例所在的区域。 3、在管理控制台左上角单击，选择“应用服务 > 分布式消息服务 Kafka”，进入分布式消息服务Kafka专享版页面。 4、单击Kafka实例名称，进入实例详情页面。 5、在左侧导航栏单击“Smart Connect”，进入Smart Connect任务列表页面。 6、单击“创建Smart Connect任务”，进入“创建smart connect”页面。 7、在“connect任务名称”中，输入Smart Connect任务的名称，用于区分不同的Smart Connect任务。任务名称需要符合命名规则：长度为4~64个字符，只能由英文字母、数字、中划线、下划线组成。 8、在“预置类型”中，选择“转储”。 9、在“源端配置”中，保持默认设置。 10、在“Topic配置”中，设置以下参数。 表11 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic，并进行转储。 输入/选择 输入/选择待转储的Topic名称，支持选择多个Topic，以逗号“,”分隔。最多输入/选择20个Topic。 11、在“目标端配置”中，设置以下参数。 表12 目标端参数说明 参数 参数说明 转储启动偏移量 支持以下两种转储启动偏移量： 最早：最小偏移量，即读取最早的数据。 最新：最大偏移量，即获取最新的数据。 数据转储周期 两次转储的时间间隔，单位：秒，默认配置为300秒。 若某个时间段内无数据，则此时间段不会生成打包文件 AK 访问密钥ID。 SK 与访问密钥ID结合使用的密钥。 转储地址 设置存储Topic数据的OBS桶的名称。 选择：在下拉列表中选择已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。 输入：输入已创建的OBS桶名称，或者单击“创建转储地址”，新创建一个OBS桶。输入的OBS桶必须和Kafka实例在同一个区域。 转储目录 OBS中存储Topic的目录，多级目录可以用“/”进行分隔。 时间目录格式 数据将存储在转储目录下的时间目录中，时间目录是按时间格式作为层级的目录。例如，当选择的时间目录格式精确到日时，存储目录为：“桶名称/转储目录/年/月/日”。 记录分隔符 在下拉列表中选择一种分隔符，分隔不同的转储记录 存储Key 是否转储Key，开启表示转储Key，关闭表示不转储Key。 说明 消息进行转储时，不支持以Key作为文件名。 12、单击“立即创建”，跳转到Smart Connect任务列表页面，页面右上角显示“创建xxx任务成功”。 结束

介绍分布式消息服务Kafka主题列表功能操作内容。 场景描述 Kafka主题列表是Kafka消息队列中的一个重要概念，用于列出所有可用的主题。以下是一些Kafka主题列表的应用场景的描述： 监控和管理：通过查看Kafka主题列表，管理员可以了解当前系统中存在的所有主题。他们可以监控主题的状态、分区数量和副本分布，并进行必要的管理操作，如创建、删除和修改主题。 数据消费者选择：Kafka主题列表可以帮助数据消费者选择他们感兴趣的主题。消费者可以浏览主题列表，找到包含他们需要的数据的主题，并订阅这些主题以接收数据。 数据集成和数据流转：Kafka主题列表可以帮助数据集成和数据流转的过程。数据源可以查看主题列表，确定将数据写入哪些主题。而数据接收方可以查看主题列表，选择他们需要的主题来消费数据。 监控数据流：通过查看Kafka主题列表，监控系统可以了解当前系统中的所有数据流。监控系统可以根据主题列表中的信息，监控每个主题的数据流量、延迟和健康状况，并进行实时的监控和报警。 系统调试和故障排查：Kafka主题列表可以帮助开发人员进行系统调试和故障排查。他们可以查看主题列表，确定消息是否正确地写入和消费，并检查主题的状态和分区情况，以解决潜在的问题。 总之，Kafka主题列表提供了对Kafka消息队列中所有主题的全局视图，帮助管理员、数据消费者和开发人员进行监控、管理和调试。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后即可查看所有Topic的信息。 （5）右上角输入Topic名称，可查询对应Topic。

Kafka 是按分区一条一条消息顺序向前推进消费的，如果消费端拿到某条消息后执行消费逻辑失败，比如应用服务器出现了脏数据，导致某条消息处理失败，等待人工干预，那么有以下两种处理方式： 失败后一直尝试再次执行消费逻辑。这种方式有可能造成消费线程阻塞在当前消息，无法向前推进，造成消息堆积。 由于 Kafka 自身没有处理失败消息的设计，实践中通常会打印失败的消息、或者存储到某个服务（比如创建一个 Topic 专门用来放失败的消息），然后定时 check 失败消息的情况，分析失败原因，根据情况处理。

本文为您介绍分布式消息服务MQTT退订内容。 针对天翼云分布式消息服务MQTT退订操作，具体请参考退订流程。 退订规则说明 客户（天翼云用户）可根据需要，在符合天翼云退订规则的前提下，灵活退订资源。目前退订包含七天无理由全额退订和非七天无理由退订以及其他退订。 七天无理由全额退订。新购资源实例（不包含进行了续订、规格升级、扩容、操作系统变更、按需计费转包周期等操作的资源）在满足以下全部条件的前提下，享受七天无理由全额退订： 在资源开通的7天内发起退订； 发起退订操作的账号（“退订账号”）七天无理由全额退订次数不超过3次（每账号享有3次七天无理由全额退订次数）； 同一用户累计使用的七天无理由全额退订次数不超过15次。其中，同一用户是指：根据不同天翼云账号在注册、登录、使用中的关联信息，关联信息相同天翼云判断其实际为同一用户。关联信息举例：同一名称、同一邮箱、同一负责人证件、同一手机号、同一设备、同一IP地址等（包括已注销的账号）。 客户同意天翼云使用上述信息核查同一用户情况 。 成套资源退订属于退订一个资源实例，记为1次退订。 注意 七天无理由退订仅限于新购资源的情形，若新购资源在7天内进行了续订或变更（包含但不限于规格升级、扩容、操作系统变更、按需计费转包周期），退订时按非七天无理由退订处理，需要收取相应的使用费用和退订手续费，且不退还代金券及优惠券。 参与活动购买的云产品，如若本退订规则与活动规则冲突，以活动规则为准；活动中说明“不支持退订”的云服务资源不支持退订。 执行退订操作前，请确保退订的资源数据已完成备份或迁移，退订完成后的资源将被完全删除，且不可恢复，请谨慎操作。

本章介绍分布式缓存服务Redis版的典型应用场景。 Redis应用场景 很多大型电商网站、视频直播和游戏应用等，存在 大规模数据访问 ，对 数据查询效率要求高 ，且 数据结构简单 ， 不涉及太多关联查询 。这种场景使用Redis，在速度上对传统磁盘数据库有很大优势，能够有效减少数据库磁盘IO，提高数据查询效率，减轻管理维护工作量，降低数据库存储成本。Redis对传统磁盘数据库是一个重要的补充，成为了互联网应用，尤其是支持高并发访问的互联网应用必不可少的基础服务之一。 以下举几个典型样例： 1. （电商网站）秒杀抢购 电商网站的商品类目、推荐系统以及秒杀抢购活动，适宜使用Redis缓存数据库。 例如秒杀抢购活动，并发高，对于传统关系型数据库来说访问压力大，需要较高的硬件配置（如磁盘IO）支撑。Redis数据库，单节点QPS支撑能达到10万，轻松应对秒杀并发。实现秒杀和数据加锁的命令简单，使用SET、GET、DEL、RPUSH等命令即可。 2. （视频直播）消息弹幕 直播间的在线用户列表，礼物排行榜，弹幕消息等信息，都适合使用Redis中的SortedSet结构进行存储。 例如弹幕消息，可使用ZREVRANGEBYSCORE排序返回，在Redis5.0中，新增了zpopmax，zpopmin命令，更加方便消息处理。 3. （游戏应用）游戏排行榜 在线游戏一般涉及排行榜实时展现，比如列出当前得分最高的10个用户。使用Redis的有序集合存储用户排行榜非常合适，有序集合使用非常简单，提供多达20个操作集合的命令。 4. （社交APP）返回最新评论/回复 在web类应用中，常有“最新评论”之类的查询，如果使用关系型数据库，往往涉及到按评论时间逆排序，随着评论越来越多，排序效率越来越低，且并发频繁。 使用Redis的List（链表），例如存储最新1000条评论，当请求的评论数在这个范围，就不需要访问磁盘数据库，直接从缓存中返回，减少数据库压力的同时，提升APP的响应速度。

本节介绍分布式消息服务Kafka使用安全接入点，公网接入点等需要鉴权的接入点时，可能会遇到连接超时的问题。 使用安全接入点，公网接入点等需要鉴权的接入点时，可能会遇到连接超时等问题。 解决方法为可以在客户端机器的host文件上配置Kafka的ip。 例如用户连接Kafka的公网接入点34.28.112.101:8094,34.28.112.102:8094,34.28.112.103:8094时，出现连接超时的报错，可以在客户端机器上的/etc/hosts文件里面加上如下配置： plaintext 34.28.112.101 34.28.112.101 34.28.112.102 34.28.112.102 34.28.112.103 34.28.112.103 然后再重启客户端服务，看是否能正常生产消费。

本章节主要介绍监控告警类问题。 云监控无法展示RabbitMQ监控数据 监控数据无法展示，可能原因：队列名称开头包含特殊字符，例如点号“.”、下划线“”，建议删除带特殊字符的队列。 云监控显示通道数一直上升报警有影响吗？ 一个连接最大通道数是2047，超过后再创建通道数会失败，建议排查是否为资源没有释放导致的。

本文主要介绍 删除Topic。 本章节指导您删除Topic，请根据实际情况选择以下任意一种方式： 在控制台删除 在Kafka客户端上删除 前提条件 已创建Kafka实例，并且已创建Topic。 只有运行中的实例才可以删除Topic。 在控制台删除 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 选择“Topic管理”页签，显示已创建的Topic详情。 步骤 6 通过以下任意一种方法，删除Topic。 勾选Topic名称左侧的方框，可选一个或多个，单击信息栏左上侧的“删除Topic”。 在待删除Topic所在行，单击“更多 > 删除”。 步骤 7 在“删除Topic”对话框中，单击“是”，确认删除Topic。 在Kafka客户端上删除 Kafka客户端版本为2.2以上 时，支持通过kafkatopics.sh删除Topic。 未开启SASL的Kafka实例，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令删除Topic。 ./kafkatopics.sh bootstrapserver {brokerip}:{port} delete topic {topicname} 已开启SASL的Kafka实例，通过以下步骤删除Topic。 （可选）如果已经设置了SSL证书配置，请跳过此步骤。否则请执行以下操作。在Kafka客户端的“/config”目录中创建“ssluserconfig.properties”文件，参考步骤3增加SSL证书配置。 在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过以下命令删除Topic。 ./kafkatopics.sh bootstrapserver {brokerip}:{port} delete topic {topicname} commandconfig ./config/ssluserconfig.properties

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

本文主要介绍 修改配置参数。 操作场景 分布式消息服务Kafka为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 1.1.0版本实例的参数都为静态参数，2.3.0/2.7版本实例的参数分为动态参数和静态参数： 动态参数：动态参数修改成功后，无需重启实例，立即生效。 静态参数：静态参数修改成功后，需要手动重启实例才能生效。 说明 部分老实例不支持修改配置参数，具体以控制台为准，此时请联系客服解决。 前提条件 Kafka实例的状态为“运行中”时，才能修改配置参数。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在“配置参数”页签，在待修改参数所在行，单击“编辑”，修改配置参数。1.1.0版本实例的参数说明如下表所示，2.3.0/2.7版本实例的参数说明如下表所示。 表动态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true 表 静态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 表动态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true 表静态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 说明 如果需要批量修改参数，单击“批量编辑”，可以一次性编辑多个动态参数或静态参数的运行值。 如果需要恢复默认值，在待修改参数后，单击“恢复默认”。 步骤 6 单击“保存”，完成参数的修改。 说明 动态参数修改成功后，无需重启实例，立即生效。 静态参数修改成功后，需要手动重启实例才能生效。