参数 参数类型 说明 示例 下级对象 brokerName String Broker名称 broker1 queueId Integer 队列ID 0 storeSize Integer 存储大小 1240 queueOffset Integer 队列偏移量 0 sysFlag Integer 系统标识 0 bornTimestamp Long 消息生成时间戳 1763433803612 bornHost String 消息生成主机地址及端口 192.168.1.138:63894 storeTimestamp Long 消息存储时间戳 1763433803618 storeHost String 消息存储主机地址及端口 192.168.1.140:9600 msgId String 消息唯一标识 C0A8018C00002580000000257833D8FF commitLogOffset Long 提交日志偏移量 160930453759 bodyCRC Integer 消息体CRC校验值 183478142 reconsumeTimes Integer 重新消费次数 0 preparedTransactionOffset Integer 预处理事务偏移量 0 topic String 消息主题 topicTest properties Object 消息属性集合 properties messageBody String 消息体内容 WebTestTools status String 消息状态 TOCONSUME messageBodyPath String 消息体路径 null bodySize Integer 消息体大小 1024 表 properties

专属云Kafka的产品服务与公有云Kafka的产品规格保持一致，由两种服务资源组成，队列规格、队列存储。 其中队列计算规格按消息队列基准带宽分为4种分别是：100MB/s、300MB/s、600MB/s、1200MB/s； 存储类型分2种，分别如下：高I/O、超高I/O。

接口功能介绍 根据MessageKey查询消息 接口约束 无 URI GET /v3/message/queryByKey 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 prodInstId 是 String 实例ID topicName 是 String 主题名字 key 是 String 用于查询的消息KEY值 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池编码 200000002368 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode String 接口系统层面状态码。成功：800，失败：900 message String 描述状态 returnObj Object 返回对象 returnObj error String 错误码，只有非成功才有这个字段，方便快速定位问题 201 表 returnObj 参数 参数类型 说明 示例 下级对象 total Integer 总记录数。 1 rows Array of Objects 消息详情列表。 rows 表 rows 参数 参数类型 说明 示例 下级对象 queueId Integer 队列ID。 3 storeSize Integer 存储大小。 485 queueOffset Integer 队列偏移量。 7 sysFlag Integer 系统标记。 0 bornTimestamp Long 消息生成时间戳。 1661857434591 bornHost String 消息生成主机地址。 192.168.71.1:55492 storeTimestamp Long 消息存储时间戳。 1661857434599 storeHost String 消息存储主机地址。 192.168.71.188:8422 msgId String 消息ID。 C0A847BC000020E600000000000045FE commitLogOffset Long 提交日志偏移量。 17918 bodyCRC Integer 消息体CRC校验值。 979262990 reconsumeTimes Integer 重试次数。 0 preparedTransactionOffset Long 预处理事务偏移量。 0 topic String 主题名称。 test properties Map of String 消息属性。 properties messageBody String 消息体内容。 status String 消息状态。 null

本页介绍分布式融合数据库HTAP的告警历史功能。 告警历史简介 在告警历史页面，可查看告警历史记录，支持对历史告警消息进行查询与搜索。 操作场景 用户可以通过控制台的“管理中心告警中心告警历史”中查看实例的异常触发告警的历史记录，告警历史包括用户开通的所有类型的数据库实例的告警历史，可通过筛选查询所需的历史记录。 操作步骤 搜索历史告警消息，可通过复杂查询筛选对应条件的告警历史。查询参数包括： 时间范围 告警类型 告警级别 告警状态 指定实例名称或主机IP 告警历史记录包含信息有： 告警对象：区分不同数据库类型的实例 实例名称/实例ID：实例的名称和ID。 发生时间：告警触发时间节点。 持续时间：告警持续的时长。 策略名称：触发告警的策略名称。 告警详情：触发告警的场景详细信息。 告警级别：告警等级，包括普通、告警、紧急三种告警等级，紧急程度从小到大逐步增加。 状态：告警状态，包括告警中、被抑制、静默中、已恢复四种状态。

本节主要介绍如何进行实例配置管理 管理控制台提供Redis实例运行日志查询，可查询redis节点的运行日志。通过查询运行日志，可进行故障排查、性能监控、运维管理等。当Redis出现异常、错误或崩溃时，通过查看日志可以获取关于故障发生的详细信息，帮助定位问题的根本原因。日志中可能包含错误消息、警告、异常堆栈跟踪等，有助于开发人员或运维人员迅速定位和修复故障。 前提条件 已成功开通分布式缓存服务Redis实例，且实例处于运行中状态。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情页面。 4. 点击左侧 日志管理>运行日志，进入运行日志页面。 5. 选择具体Redis节点，即可查看所选节点下的运行日志情况。 6. 点击下载日志，选择日期和Redis节点，可下载运行日志到本地。下载日志仅支持下载最近7天中的其中1天。

本节介绍了云数据库GaussDB的产品定义及架构。 云数据库GaussDB 是分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳定可靠，扩展性强，性能优越的企业级数据库服务。 GaussDB分布式形态整体架构 GaussDB 分布式形态整体架构如下： Coordinator Node：协调节点CN，负责接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行。 GTM：全局事务管理器（Global Transaction Manager），负责生成和维护全局事务ID、事务快照、时间戳、Sequence信息等全局唯一的信息。 Data Node：数据节点DN，负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及向CN返回执行结果。 GaussDB主备版形态整体架构 GaussDB 主备版形态整体架构如下： ETCD：分布式键值存储系统（Editable Text Configuration Daemon）。用于共享配置和服务发现（服务注册和查找）。 CMS：集群管理模块（Cluster Manager）。管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行。 Data Node：数据节点DN，负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及返回执行结果。

响应消息头 描述 说明 XRequestId 请求ID 所有合法请求，都会返回此参数 XApigLatency 从API网关接收请求到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug时，返回此参数 XApigUpstreamLatency 从API网关请求后端到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug，且后端服务类型不为Mock时，返回此参数 XApigRateLimitapi API流量控制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了API流量控制时，返回此参数 XApigRateLimituser 用户流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了用户流量限制时，返回此参数 XApigRateLimitapp 应用流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了应用流量限制时，返回此参数 XApigRateLimitip 源IP流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了源IP流量限制时，返回此参数 XApigRateLimitapiallenv API默认流控信息 示例：remain:199,limit:200,time:1 second 仅在请求消息头包含XApigMode: debug时，返回此参数

本章主要介绍API发布常见问题。 对API的修改是否需要重新发布？ API发布后，如果再次编辑API参数，需要重新发布才能将修改后的信息同步到环境中。 API发布到RELEASE环境可以正常访问，发布到非RELEASE环境无法访问？ API发布到非RELEASE环境，添加xstage请求消息头后即可访问， 例如： r.Header.Add("xstage", "RELEASE") API发布到不同环境后，会调用不同的后端服务吗？ 使用环境变量，或者在后端服务定义不同的参数，可以实现API发布到不同环境时，调用不同的后端服务。 API调试的时候，如何指定环境？ 不能指定。API控制台提供的调试功能，用的是特定的debug环境，调试完成后需先发布到对应环境，之后可使用代码或者postman等工具，并添加请求消息头XStage，才能访问指定环境。

此小节介绍云堡垒机管理消息与新建系统公告。 消息中心是系统内各类消息接收提示管理中心。系统公告是对系统用户广播系统内重大变更的消息提醒。 管理消息列表 消息中心小窗可呈现最新三条未读消息。任务执行完成后，则可在任务中心查看全部任务。 消息类型共有5种，分别包括系统消息、业务消息、任务消息、命令告警、工单消息。 消息级别共有3种，分别包括“高”、“中”、“低”，消息级别越高代表消息重要程度越高。 本小节主要介绍如何在消息中心查看、删除、标记消息。 查看消息提醒 1. 登录云堡垒机系统。 2. 单击右上角，展开消息中心小窗口， 可查看最新三条未读消息。 3. 单击“查看更多”，进入消息中心列表页面。 4. 查询消息，在搜索框中输入关键字，根据消息标题内容快速查询消息。 5. 查看消息列表。消息按发生时间顺序倒序排列，可查看全部已读、未读的消息 。 6. 查看消息详情。单击目标消息名称，进入消息详情页面。 删除消息提醒 1. 登录云堡垒机系统。 2. 单击右上角，展开消息中心小窗口，可查看最新三条未读消息。 3. 单击“查看更多”，进入消息中心列表页面。 4. 勾选一条或多条消息，单击左下角“删除”，弹出删除消息确认窗口。 5. 单击“确定”，即可立即删除选中消息。消息删除后不可找回，请谨慎操作。

操作场景 天翼云分布式消息Kafka自集成了一整套监控方案，对Kafka实例的运行状态进行日常监控，可以通过管理控制台查看Kafka实例各项监控指标。各项监控指标可以分为实例监控、实例节点监控、主题监控、消费组监控和Connect监控，各项监控指标的具体细节如下表所示。 操作前提 已开通天翼云Kafka实例，且实例状态为“运行中” Kafka 实例是天翼云Ⅱ类资源池实例，目前Ⅱ类资源池包括：华东1、上海36、华北2、长沙42、武汉41、西安7、杭州7、青岛20、西南1、西南2、广州4、郑州5、华南2等 监控指标 监控项的数据聚合周期为1分钟，即1分钟计算一次，计算出来每秒字节数。您可以将该数据理解为一分钟内的平均值。 1. 实例监控 指标ID 指标名称 指标含义 取值范围 单位 currentbrokers 存活节点数 该指标用于统计Kafka实例中正常运行的实例节点数 0~50 Count currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。 0~2000 Count currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。 0~2000 Count groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。 >0 Count instancebytesinrate 生产流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancebytesoutrate 消费流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancemessagesinrate 消息生产速率 该指标用于统计实例每秒生产的消息数。 >0 Count/s instancemessagesoutrate 消息消费速率 该指标用于统计实例每秒消费的消息数。 注意：2025年1月及以后购买的实例，支持此监控项。 >0 Count/s instancerequestqueuesize 实例请求队列长度 该指标用于统计实例请求队列长度。 >0 Count instanceresponsequeuesize 实例响应队列长度 该指标用于统计实例响应队列长度。 >0 Count instanceconnectionusage 实例连接数使用率 该指标用于统计实例连接数使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancetopicusage 实例用户主题数使用率 该指标用于统计实例租户主题使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancepartitionusage 实例用户主题分区数使用率 该指标用于统计实例租户主题分区使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancegroupusage 实例用户消费组数使用率 该指标用于统计实例租户消费组使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instanceproducelimit 实例生产限流次数 该指标用于统计实例生产限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count instanceconsumelimit 实例消费限流次数 该指标用于统计实例消费限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count

本节主要介绍与其它服务的关系 应用服务网格与周边服务的依赖关系如下图所示。 应用服务网格与其他云服务关系 云容器引擎 CCE 云容器引擎（Cloud Container Engine）提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，简化云上自动化容器运行环境搭建。 您可以通过ASM部署运行在云容器引擎上。 弹性负载均衡 ELB 弹性负载均衡（ Elastic Load Balance，ELB）将访问流量自动分发到多台云服务器，扩展应用系统对外的服务能力，实现更高水平的应用容错。 您可通过弹性负载均衡从外部访问ASM。 应用运维管理 AOM 应用运维管理AOM为您提供一站式立体运维平台，实时监控应用、资源运行状态，通过数十种指标、告警与日志关联分析，快速锁定问题根源，保障业务顺畅运行。 您可使用应用运维管理，对ASM中的服务和资源进行实时监控，对指标、告警和日志进行关联分析。 应用性能管理 APM（待上线） 应用性能管理服务（Application Performance Management，简称APM）是实时监控并管理云应用性能和故障的云服务，提供专业的分布式应用性能分析能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。 您可使用应用性能管理，对ASM中运行的服务进行全链路拓扑管理和分布式调用链追踪，方便您快速进行故障定位和根因分析。

本文主要介绍购买实例。 操作场景 Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。支持用户自定义规格和自定义特性，您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。 购买前须知 Kafka实例运行于虚拟私有云，购买实例前，需保证有可用的虚拟私有云，并且已配置好安全组与子网。 （可选）如果需要通过公网访问Kafka实例，请提前准备弹性IP地址。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击页面右上方的“购买Kafka实例”。 每个项目默认最多可以创建100个Kafka实例，如果您想创建更多实例，请联系客服申请增加配额。 步骤 5 选择“计费模式”、“区域”、“项目”和“可用区”。 步骤 6 设置“实例名称”和“企业项目”。 步骤 7 设置实例信息。 1. 版本：Kafka的版本号，支持1.1.0、2.3.0、2.7和3.x，根据实际情况选择，推荐使用3.x。 Kafka实例创建后，版本号不支持修改 。 2. 鲲鹏规格：“创建鲲鹏架构实例”选框，默认不勾选是X86架构的实例，勾选之后是ARM架构的鲲鹏实例。 3. 在“代理规格”中，请根据业务需求选择相应的代理规格。在“代理数量”中，选择代理个数。 单个代理最大分区数代理个数实例分区数上限。当所有Topic的总分区数大于实例分区数上限时，创建Topic失败。 4. 在“存储空间”区域，您根据实际需要选择存储Kafka数据的磁盘类型和总磁盘大小。 Kafka实例创建后，磁盘类型不支持修改 。 存储空间包含所有副本存储空间总和，建议根据业务消息体积以及副本数量选择存储空间大小。假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB副本数 + 预留磁盘大小100GB。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 5. 在“容量阈值策略”区域，设置磁盘使用达到容量阈值后的消息处理策略，容量阈值为95%。 自动删除：可以正常生产和消费消息，但是会删除最早的10%的消息，以保证磁盘容量充足。该场景优先保障业务不中断，数据存在丢失的风险。 生产受限：无法继续生产消息，但可以继续消费消息。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 图 创建Kafka实例 步骤 8 设置实例网络环境信息。 在“虚拟私有云”下拉列表，选择已经创建好的虚拟私有云和子网。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。 说明 虚拟私有云和子网在Kafka实例创建完成后，不支持修改。 子网开启IPv6后，Kafka实例支持IPv6功能。 IPv6：子网开启IPv6后，支持设置此参数。开启IPv6后，客户端可以使用IPv6地址连接实例。 说明 开启IPv6的实例不支持动态开启和关闭SASLSSL功能。 实例创建成功后，不支持修改IPv6开关。 在“安全组”下拉列表，可以选择已经创建好的安全组。 安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 步骤 9 设置登录Kafka Manager的用户名和密码。创建实例后，Kafka Manager用户名无法修改。 Kafka Manager是开源的Kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 步骤 10 设置实例购买时长。 当选择了“包年/包月”付费模式时，页面才显示“购买时长”参数，您需要根据业务需要选择。 步骤 11 单击“更多配置”，设置更多相关信息。 1. 设置“公网访问”。 “公网访问”默认为关闭状态，您可以选择是否开启。 开启公网访问后，还需要为每个代理设置对应的IPv4弹性IP地址。 说明 如果开启了IPv6功能，支持设置此参数。 2. 设置“Kafka SASLSSL”。 客户端连接Kafka实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 “Kafka SASLSSL”默认为关闭状态，您可以选择是否开启。 Kafka实例创建后，Kafka SASLSSL开关不支持修改 ，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您可以选择是否开启“SASL PLAIN 机制”。未开启“SASL PLAIN 机制”时，使用SCRAMSHA512机制传输数据，开启“SASL PLAIN 机制”后，同时支持SCRAMSHA512机制和PLAIN机制，根据实际情况选择其中任意一种配置连接。Kafka实例创建后，SASL PLAIN机制开关不支持修改。 什么是SCRAMSHA512机制和PLAIN机制？ SCRAMSHA512机制：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN机制：一种简单的用户名密码校验机制。 开启Kafka SASLSSL后，您需要设置连接Kafka实例的用户名和密码。 3. 设置“Kafka自动创建Topic”。 “Kafka自动创建Topic”默认为关闭状态，您可以选择是否开启。 开启“Kafka自动创建Topic”表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 4. 设置“标签”。 标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键值对。另外，您可以单击“查看预定义标签”，跳转到标签管理服务页面，查看已经预定义的标签，或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签，标签的命名规格，请参考管理实例标签章节。 5. 设置实例的描述信息。 步骤 12 填写完上述信息后，单击“立即购买”，进入规格确认页面。 步骤 13 确认实例信息无误后，单击“提交”。 步骤 14 在实例列表页面，查看Kafka实例是否创建成功。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请参考删除实例，删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明 创建失败的实例，不会占用其他资源。

本节主要介绍如何在智能视图服务控制台使用回调模板。 智能视图服务平台的回调支持录制、设备状态、流状态、AI告警等事件，当设备有事件发生时，消息会由事件通知服务统一回调给用户配置的服务器地址。 新建回调模板 点击左侧导航栏的【模板管理回调模板】后点击【新建回调模板】进入该页面，参数说明如下： 参数名 说明 录制回调 当有录像文件生成时，会向服务器发送事件状态。 设备状态回调 当设备状态发生改变时，会向服务器发送事件状态。 流状态回调 当流状态发生改变时，会向服务器发送事件状态。 AI事件通知回调 当有AI事件发生时，会向服务器发送事件状态。 绑定回调模板 在设备或业务组管理页面绑定回调模板，当设备上有状态事件发生时，智能视图服务后台就会向用户服务器地址发送事件消息。

消息超过老化时间，消息仍存在的原因 问题现象： 消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。 可能原因1： Topic的每个分区都是由多个大小相同的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果正在使用的segment文件中包含超过老化时间的消息，由于此时segment文件不会被删除，所以超过老化时间的消息也不会被删除。 处理方法： 等待segment文件被使用完，或者删除超过老化时间的消息所在的Topic。 可能原因2： Topic中存在一条create time为未来时间的消息（例如当前时间为1月1日，create time设置成了2月1日），此消息在72小时后，并不会被老化，导致在此消息后创建的其他消息都不会被老化。 处理方法： 删除create time为未来时间的消息所在的Topic。 Kafka实例是否支持延迟消息？ 不支持延迟消息。 如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查询消费组信息。 在Kafka控制台的“监控”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在Kafka客户端，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过 kafkaconsumergroups.sh bootstrapserver {kafka连接地址} describe group {消费组} 命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图 查看每个Topic的总堆积数 说明 如果Kafka实例开启SASL认证，则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数： commandconfig {SASL认证的consumer.properties配置文件} ，“consumer.properties”配置文件参考开启SASL认证的Kafka命令行连接说明。

参数 参数类型 说明 示例 下级对象 diff Integer 差值 0 total Integer 消息总数 27 consumedTotal Integer 已消费消息总数 27 retryNums Integer 重试次数 0 groupName String 消费组名称 group brokerName String Broker名称 mqtestbroker1 topicName String 主题名称 test outTps Integer 出消息TPS 0 outTotalMsgToday Integer 今日出消息总数 0 offSetDiff Integer 偏移量差值 0 notAckMsgNum Integer 未确认消息数 0 notAckMsgTime Integer 未确认消息时长 0 notConsumeMsgTime Integer 未消费消息时长 0

使用Pull可以实现的所有场景，均可使用Push实现，并且更简单。 Push其实是长轮询的Pull（依然是由客户端发起），在客户端通过配置参数是可以实现流控的，并不会出现服务端的流量压垮客户端的情况。 Push封装了拉取消息，分发给消费线程的线程模型，非流控的情况下，由后台线程主动拉取消息，并缓存在本地，消费线程池有空闲线程时，分发给消费线程，在有堆积量的情况下，可以保证消费线程一直工作，性能更高（备注：Pull只提供了拉取消息的功能，并且何时去拉取，拉取时机，这些都需要应用去控制；分发给消费线程的逻辑需要应用封装，除了增加应用工作量外，还可能有不稳定、性能问题等）。 Push经过多个大型项目的长时间的使用(比如物联网，使用能台，多个试点省份)，更成熟稳定。 Push会自动订阅重试队列，不需要再次调用拉取重试队列的API来取得重试队列的消息（备注：Pull需要另外调用API拉取重试队列的消息）。 Pull是一种遗留的消费模式（兼容早期的API），新开发的应用，或者未上线的应用，都要求使用Push消费模式。

本节介绍Kafka 发送给Topic的消息在分区中分布不均衡原因 问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。 可能原因 发送消息时指定了分区，导致未指定的分区没有消息。 发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，导致分区消息不均衡。 通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。

本节介绍分布式消息服务Kafka使用SASLSSL连接常见问题 1.报错示例：java.security.cert.CertPathValidatorException: Algorithm constraints check failed: SHA256withDS 解决途径：排查jdk是否支持SHA256withDS算法，推荐使用oracle jdk1.8.0201版本jdk 2.报错示例：Topic authorization failed for topics 解决途径：排查topic是否授权，如果没有则授予对应权限 3. 报错示例：Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAMSHA512 解决途径：排查连接kafka的用户密码是否正确 4. 报错示例：java.security.cert.CertificateException: No subject alternative names present 解决途径：配置文件需要配置 ssl.endpoint.identification.algorithm 5. 报错示例：Keystore was tampered with, or password was incorrect 解决途径：排查 ssl client密码是否错误或者和证书不匹配，可以从实例详情>接入点信息>查看所有IP和端口信息，界面下载对应证书 6.接入配置示例

操作场景 分布式消息服务 Kafka 版支持按主题或用户/客户端来配置限流策略，避免因资源消耗过高而影响全量业务。 前提条件 流控管理仅支持集群版实例。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”按钮。 4. 点击“智能运维”、“流控管理”菜单进入流控管理页面。 5. 如需配置主题流控 ，在流控配置页卡的下拉框选择“Topic”选项并点击“创建流控”按钮。 6. 在弹窗填入主题名、生产上限速率、消费上限速率，点击“确定”按钮。 Topic：填入需要限流的主题名 速率范围：1MB/s — 1024MB/s 7. 如需配置用户/客户端流控 ，在流控配置页卡的下拉框选择“User/Client”选项并点击“创建流控”按钮。 8. 在弹窗填入用户名、客户端ID、生产上限速率、消费上限速率，点击“确定”按钮。 用户名：填入需要限流的用户名，与客户端ID不能同时为空 客户端ID：填入需要限流的客户端ID，与用户名不能同时为空 速率范围：1MB/s — 1024MB/s

目前提供Kafka专享版实例的服务，Kafka专享版实例采用物理隔离的方式部署，租户独占Kafka实例。创建Kafka专享版实例之后，使用开源Kafka客户端向Kafka专享版实例生产消息和消费消息。 本章节介绍如何使用开源的Kafka客户端访问未开启SASL的Kafka专享实例方法。 多语言客户端使用请参考Kafka官网： 说明：Kafka服务器允许客户端单IP连接的个数为200个，如果超过了，会出现连接失败问题。 前提条件 已配置正确的安全组。 访问未开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考下表。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9092，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例未开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明： 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 以获取的Kafka实例连接地址为“10.3.196.45:9092,10.78.42.127:9092,10.4.49.103:9092”为例。执行完命令后输入内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

本节介绍消费端挂载NFS是否会影响消费速度 消费端在消费消息的主线程里同步将拉取的消息存储在NFS，导致消费端处理消息的速度变慢，阻塞消息处理。 可能原因 NFS本身速度就不太理想。 NFS是网络共享存储，虽然有多机器共享访问的能力优势，但多台机器访问是争抢的，消费者个数增多，性能反而下降。 解决方案 建议将消费端拉取消息和存储消息分别放在两个独立且不同的线程里操作。拉取消息的线程只管消费消息，把消息转给缓存处理线程后就继续消费消息，这样可以保证消费速度的稳定。 也可以考虑采用云盘，给每台消费端处理机挂载自己的云盘，各自独立存储，这样消费端不会再因为争抢NFS而降低性能。如果需要把最终的处理结果集中到同一个NFS上保存，仍然可以通过一个异步的工具或者线程，把云盘上的结果再转发到NFS上，而不要让同步存储NFS阻塞消息处理。总之，对于资源访问造成的处理低效，总是可以用异步处理的方式解决。

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 原理 Kerberos的原理架构和各模块的说明如下图所示： 原理架构 模块说明 App Client：应用客户端，通常是需要提交任务（或者作业）的应用程序。 App Server：应用服务端，通常是应用客户端需要访问的应用程序。 Key Distribution Center（KDC）：提供安全认证的服务。 Database：存储Principal数据。 Authentication Server（AS）：认证服务器，认证客户端身份，发放客户访问TGS的票据授权票据（TGT）。 Ticket Granting Server（TGS）：票据授予服务器，发放应用客户端访问应用服务端所需的服务票据（ST）。 步骤原理说明 应用客户端（App Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. ASREQ：App Client在提交任务或者作业前，需要向AS申请TGT，用于建立和TGS的安全会话。 2. ASREP：AS在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用App Client指定的用户名的密钥进行加密响应消息。 3. TGSREQ：App Client收到TGT响应消息后，解析获取TGT，此时，再由App Client（通常是RPC底层）向TGS获取应用服务端的ST。 4. TGSREP：TGS在收到ST请求后，校验其中的TGT合法后，生成对应的App Server的ST，再使用App Server密钥将响应消息进行加密处理。 5. APREQ：App Client收到ST响应消息后，将ST打包到发给App Server的消息里面传输给对应的App Server。 6. APREP：App Server端收到请求后，使用App Server对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。 说明 1. Kerberos认证时需要配置Kerberos认证所需要的文件参数，主要包含keytab路径，Kerberos认证的principal，Kerberos认证所需要的客户端配置krb5.conf文件。 2. 方法login()为调用的UserGroupInformation的方法执行Kerberos认证，生成TGT票据。 3. 方法doSth()调用hadoop的接口访问文件系统，此时底层RPC会自动携带TGT去Kerberos认证，生成ST票据。

您可以通过事件规则过滤事件，将事件路由到自建Apache Kafka服务。本文以自定义事件为例介绍将事件路由到自建Apache Kafka的前提条件、操作步骤和结果验证。 前提条件 开通事件总线EventBridge并委托授权 创建自定义总线服务 操作步骤 1. 登录事件总线EventBridge控制台，在左侧导航栏，单击事件总线。 2. 选择目标总线，在左侧导航栏，单击事件规则，然后单击添加事件规则。 3. 在添加事件规则页面，完成以下操作。 1. 在配置基本信息配置向导，在名称文本框输入规则名称，在描述文本框输入规则的描述，然后单击下一步。 2. 在配置事件模式配置向导，选择匹配全部事件，然后单击下一步。 3. 在配置事件目标 配置向导，配置事件目标，事件目标服务类型选择自建Apache Kafka，目标参数描述如下，然后单击创建。 参数说明 参数 说明 示例 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名：填写SASL用户名 密码：填写SASL密码 SASL鉴权方式：可选PLAIN和SCRAMSHA512 PLAINTEXT 消息体 选择消息体（Body）的内容，更多信息请参考事件内容转换。 完整事件 消息键值 选择消息键值（Key）的内容，更多信息请参考事件内容转换。 空

本节主要介绍应用场景 巡检与问题定界 日常运维中，遇到异常难定位、日志难获取等问题，需要一个监控平台对资源、日志、应用性能进行全方位的监控。 AOM深度对接应用服务，一站式收集基础设施、中间件和应用实例的运维数据，通过指标监控、日志分析、服务异常报警等功能，支持日常巡检资源、应用整体运行情况，及时发现并定界应用与资源的问题。 优势 应用自动发现：自动部署采集器，针对应用的运行环境，主动发现应用并进行监控。 跨云服务的分布式应用监控：对于同时使用了多种云服务的分布式应用，提供统一的运维平台，便于您对业务进行立体排查。 告警灵活通知：提供多种异常检测策略并支持丰富的异常告警触发方式。 巡检与问题定界 立体化运维 您需全方位掌控系统的运行状态，并快速响应各类问题。 AOM提供从云平台到资源，再到应用的监控和微服务调用链的立体化运维分析能力。 优势 体验保障：实时掌控业务KPI健康状态，对异常事务根因分析。 故障快速诊断：分布式调用追踪，快速找到异常故障点。 资源运行保障：实时监控容器、磁盘、网络等上百种资源运维指标 集群>虚机>应用>容器异常关联分析。

本文主要介绍了消息接收人设置的操作流程。 消息接收人默认为账号联系人，不可编辑、删除。在账号联系人之外，用户可以添加或删除消息接收人，也可对消息接收人信息进行修改。 操作步骤 1、登录消息中心。 2、点击消息中心左侧导航，选择“消息接收人设置”。 3、消息接收人设置 新增消息接收人 （1）点击“新增消息接收人”，根据页面提示填写接收人姓名、手机号、邮箱并提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 需要邮箱及手机号均完成验证，新增的消息接收人才能在“消息管理”中完成添加。 修改消息接收人信息 （1）选择需要修改的消息接收人，点击“编辑”，然后根据需求，可修改接收人姓名、手机号、邮箱，然后提交。 （2）点击邮箱及手机号右侧提示完成验证。 说明 只修改姓名无需重新验证，若替换了新的邮箱/手机，则需要验证才能接收消息。 删除消息接收人 选择需要删除的消息接收人，点击“删除”，再次确认即可完成删除。

本文介绍可观测性相关操作。 容器引擎服务目前提供了总体资源的基础监控能力。用户可通过点击控制导航栏处的【总览】，进入总览界面，查看汇总的资源信息。也可单独查看各个应用、容器的相关信息。 操作步骤 总览界面查看使用CCE的相关信息，需首先选择当前集群，将展现选择集群的以下信息： 节点、应用、容器组、服务、ingress的数量统计数量； 监控管理：提供集群监控信息，包括网络速率，及磁盘、cpu、内存类型的资源利用率； 组件状态监控：提供API server、Controller Managers、Scheduler组件状态监控； 用户也可以通过点击【资源管理】>【集群管理】等入口，获得各应用状态及监控信息，同时可查看集群及容器日志： 监控：无状态应用及容器组运行情况，包括正常与异常两种状态; 应用资源使用量监控：记录当前的资源使用量，包括CPU使用量、内存使用量； 应用事件：记录应用事件，包括发生次数、事件、类型、消息内容等； 容器组日志：提供容器内部的日志信息； 容器事件：记录容器事件，包括发生次数、事件、类型、消息内容等； 集群日志：提供集群创建过程中的日志信息； 集群监控：提供cpu、内存、磁盘使用率指标及网络上下行速率监控指标查看； 节点监控：提供cpu、内存、磁盘使用率指标及网络上下行速率监控指标查看； 节点事件：记录容器事件，包括发生次数、事件、类型、消息内容等。

云监控服务相关概念 使用云监控服务之前，请先了解一下相关概念，从而可以更好的使用云监控服务。 监控指标 监控指标是云监控服务的核心概念，通常是指云平台上某个资源的某个维度状态的量化值，如云主机的CPU使用率、内存使用率等。监控指标是与时间有关的变量值，会随着时间的变化产生一系列监控数据，帮助用户了解特定时间内该监控指标的变化。 聚合 聚合是云监控服务在特定周期内对各服务上报的原始采样数据采取平均值、最大值、最小值、求和值、方差值计算的过程。这个计算的周期又叫做聚合周期，目前云监控服务支持5分钟、20分钟、1小时、4小时、24小时共五种聚合周期。 监控面板 监控面板为用户提供自定义查看监控数据的功能，支持在一个监控面板跨服务、跨维度查看监控数据，将您关注的重点服务监控指标集中呈现，既能满足总览服务运行概况，又能满足排查故障时快速查看监控详情的需求。 主题 主题是设置告警通知是客户端订阅通知的特定事件类型，为用户提供一对多的发布订阅以及消息通知功能，支持用户实现一站式多种消息通知方式。云监控服务在监控到云服务资源发生变化时，可通过多种方式通知用户，让用户实时掌握云服务的运行状况。

本文介绍边缘安全加速平台的首页。 简介 边缘安全加速平台服务首页，整体展示所有产品的开通情况、概览指标、计费余量等。 操作步骤 1. 登录 边缘安全加速平台控制台首页 。 2. 首页内容分为：已开通产品、产品优惠、全部产品、帮助文档、产品推荐、AOne助手共六个模块。 内容介绍 消息中心 顶部支持查看平台推送的未读消息，点击则进入消息中心，对历史消息进行浏览，并支持一键已读。 目前支持推送域名配置、规则更新动态、系统公告。 态势大屏 顶部支持查看态势大屏，点击顶部的【态势大屏】，选择”点击前往“后进入对应产品的态势大屏。 已开通产品 具体字段的说明如下： 产品 概览指标 说明 安全与加速 域名防护数 目前已开启防护策略的域名数以及总域名数占比 安全与加速 已订购流量/剩余流量 已订购流量套餐内流量+资源包总量；剩余流量已订购流量中剩余可用流量 安全与加速 已订购请求数/剩余请求数 已订购请求数套餐内动态请求数+动态请求数资源包总量；剩余流量已订购请求数中剩余可用量 边缘接入 今日/本月总流量 域名今日已使用流量和本月已使用流量 边缘接入 今日/本月带宽峰值 域名今日带宽峰值和本月带宽峰值 开发者平台 函数数量 开发者服务中已使用的边缘函数的数量 开发者平台 本月调用次数 本月函数的调用次数 开发者平台 本月出流量 本月已使用函数的出流量大小 零信任 已添加/已购买用户数 统计目前零信任服务中已购买的用户数和已使用的用户数 零信任 套餐剩余流量 零信任套餐内剩余的流量 零信任 本月带宽峰值 零信任本月用户的带宽峰值 终端管理 已用授权点数 终端设备列表中已使用的端点总数 终端管理 总授权额度 终端管理已购买的端点总数 学术加速 用户总数 学术加速已使用的用户数 学术加速 剩余流量 学术加速套餐内剩余的流量

生产者 是用来构建并传输数据到服务端的逻辑概念，负责把数据放入消息队列。 订阅器 用于订阅态势感知（专业版）管道消息，一个管道可由多个订阅器进行订阅，态势感知（专业版）通过订阅器进行消息分发。 消费者 是用来接收并处理数据的运行实体，负责通过订阅器把态势感知（专业版）管道中的消息进行消费并处理。 消息队列 是数据存储和传输的实际容器。 威胁检测模型 是一种被训练的AI智能识别算法模型。能针对特定威胁，自动化的完成数据汇聚、分析和报警，这种检测模式具备较好的泛化能力，防躲避能力强，可在不同业务系统中发挥同等效果，应对复杂的新型攻击。

针对各类消息插件进行监控。 功能入口 1. 选择目标资源池，并登录APM组件控制台。 2. 在左侧导航栏中选择「应用监控 」「应用列表」。 3. 在应用列表中选择您想查看的应用，点击「应用名称」打开新的应用详情链接。 4. 在左侧导航栏中选择「应用详情 」，您可以在应用详情页面切换至「消息监控」页签，在左侧关键指标中选择不同的应用实例，可查看该应用实例相应的概览信息。 功能说明 KafkaProducer 总发送次数&总发送字节数 显示总发送次数和总发送字节数的趋势图。 总发送次数：这是指生产者在其生命周期内成功发送到Kafka broker的消息数量。这个数字可以帮助我们了解生产者在实际运行中的消息处理能力和稳定性。例如，如果一个生产者在一段时间内发送了10000条消息，那么它的总发送次数就是10000。 总发送字节数：这是指生产者在其生命周期内发送到Kafka broker的所有消息的总字节数。这个数字反映了生产者传输的数据量，是评估生产者负载和资源消耗的一个重要指标。例如，如果生产者发送了10000条消息，每条消息大小为1KB，则总发送字节数为10000 1024 10,485,760字节。 这两个指标通常用于监控和优化Kafka生产者的性能，确保其能够高效、稳定地处理消息。通过这些数据，可以发现生产者是否存在瓶颈或问题，并进行相应的调整和优化。 通过消息队列发送消息 显示topic列表，表头如下。 Topic：是指消息发送到消息队列中的特定主题（topic）。主题是消息队列中的逻辑分类，用于将相关的消息归类和分组。每个topic可以包含多条消息，每条消息都有一个特定的主题标签。 调用次数：表示当前这个Topic在一段时间内，通过消息队列发送消息的总调用次数。每次发送消息都会被计算为一次调用。 平均响应时间(ms)：是指在发送消息的过程中，从发送请求到接收到响应的平均时间。它表示了发送消息的速度和效率。 错误数：表示在发送消息的过程中发生的错误次数。这些错误可能包括发送消息失败、网络连接问题或其他异常情况。 最慢调用(ms)：是指在一段时间内，发送消息过程中最耗时的一次调用的时间。它反映了发送消息中的性能瓶颈或延迟情况。 操作：点击详情，出现弹层显示调用次数、平均响应时间(ms)、错误数在筛选时间段内的趋势图。 这些指标可以帮助您监控和分析通过消息队列发送消息的性能和健康状况。通过追踪调用次数、平均响应时间、错误数和最慢调用时间，您可以了解消息发送的频率、效率、稳定性和延迟情况，从而进行性能优化、故障排除和容量规划等方面的工作。

本节介绍针对DDos攻击设置告警通知的最佳实践。 用户可以开启DDoS攻击告警通知，当公网IP受到DDoS攻击时用户会收到提醒消息。 前提条件 登录账号已购买公网IP。 操作步骤 1. 登录管理控制台。 2. 在产品服务列表中，选择“安全 > AntiDDoS流量清洗”，进入“AntiDDoS流量清洗”控制台。 3. 选择“告警通知”页签，设置告警通知。 告警通知参数说明： 参数 说明 告警通知开关 开启或关闭告警通知，说明如下： ：开启状态。 ：关闭状态。 消息通知主题 可以选择使用已有的主题，或者单击“查看消息通知主题”创建新的主题。 4. 将告警通知状态参数置为开启状态。 5. 单击“确定”，开启告警通知。

sectionaf1f4cd067bf253e)。 Kafka实例的SSL证书有效期多长？ Kafka实例开启SASL时，需进行单向认证，证书有效期足够长（超过15年），客户端不需要关注证书过期风险。 如何将Kafka实例中的数据同步到另一个Kafka实例中？ Kafka实例之间没有好的实时同步方案，如果需要做实例迁移，可以同时向两个实例生产消息，源实例中的消息可继续消费，待源实例的消息数据全部被消费完或老化后，业务可迁移到新的Kafka实例。 Kafka实例的SASLSSL开关如何修改？ Kafka SASLSSL开关不支持购买实例后修改，在购买时，请慎重选择，如果购买后需要修改，需要重新购买实例。 开启IPv6的实例不支持动态修改SASLSSL开关。 SASL认证机制如何修改？ 实例创建后，不支持修改SASL认证机制。如果需要修改，请重新购买实例。 修改企业项目，是否会导致Kafka重启？ 修改企业项目不会导致Kafka重启。 Kafka服务和ZK是部署在相同的虚拟机中，还是分开部署？ Kafka服务和ZK部署在相同的虚拟机中。 Kafka包周期实例不支持删除吗？ 可以删除。登录Kafka控制台，在包周期实例所在行，单击“更多 > 退订”，完成实例的删除。 Kafka支持哪些加密套件？ 由于安全问题，支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256，TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 购买实例时选择的单AZ，怎样可以扩展为多AZ？ 已购买的实例无法扩展AZ，请重新购买多AZ的实例。