本文主要介绍应用性能管理 应用性能管理服务（Application Performance Management，简称APM）是实时监控并管理云应用性能和故障的云服务，提供专业的分布式应用性能分析能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。 通过云审计服务，您可以记录与APM服务相关的操作事件，便于日后的查询、审计和回溯。 表云审计服务支持的APM操作列表 操作名称 资源类型 事件名称 删除应用 APM clearApps 设置事务别名 APM setAlias 更新虚机服务分组 APM updateVirtualService 更新事务配置 APM updateTxTypeSettings 更新拓扑Apdex阈值 APM updateThresholds 设置事务分组 APM txtypeGroupOperation 删除应用配置 apm deleteAppGroup 更新采集开关配置 apm setAppPpswitcherConfig 更新智能采样配置 apm setAppCallChainConfig 更新内存检测机制配置 apm setAppMwsConfig 更新日志增加TraceID配置 apm setAppLogTransacConfig 更新SQL分析开关配置 apm setAppSqlConfig 更新忽略HTTP响应代码或忽略错误和异常配置 apm setAppIgnoreConfig

Topic与Tag释义 1）Topic：消息主题，通过 Topic 对不同的业务消息进行分类。 2）Tag：消息标签，用来进一步区分某个Topic下的消息分类，消息队列 RocketMQ允许消费者按照Tag对消息进行过滤，确保消费者最终只消费到他关注的消息类型。 Topic与Tag都是业务上用来归类的标识，区分在于Topic是一级分类，而Tag 可以说是二级分类。 适用场景 什么时候该用topic，什么时候该用tag，可以参考下面的一些考虑进行权衡 考虑消息类型：如普通消息、顺序消息，事务消息、定时（延时）消息，不同消息类型是无法通过tag区分的，这种情况就需要我们创建不同的topic。 业务关联性：如果是不同业务之间没有直关联的消息，建议按照Topic进行区分；而同一个业务只是子类型不一样的消息可以用Tag进行区分。 消息优先级：不同的业务场景可能会导致消费端对于消息的优先级需求不同，有的紧急，有的相对来说对于延时的接收程度更大，不同优先级的消息用不同的Topic进行区分。 消息量级：如果量小但延时要求高的消息，跟超大量级（如万亿）的消息使用同一个Topic，则有可能排队时间过长导致延时无法接受，所以不同量级的消息不要使用不同的tag，需要用不同的Topic。 总结起来就是，在消息分类实践中，有创建多个Topic，以及在同一个Topic下创建多个Tag两种常见做法。一般来说，不同的Topic之间的消息不产生直接业务上的关联，而同一个topic下相互之间产生联系的消息可以选择用tag来区分，一般是相同业务下的不同板块不同类型。

相比于传统的集中式数据库，分布式数据被分散存储在多个物理位置（多台服务器或数据中心）上，并将这些分散的存储资源构成一个虚拟的存储设备。这种存储方式不仅实现在线扩容能力，同时也提升了数据的检索能力。而且分布式数据库利用SQL语言进行分布式查询和处理，使其性能和扩展性得到显著提升。 分布式数据存储原理 分布式存储架构通常由三个部分组成：客户端、元数据服务器（协调节点）和数据服务器（数据节点）。其主要流程是：客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器（协调节点）管理元数据和处理客户端的请求。数据服务器（数据节点）存放文件数据，保证数据的可用性和完整性。分布式存储主要通过以下几种方式实现： 数据分片‌：在分布式存储系统中，数据被分成多个部分，每个部分存储在不同的数据节点上，以实现数据的分布式存储和管理。这种分片通常使用哈希函数或一致性哈希算法来实现。 主备复制‌：为了提高数据的可靠性和可用性，分布式存储系统通常分为主备节点。每个数据都存储在不同的数据节点上，以确保即使某些节点出现故障，仍然可以从其他节点中恢复数据。 数据一致性‌：确保数据在不同节点之间的一致性是分布式存储系统的关键。为了实现数据同步和管理，分布式存储系统使用数据同步和管理机制，如Paxos算法、Raft算法或ZooKeeper等分布式协调服务。 数据访问‌：在分布式存储系统中，数据可以并行地从多个节点中读取和写入，以提高读写性能和吞吐量。数据访问使用负载均衡机制实现，如分布式哈希表、分布式缓存或分布式文件系统等技术。 通过这种存储方式可实现TeleDB在线扩容能力，在业务无感知的情况下，在线弹性伸缩，提升系统容量和处理能力，以便满足大规模存储应用的需求。

本节介绍Kafka 发送给Topic的消息在分区中分布不均衡原因 问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。 可能原因 发送消息时指定了分区，导致未指定的分区没有消息。 发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，导致分区消息不均衡。 通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。

本页介绍分布式融合数据库HTAP的告警历史功能。 告警历史简介 在告警历史页面，可查看告警历史记录，支持对历史告警消息进行查询与搜索。 操作场景 用户可以通过控制台的“管理中心告警中心告警历史”中查看实例的异常触发告警的历史记录，告警历史包括用户开通的所有类型的数据库实例的告警历史，可通过筛选查询所需的历史记录。 操作步骤 搜索历史告警消息，可通过复杂查询筛选对应条件的告警历史。查询参数包括： 时间范围 告警类型 告警级别 告警状态 指定实例名称或主机IP 告警历史记录包含信息有： 告警对象：区分不同数据库类型的实例 实例名称/实例ID：实例的名称和ID。 发生时间：告警触发时间节点。 持续时间：告警持续的时长。 策略名称：触发告警的策略名称。 告警详情：触发告警的场景详细信息。 告警级别：告警等级，包括普通、告警、紧急三种告警等级，紧急程度从小到大逐步增加。 状态：告警状态，包括告警中、被抑制、静默中、已恢复四种状态。

本节主要介绍如何进行实例配置管理 管理控制台提供Redis实例运行日志查询，可查询redis节点的运行日志。通过查询运行日志，可进行故障排查、性能监控、运维管理等。当Redis出现异常、错误或崩溃时，通过查看日志可以获取关于故障发生的详细信息，帮助定位问题的根本原因。日志中可能包含错误消息、警告、异常堆栈跟踪等，有助于开发人员或运维人员迅速定位和修复故障。 前提条件 已成功开通分布式缓存服务Redis实例，且实例处于运行中状态。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情页面。 4. 点击左侧 日志管理>运行日志，进入运行日志页面。 5. 选择具体Redis节点，即可查看所选节点下的运行日志情况。 6. 点击下载日志，选择日期和Redis节点，可下载运行日志到本地。下载日志仅支持下载最近7天中的其中1天。

专属云Kafka的产品服务与公有云Kafka的产品规格保持一致，由两种服务资源组成，队列规格、队列存储。 其中队列计算规格按消息队列基准带宽分为4种分别是：100MB/s、300MB/s、600MB/s、1200MB/s； 存储类型分2种，分别如下：高I/O、超高I/O。

接口功能介绍 查询订阅组详细状态信息 接口约束 无 URI GET /v3/consumer/status 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 prodInstId 是 String 实例ID groupName 是 String 订阅组名字 clientId 是 String 客户端ID 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池编码 200000002368 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode String 接口系统层面状态码。成功：800，失败：900 800 message String 描述状态 returnObj Object 返回对象 returnObj error String 错误码，只有非成功才有这个字段，方便快速定位问题 201 表 returnObj 参数 参数类型 说明 示例 下级对象 data Object 消费组详情数据 data 表 data 参数 参数类型 说明 示例 下级对象 properties Object 消费组配置属性 properties subscriptionSet Array of Objects 订阅关系集合 subscriptionSet mqTable Object 消息队列信息表 mqTable statusTable Object 消费状态统计表 statusTable jstack String 线程堆栈信息 null 表 properties 参数 参数类型 说明 示例 下级对象 maxReconsumeTimes String 最大重试次数 1 adjustThreadPoolNumsThreshold String 线程池数量调整阈值 100000 unitMode String 单元模式开关 false consumeTimeoutInSec String 消费超时时间（秒） 1 timeoutStrategy String 超时处理策略 ALARMANDRETRY consumerGroup String 消费组名称 group messageModel String 消息模型 CLUSTERING allocateMessageQueueStrategy String 消息队列分配策略 org.apache.rocketmq.client.consumer.rebalance.AllocateMessageQueueAveragely@14978a04 pullThresholdSizeForTopic String 主题拉取大小阈值 1 suspendCurrentQueueTimeMillis String 队列挂起时间（毫秒） 1000 pullThresholdSizeForQueue String 队列拉取大小阈值 100 PROPCLIENTVERSION String 客户端版本 V283CTG offsetStore String 偏移量存储实现类 org.apache.rocketmq.client.consumer.store.RemoteBrokerOffsetStore@64668c91 consumeConcurrentlyMaxSpan String 并发消费最大跨度 2000 postSubscriptionWhenPull String 拉取时提交订阅关系开关 false consumeTimestamp String 消费时间戳 20220831110532 PROPCONSUMETYPE String 消费类型 CONSUMEPASSIVELY consumeMessageBatchMaxSize String 批量消费最大消息数 1 defaultMQPushConsumerImpl String 推送消费者实现类 org.apache.rocketmq.client.impl.consumer.DefaultMQPushConsumerImpl@6470d9c8 PROPTHREADPOOLCORESIZE String 线程池核心大小 20 pullInterval String 拉取间隔（毫秒） 0 pullThresholdForQueue String 队列拉取阈值 1000 pullThresholdForTopic String 主题拉取阈值 1 consumeFromWhere String 消费起始位置 CONSUMEFROMFIRSTOFFSET PROPNAMESERVERADDR String 名称服务地址 192.168.71.188:8411; pullBatchSize String 拉取批次大小 32 consumeThreadMin String 最小消费线程数 20 PROPCONSUMERSTARTTIMESTAMP String 消费者启动时间戳 1661916932150 consumeThreadMax String 最大消费线程数 64 consumeTimeout2 String 消费超时时间2（秒） 15 subscription String 订阅关系 {} PROPCONSUMEORDERLY String 顺序消费开关 false messageListener String 消息监听器实现类 com.ctg.mq.api.impl.MQConsumerImpl$ConsumerTopicListenerImpl@677658a0 表 subscriptionSet 参数 参数类型 说明 示例 下级对象 classFilterMode Boolean 类过滤模式开关 false topic String 订阅主题 test subString String 订阅表达式 tagsSet Array of Strings 标签集合 [] codeSet Array of Strings 代码集合 [] subVersion Long 订阅版本号 1661916951326 expressionType String 表达式类型 null filterClassSource String 过滤类源码 null 表 mqTable 参数 参数类型 说明 示例 下级对象 commitOffset Long 提交偏移量 6 cachedMsgMinOffset Long 缓存消息最小偏移量 0 cachedMsgMaxOffset Long 缓存消息最大偏移量 0 cachedMsgCount Integer 缓存消息数量 0 cachedMsgSizeInMiB Integer 缓存消息大小（MiB） 0 transactionMsgMinOffset Long 事务消息最小偏移量 0 transactionMsgMaxOffset Long 事务消息最大偏移量 0 transactionMsgCount Integer 事务消息数量 0 locked Boolean 是否锁定 false tryUnlockTimes Integer 解锁尝试次数 0 lastLockTimestamp Long 最后锁定时间戳 1661916951284 droped Boolean 是否删除 false lastPullTimestamp Long 最后拉取时间戳 1661929388688 lastConsumeTimestamp Long 最后消费时间戳 1661916951284 表 statusTable 参数 参数类型 说明 示例 下级对象 pullRT Integer 拉取响应时间（毫秒） 0 pullTPS Integer 拉取TPS 0 consumeRT Integer 消费响应时间（毫秒） 0 consumeOKTPS Integer 消费成功TPS 0 consumeFailedTPS Integer 消费失败TPS 0 consumeFailedMsgs Integer 消费失败消息数 0

本节介绍了云数据库GaussDB的产品定义及架构。 云数据库GaussDB 是分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳定可靠，扩展性强，性能优越的企业级数据库服务。 GaussDB分布式形态整体架构 GaussDB 分布式形态整体架构如下： Coordinator Node：协调节点CN，负责接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行。 GTM：全局事务管理器（Global Transaction Manager），负责生成和维护全局事务ID、事务快照、时间戳、Sequence信息等全局唯一的信息。 Data Node：数据节点DN，负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及向CN返回执行结果。 GaussDB主备版形态整体架构 GaussDB 主备版形态整体架构如下： ETCD：分布式键值存储系统（Editable Text Configuration Daemon）。用于共享配置和服务发现（服务注册和查找）。 CMS：集群管理模块（Cluster Manager）。管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行。 Data Node：数据节点DN，负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及返回执行结果。

顺序消息和普通消息的区别是什么 最大的区别在于是否能保证消息生产和消费的顺序一致。 对于顺序消息，消息均根据ShardingKey进行区块分区，同一分区内的消息消费满足先进先出，保证分区有序，不同分区的消息消费顺序不做要求。 普通消息则没有该项保证，消息消费的顺序跟生产的顺序不一定保证一致性。 RocketMQ集群消费和广播消费区别是什么 使用集群消费模式时，MQ内任意一条消息只需被订阅组集群内的任意一个消费者消费即可。 使用广播消费模式时，MQ内每条消息都会投递到订阅组集群的所有消费者，每条消息至少被每个消费者消费一次。 多个订阅组订阅同一个主题时消息如何被消费 RocketMQ中订阅关系并非是一对一的，一个主题可以被一个或多个订阅组订阅，但不同订阅组之间的消费是互不影响的，它们各自维护自己在当前主题的消费偏移信息，每一条消息都会被订阅该主题的订阅组接收到。 消息消费失败是否会有重试机制 在push消费模式下，RocketMQ在消费者消费消息失败后会通过将消息重新投递到该订阅组的重试队列在一定时间后会被消费者重新消费到，如果多次失败则会多次重复上述的重试过程，超过最大次数之后（创建订阅组时可配置）会将消息投递到死信队列。

此小节介绍云堡垒机管理消息与新建系统公告。 消息中心是系统内各类消息接收提示管理中心。系统公告是对系统用户广播系统内重大变更的消息提醒。 管理消息列表 消息中心小窗可呈现最新三条未读消息。任务执行完成后，则可在任务中心查看全部任务。 消息类型共有5种，分别包括系统消息、业务消息、任务消息、命令告警、工单消息。 消息级别共有3种，分别包括“高”、“中”、“低”，消息级别越高代表消息重要程度越高。 本小节主要介绍如何在消息中心查看、删除、标记消息。 查看消息提醒 1. 登录云堡垒机系统。 2. 单击右上角，展开消息中心小窗口， 可查看最新三条未读消息。 3. 单击“查看更多”，进入消息中心列表页面。 4. 查询消息，在搜索框中输入关键字，根据消息标题内容快速查询消息。 5. 查看消息列表。消息按发生时间顺序倒序排列，可查看全部已读、未读的消息 。 6. 查看消息详情。单击目标消息名称，进入消息详情页面。 删除消息提醒 1. 登录云堡垒机系统。 2. 单击右上角，展开消息中心小窗口，可查看最新三条未读消息。 3. 单击“查看更多”，进入消息中心列表页面。 4. 勾选一条或多条消息，单击左下角“删除”，弹出删除消息确认窗口。 5. 单击“确定”，即可立即删除选中消息。消息删除后不可找回，请谨慎操作。

本章主要介绍API发布常见问题。 对API的修改是否需要重新发布？ API发布后，如果再次编辑API参数，需要重新发布才能将修改后的信息同步到环境中。 API发布到RELEASE环境可以正常访问，发布到非RELEASE环境无法访问？ API发布到非RELEASE环境，添加xstage请求消息头后即可访问， 例如： r.Header.Add("xstage", "RELEASE") API发布到不同环境后，会调用不同的后端服务吗？ 使用环境变量，或者在后端服务定义不同的参数，可以实现API发布到不同环境时，调用不同的后端服务。 API调试的时候，如何指定环境？ 不能指定。API控制台提供的调试功能，用的是特定的debug环境，调试完成后需先发布到对应环境，之后可使用代码或者postman等工具，并添加请求消息头XStage，才能访问指定环境。

参数 参数类型 说明 示例 下级对象 brokerName String Broker名称 broker1 queueId Integer 队列ID 0 storeSize Integer 存储大小 1240 queueOffset Integer 队列偏移量 0 sysFlag Integer 系统标识 0 bornTimestamp Long 消息生成时间戳 1763433803612 bornHost String 消息生成主机地址及端口 192.168.1.138:63894 storeTimestamp Long 消息存储时间戳 1763433803618 storeHost String 消息存储主机地址及端口 192.168.1.140:9600 msgId String 消息唯一标识 C0A8018C00002580000000257833D8FF commitLogOffset Long 提交日志偏移量 160930453759 bodyCRC Integer 消息体CRC校验值 183478142 reconsumeTimes Integer 重新消费次数 0 preparedTransactionOffset Integer 预处理事务偏移量 0 topic String 消息主题 topicTest properties Object 消息属性集合 properties messageBody String 消息体内容 WebTestTools status String 消息状态 TOCONSUME messageBodyPath String 消息体路径 null bodySize Integer 消息体大小 1024 表 properties

操作场景 天翼云分布式消息Kafka自集成了一整套监控方案，对Kafka实例的运行状态进行日常监控，可以通过管理控制台查看Kafka实例各项监控指标。各项监控指标可以分为实例监控、实例节点监控、主题监控、消费组监控和Connect监控，各项监控指标的具体细节如下表所示。 操作前提 已开通天翼云Kafka实例，且实例状态为“运行中” Kafka 实例是天翼云Ⅱ类资源池实例，目前Ⅱ类资源池包括：华东1、上海36、华北2、长沙42、武汉41、西安7、杭州7、青岛20、西南1、西南2、广州4、郑州5、华南2等 监控指标 监控项的数据聚合周期为1分钟，即1分钟计算一次，计算出来每秒字节数。您可以将该数据理解为一分钟内的平均值。 1. 实例监控 指标ID 指标名称 指标含义 取值范围 单位 currentbrokers 存活节点数 该指标用于统计Kafka实例中正常运行的实例节点数 0~50 Count currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。 0~2000 Count currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。 0~2000 Count groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。 >0 Count instancebytesinrate 生产流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancebytesoutrate 消费流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancemessagesinrate 消息生产速率 该指标用于统计实例每秒生产的消息数。 >0 Count/s instancemessagesoutrate 消息消费速率 该指标用于统计实例每秒消费的消息数。 注意：2025年1月及以后购买的实例，支持此监控项。 >0 Count/s instancerequestqueuesize 实例请求队列长度 该指标用于统计实例请求队列长度。 >0 Count instanceresponsequeuesize 实例响应队列长度 该指标用于统计实例响应队列长度。 >0 Count instanceconnectionusage 实例连接数使用率 该指标用于统计实例连接数使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancetopicusage 实例用户主题数使用率 该指标用于统计实例租户主题使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancepartitionusage 实例用户主题分区数使用率 该指标用于统计实例租户主题分区使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancegroupusage 实例用户消费组数使用率 该指标用于统计实例租户消费组使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instanceproducelimit 实例生产限流次数 该指标用于统计实例生产限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count instanceconsumelimit 实例消费限流次数 该指标用于统计实例消费限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count

您可以通过事件规则过滤事件，将事件路由到自建Apache Kafka服务。本文以自定义事件为例介绍将事件路由到自建Apache Kafka的前提条件、操作步骤和结果验证。 前提条件 开通事件总线EventBridge并委托授权 创建自定义总线服务 操作步骤 1. 登录事件总线EventBridge控制台，在左侧导航栏，单击事件总线。 2. 选择目标总线，在左侧导航栏，单击事件规则，然后单击添加事件规则。 3. 在添加事件规则页面，完成以下操作。 1. 在配置基本信息配置向导，在名称文本框输入规则名称，在描述文本框输入规则的描述，然后单击下一步。 2. 在配置事件模式配置向导，选择匹配全部事件，然后单击下一步。 3. 在配置事件目标 配置向导，配置事件目标，事件目标服务类型选择自建Apache Kafka，目标参数描述如下，然后单击创建。 参数说明 参数 说明 示例 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名：填写SASL用户名 密码：填写SASL密码 SASL鉴权方式：可选PLAIN和SCRAMSHA512 PLAINTEXT 消息体 选择消息体（Body）的内容，更多信息请参考事件内容转换。 完整事件 消息键值 选择消息键值（Key）的内容，更多信息请参考事件内容转换。 空

目前提供Kafka专享版实例的服务，Kafka专享版实例采用物理隔离的方式部署，租户独占Kafka实例。创建Kafka专享版实例之后，使用开源Kafka客户端向Kafka专享版实例生产消息和消费消息。 本章节介绍如何使用开源的Kafka客户端访问未开启SASL的Kafka专享实例方法。 多语言客户端使用请参考Kafka官网： 说明：Kafka服务器允许客户端单IP连接的个数为200个，如果超过了，会出现连接失败问题。 前提条件 已配置正确的安全组。 访问未开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考下表。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9092，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例未开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明： 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 以获取的Kafka实例连接地址为“10.3.196.45:9092,10.78.42.127:9092,10.4.49.103:9092”为例。执行完命令后输入内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 原理 Kerberos的原理架构和各模块的说明如下图所示： 原理架构 模块说明 App Client：应用客户端，通常是需要提交任务（或者作业）的应用程序。 App Server：应用服务端，通常是应用客户端需要访问的应用程序。 Key Distribution Center（KDC）：提供安全认证的服务。 Database：存储Principal数据。 Authentication Server（AS）：认证服务器，认证客户端身份，发放客户访问TGS的票据授权票据（TGT）。 Ticket Granting Server（TGS）：票据授予服务器，发放应用客户端访问应用服务端所需的服务票据（ST）。 步骤原理说明 应用客户端（App Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. ASREQ：App Client在提交任务或者作业前，需要向AS申请TGT，用于建立和TGS的安全会话。 2. ASREP：AS在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用App Client指定的用户名的密钥进行加密响应消息。 3. TGSREQ：App Client收到TGT响应消息后，解析获取TGT，此时，再由App Client（通常是RPC底层）向TGS获取应用服务端的ST。 4. TGSREP：TGS在收到ST请求后，校验其中的TGT合法后，生成对应的App Server的ST，再使用App Server密钥将响应消息进行加密处理。 5. APREQ：App Client收到ST响应消息后，将ST打包到发给App Server的消息里面传输给对应的App Server。 6. APREP：App Server端收到请求后，使用App Server对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。 说明 1. Kerberos认证时需要配置Kerberos认证所需要的文件参数，主要包含keytab路径，Kerberos认证的principal，Kerberos认证所需要的客户端配置krb5.conf文件。 2. 方法login()为调用的UserGroupInformation的方法执行Kerberos认证，生成TGT票据。 3. 方法doSth()调用hadoop的接口访问文件系统，此时底层RPC会自动携带TGT去Kerberos认证，生成ST票据。

本文主要介绍购买实例。 操作场景 Kafka实例采用物理隔离的方式部署，租户独占Kafka实例。支持用户自定义规格和自定义特性，您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。 购买前须知 Kafka实例运行于虚拟私有云，购买实例前，需保证有可用的虚拟私有云，并且已配置好安全组与子网。 （可选）如果需要通过公网访问Kafka实例，请提前准备弹性IP地址。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 此处请选择与您的应用服务相同的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击页面右上方的“购买Kafka实例”。 每个项目默认最多可以创建100个Kafka实例，如果您想创建更多实例，请联系客服申请增加配额。 步骤 5 选择“计费模式”、“区域”、“项目”和“可用区”。 步骤 6 设置“实例名称”和“企业项目”。 步骤 7 设置实例信息。 1. 版本：Kafka的版本号，支持1.1.0、2.3.0、2.7和3.x，根据实际情况选择，推荐使用3.x。 Kafka实例创建后，版本号不支持修改 。 2. 鲲鹏规格：“创建鲲鹏架构实例”选框，默认不勾选是X86架构的实例，勾选之后是ARM架构的鲲鹏实例。 3. 在“代理规格”中，请根据业务需求选择相应的代理规格。在“代理数量”中，选择代理个数。 单个代理最大分区数代理个数实例分区数上限。当所有Topic的总分区数大于实例分区数上限时，创建Topic失败。 4. 在“存储空间”区域，您根据实际需要选择存储Kafka数据的磁盘类型和总磁盘大小。 Kafka实例创建后，磁盘类型不支持修改 。 存储空间包含所有副本存储空间总和，建议根据业务消息体积以及副本数量选择存储空间大小。假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB副本数 + 预留磁盘大小100GB。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 5. 在“容量阈值策略”区域，设置磁盘使用达到容量阈值后的消息处理策略，容量阈值为95%。 自动删除：可以正常生产和消费消息，但是会删除最早的10%的消息，以保证磁盘容量充足。该场景优先保障业务不中断，数据存在丢失的风险。 生产受限：无法继续生产消息，但可以继续消费消息。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 图 创建Kafka实例 步骤 8 设置实例网络环境信息。 在“虚拟私有云”下拉列表，选择已经创建好的虚拟私有云和子网。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。 说明 虚拟私有云和子网在Kafka实例创建完成后，不支持修改。 子网开启IPv6后，Kafka实例支持IPv6功能。 IPv6：子网开启IPv6后，支持设置此参数。开启IPv6后，客户端可以使用IPv6地址连接实例。 说明 开启IPv6的实例不支持动态开启和关闭SASLSSL功能。 实例创建成功后，不支持修改IPv6开关。 在“安全组”下拉列表，可以选择已经创建好的安全组。 安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 步骤 9 设置登录Kafka Manager的用户名和密码。创建实例后，Kafka Manager用户名无法修改。 Kafka Manager是开源的Kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 步骤 10 设置实例购买时长。 当选择了“包年/包月”付费模式时，页面才显示“购买时长”参数，您需要根据业务需要选择。 步骤 11 单击“更多配置”，设置更多相关信息。 1. 设置“公网访问”。 “公网访问”默认为关闭状态，您可以选择是否开启。 开启公网访问后，还需要为每个代理设置对应的IPv4弹性IP地址。 说明 如果开启了IPv6功能，支持设置此参数。 2. 设置“Kafka SASLSSL”。 客户端连接Kafka实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 “Kafka SASLSSL”默认为关闭状态，您可以选择是否开启。 Kafka实例创建后，Kafka SASLSSL开关不支持修改 ，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您可以选择是否开启“SASL PLAIN 机制”。未开启“SASL PLAIN 机制”时，使用SCRAMSHA512机制传输数据，开启“SASL PLAIN 机制”后，同时支持SCRAMSHA512机制和PLAIN机制，根据实际情况选择其中任意一种配置连接。Kafka实例创建后，SASL PLAIN机制开关不支持修改。 什么是SCRAMSHA512机制和PLAIN机制？ SCRAMSHA512机制：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN机制：一种简单的用户名密码校验机制。 开启Kafka SASLSSL后，您需要设置连接Kafka实例的用户名和密码。 3. 设置“Kafka自动创建Topic”。 “Kafka自动创建Topic”默认为关闭状态，您可以选择是否开启。 开启“Kafka自动创建Topic”表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 4. 设置“标签”。 标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键值对。另外，您可以单击“查看预定义标签”，跳转到标签管理服务页面，查看已经预定义的标签，或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签，标签的命名规格，请参考管理实例标签章节。 5. 设置实例的描述信息。 步骤 12 填写完上述信息后，单击“立即购买”，进入规格确认页面。 步骤 13 确认实例信息无误后，单击“提交”。 步骤 14 在实例列表页面，查看Kafka实例是否创建成功。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请参考删除实例，删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明 创建失败的实例，不会占用其他资源。

本节主要介绍与其它服务的关系 应用服务网格与周边服务的依赖关系如下图所示。 应用服务网格与其他云服务关系 云容器引擎 CCE 云容器引擎（Cloud Container Engine）提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，简化云上自动化容器运行环境搭建。 您可以通过ASM部署运行在云容器引擎上。 弹性负载均衡 ELB 弹性负载均衡（ Elastic Load Balance，ELB）将访问流量自动分发到多台云服务器，扩展应用系统对外的服务能力，实现更高水平的应用容错。 您可通过弹性负载均衡从外部访问ASM。 应用运维管理 AOM 应用运维管理AOM为您提供一站式立体运维平台，实时监控应用、资源运行状态，通过数十种指标、告警与日志关联分析，快速锁定问题根源，保障业务顺畅运行。 您可使用应用运维管理，对ASM中的服务和资源进行实时监控，对指标、告警和日志进行关联分析。 应用性能管理 APM（待上线） 应用性能管理服务（Application Performance Management，简称APM）是实时监控并管理云应用性能和故障的云服务，提供专业的分布式应用性能分析能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。 您可使用应用性能管理，对ASM中运行的服务进行全链路拓扑管理和分布式调用链追踪，方便您快速进行故障定位和根因分析。

本节主要介绍如何在智能视图服务控制台使用回调模板。 智能视图服务平台的回调支持录制、设备状态、流状态、AI告警等事件，当设备有事件发生时，消息会由事件通知服务统一回调给用户配置的服务器地址。 新建回调模板 点击左侧导航栏的【模板管理回调模板】后点击【新建回调模板】进入该页面，参数说明如下： 参数名 说明 录制回调 当有录像文件生成时，会向服务器发送事件状态。 设备状态回调 当设备状态发生改变时，会向服务器发送事件状态。 流状态回调 当流状态发生改变时，会向服务器发送事件状态。 AI事件通知回调 当有AI事件发生时，会向服务器发送事件状态。 绑定回调模板 在设备或业务组管理页面绑定回调模板，当设备上有状态事件发生时，智能视图服务后台就会向用户服务器地址发送事件消息。

消息超过老化时间，消息仍存在的原因 问题现象： 消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。 可能原因1： Topic的每个分区都是由多个大小相同的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果正在使用的segment文件中包含超过老化时间的消息，由于此时segment文件不会被删除，所以超过老化时间的消息也不会被删除。 处理方法： 等待segment文件被使用完，或者删除超过老化时间的消息所在的Topic。 可能原因2： Topic中存在一条create time为未来时间的消息（例如当前时间为1月1日，create time设置成了2月1日），此消息在72小时后，并不会被老化，导致在此消息后创建的其他消息都不会被老化。 处理方法： 删除create time为未来时间的消息所在的Topic。 Kafka实例是否支持延迟消息？ 不支持延迟消息。 如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查询消费组信息。 在Kafka控制台的“监控”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在Kafka客户端，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过 kafkaconsumergroups.sh bootstrapserver {kafka连接地址} describe group {消费组} 命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图 查看每个Topic的总堆积数 说明 如果Kafka实例开启SASL认证，则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数： commandconfig {SASL认证的consumer.properties配置文件} ，“consumer.properties”配置文件参考开启SASL认证的Kafka命令行连接说明。

参数 参数类型 说明 示例 下级对象 queueId Integer 队列ID。 3 storeSize Integer 存储大小。 485 queueOffset Integer 队列偏移量。 7 sysFlag Integer 系统标记。 0 bornTimestamp Long 消息生成时间戳。 1661857434591 bornHost String 消息生成主机地址。 192.168.71.1:55492 storeTimestamp Long 消息存储时间戳。 1661857434599 storeHost String 消息存储主机地址。 192.168.71.188:8422 msgId String 消息ID。 C0A847BC000020E600000000000045FE commitLogOffset Long 提交日志偏移量。 17918 bodyCRC Integer 消息体CRC校验值。 979262990 reconsumeTimes Integer 重试次数。 0 preparedTransactionOffset Long 预处理事务偏移量。 0 topic String 主题名称。 test properties Map of String 消息属性。 properties messageBody String 消息体内容。 status String 消息状态。 null

云监控服务相关概念 使用云监控服务之前，请先了解一下相关概念，从而可以更好的使用云监控服务。 监控指标 监控指标是云监控服务的核心概念，通常是指云平台上某个资源的某个维度状态的量化值，如云主机的CPU使用率、内存使用率等。监控指标是与时间有关的变量值，会随着时间的变化产生一系列监控数据，帮助用户了解特定时间内该监控指标的变化。 聚合 聚合是云监控服务在特定周期内对各服务上报的原始采样数据采取平均值、最大值、最小值、求和值、方差值计算的过程。这个计算的周期又叫做聚合周期，目前云监控服务支持5分钟、20分钟、1小时、4小时、24小时共五种聚合周期。 监控面板 监控面板为用户提供自定义查看监控数据的功能，支持在一个监控面板跨服务、跨维度查看监控数据，将您关注的重点服务监控指标集中呈现，既能满足总览服务运行概况，又能满足排查故障时快速查看监控详情的需求。 主题 主题是设置告警通知是客户端订阅通知的特定事件类型，为用户提供一对多的发布订阅以及消息通知功能，支持用户实现一站式多种消息通知方式。云监控服务在监控到云服务资源发生变化时，可通过多种方式通知用户，让用户实时掌握云服务的运行状况。

本节介绍针对DDos攻击设置告警通知的最佳实践。 用户可以开启DDoS攻击告警通知，当公网IP受到DDoS攻击时用户会收到提醒消息。 前提条件 登录账号已购买公网IP。 操作步骤 1. 登录管理控制台。 2. 在产品服务列表中，选择“安全 > AntiDDoS流量清洗”，进入“AntiDDoS流量清洗”控制台。 3. 选择“告警通知”页签，设置告警通知。 告警通知参数说明： 参数 说明 告警通知开关 开启或关闭告警通知，说明如下： ：开启状态。 ：关闭状态。 消息通知主题 可以选择使用已有的主题，或者单击“查看消息通知主题”创建新的主题。 4. 将告警通知状态参数置为开启状态。 5. 单击“确定”，开启告警通知。

Kafka 消费的语义是 “at least once”， 也就是至少投递一次，保证消息不丢，但是不会保证消息不重复。在出现网络问题、客户端重启时均有可能出现少量重复消息，此时应用消费端如果对消息重复比较敏感（比如说订单交易类），则应该做到消息幂等。 以数据库类应用为例，常用做法是： 发送消息时，传入 key 作为唯一流水号ID； 消费消息时，判断 key 是否已经消费过，如果已经消费过了，则忽略，如果没消费过，则消费一次； 当然，如果应用本身对少量消息重复不敏感，则不需要做此类幂等检查。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常 (exception，RabbitMqConsumer调用的异常信息统计。) exceptionType 异常类型 异常类型 ENUM LAST 异常 (exception，RabbitMqConsumer调用的异常信息统计。) causeType 异常类 发生异常的类 ENUM LAST 异常 (exception，RabbitMqConsumer调用的异常信息统计。) count 次数 该异常的发生次数 INT SUM 异常 (exception，RabbitMqConsumer调用的异常信息统计。) message 异常消息 该异常产生的异常消息 STRING LAST 异常 (exception，RabbitMqConsumer调用的异常信息统计。) stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） pushConsumeIdentifier identifier 推模式消费标识 ENUM LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） concurrentMax 最大并发 消费消息最大并发 INT MAX 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） errorCount 错误次数 消费消息的错误次数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） invokeCount invokeCount Consume调用次数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） consumedMsgCount consumedMsgCount 消费消息数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） consumedBytes 消费字节数 消费字节数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） maxSingleMsgBytes 单次消费最大字节数 单次消费最大字节数 INT MAX 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） manualAckCount ack消息数 ack消息数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） rejectCount reject消息数 reject消息数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） requeueCount requeue消息数 requeue消息数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） lastError 错误信息 消费消息发生错误产生的错误信息 STRING LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） maxTime 最大响应时间 消费消息的最大响应时间 INT MAX 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） runningCount 正在执行数 采集时间点正在执行的消费消息数量 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） totalTime 总响应时间 消费消息的总响应时间 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range5 110s 响应时间在110s范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） unackedMsgCount 未确认消息数(Channel) 该channel中未确认的消息数 INT LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） connection connection consumer连接信息 ENUM LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） connectionCount 当前连接数 当前连接数 INT LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） channelCount 当前Channel数 当前Channel数 INT LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） connectionCreated 创建连接数 创建连接数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） connectionClosed 销毁连接数 销毁连接数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） channelCreated 创建Channel数 创建Channel数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） channelClosed 销毁Channel数 销毁Channel数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） concurrentMax 最大并发 消费消息最大并发 INT MAX connection监控（connectionConsume，以connection为维度统计消息消费详情。） errorCount 错误次数 消费消息的错误次数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） invokeCount invokeCount Consume调用次数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） consumedMsgCount consumedMsgCount 消费消息数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） consumedBytes 消费字节数 消费字节数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） maxSingleMsgBytes 单次消费最大字节数 单次消费最大字节数 INT MAX connection监控（connectionConsume，以connection为维度统计消息消费详情。） manualAckCount ack消息数 ack消息数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） rejectCount reject消息数 reject消息数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） requeueCount requeue消息数 requeue消息数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） lastError 错误信息 消费消息发生错误产生的错误信息 STRING LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） maxTime 最大响应时间 消费消息的最大响应时间 INT MAX connection监控（connectionConsume，以connection为维度统计消息消费详情。） runningCount 正在执行数 采集时间点正在执行的消费消息数量 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） totalTime 总响应时间 消费消息的总响应时间 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range5 110s 响应时间在110s范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） unackedMsgCount 未确认消息数 该连接中未确认的消息数 INT LAST total监控（total，以客户端为维度统计消息消费详情。） concurrentMax 最大并发 消费消息最大并发 INT MAX total监控（total，以客户端为维度统计消息消费详情。） errorCount 错误次数 消费消息的错误次数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST total监控（total，以客户端为维度统计消息消费详情。） invokeCount invokeCount Consume调用次数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） consumedMsgCount consumedMsgCount 消费消息数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） consumedBytes 消费字节数 消费字节数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） maxSingleMsgBytes 单次消费最大字节数 单次消费最大字节数 INT MAX total监控（total，以客户端为维度统计消息消费详情。） manualAckCount ack消息数 ack消息数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） rejectCount reject消息数 reject消息数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） requeueCount requeue消息数 requeue消息数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） lastError 错误信息 消费消息发生错误产生的错误信息 STRING LAST total监控（total，以客户端为维度统计消息消费详情。） maxTime 最大响应时间 消费消息的最大响应时间 INT MAX total监控（total，以客户端为维度统计消息消费详情。） runningCount 正在执行数 采集时间点正在执行的消费消息数量 INT SUM total监控（total，以客户端为维度统计消息消费详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST total监控（total，以客户端为维度统计消息消费详情。） totalTime 总响应时间 消费消息的总响应时间 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range5 110s 响应时间在110s范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） unackedMsgCount 未确认消息数 该客户端中未确认的消息数 INT LAST

本节介绍分布式消息服务Kafka使用SASLSSL连接常见问题 1.报错示例：java.security.cert.CertPathValidatorException: Algorithm constraints check failed: SHA256withDS 解决途径：排查jdk是否支持SHA256withDS算法，推荐使用oracle jdk1.8.0201版本jdk 2.报错示例：Topic authorization failed for topics 解决途径：排查topic是否授权，如果没有则授予对应权限 3. 报错示例：Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAMSHA512 解决途径：排查连接kafka的用户密码是否正确 4. 报错示例：java.security.cert.CertificateException: No subject alternative names present 解决途径：配置文件需要配置 ssl.endpoint.identification.algorithm 5. 报错示例：Keystore was tampered with, or password was incorrect 解决途径：排查 ssl client密码是否错误或者和证书不匹配，可以从实例详情>接入点信息>查看所有IP和端口信息，界面下载对应证书 6.接入配置示例

操作场景 分布式消息服务 Kafka 版支持按主题或用户/客户端来配置限流策略，避免因资源消耗过高而影响全量业务。 前提条件 流控管理仅支持集群版实例。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”按钮。 4. 点击“智能运维”、“流控管理”菜单进入流控管理页面。 5. 如需配置主题流控 ，在流控配置页卡的下拉框选择“Topic”选项并点击“创建流控”按钮。 6. 在弹窗填入主题名、生产上限速率、消费上限速率，点击“确定”按钮。 Topic：填入需要限流的主题名 速率范围：1MB/s — 1024MB/s 7. 如需配置用户/客户端流控 ，在流控配置页卡的下拉框选择“User/Client”选项并点击“创建流控”按钮。 8. 在弹窗填入用户名、客户端ID、生产上限速率、消费上限速率，点击“确定”按钮。 用户名：填入需要限流的用户名，与客户端ID不能同时为空 客户端ID：填入需要限流的客户端ID，与用户名不能同时为空 速率范围：1MB/s — 1024MB/s

了解Kubernetes相关的基础知识。 Pod Pod 是Kubernetes中创建和管理的最小单元，是一个或多个容器的组合，Pod中的容器共享存储和网络资源，以及运行容器的规范。 Volume Volume是Pod内部的共享存储资源，生命周期和Pod相同，与容器无关，即使Pod上的容器停止或者重启，Volume也不会受到影响。但如果Pod终止，那么Volume的生命周期也会结束。 Persistent Volume（PV） Volume中的数据无法持久保留，不能满足有状态服务的需求，因此需要Persistent Volume。PV是Kubernetes中的持久存储资源，是一种网络存储，它的生命周期和Pod无关。如果在Kubernetes中运行有状态服务，比如数据库MySQL，MongoDB或者中间件Redis，RabbitMQ等，那么就需要使用PV，这样即使Pod终止也不会丢失数据。 Persistent Volume Claim（PVC） Persistent Volume Claim是PV的声明。在Kubernetes中，直接使用PV作为存储时，需要集群管理员提前创建好PV，使用上不灵活。而PVC可以将Pod和PV解耦，即Pod不直接使用PV，而是通过PVC来使用PV。这样，无需提前创建PV，只要通过StorageClass把存储资源定义好，Kubernetes就会根据使用需要，动态创建PV，这种方式称为动态供应。 StorageClass StorageClass用于描述不同的存储类型。当通过PVC动态创建HBlock 的卷时，需要在StorageClass中配置创建HBlock卷的参数，如卷冗余模式、扇区大小、写策略等信息。 Container Storage Interface（CSI） Container Storage Interface（CSI）是通用存储接口，旨在实现容器编排器和存储提供商之间的互操作。通过CSI，容器编排器能够使用任何存储提供商的存储服务，存储提供商也可以为任何容器编排器提供存储服务。

参数 参数类型 说明 示例 下级对象 diff Integer 差值 0 total Integer 消息总数 27 consumedTotal Integer 已消费消息总数 27 retryNums Integer 重试次数 0 groupName String 消费组名称 group brokerName String Broker名称 mqtestbroker1 topicName String 主题名称 test outTps Integer 出消息TPS 0 outTotalMsgToday Integer 今日出消息总数 0 offSetDiff Integer 偏移量差值 0 notAckMsgNum Integer 未确认消息数 0 notAckMsgTime Integer 未确认消息时长 0 notConsumeMsgTime Integer 未消费消息时长 0

本节主要介绍应用场景 巡检与问题定界 日常运维中，遇到异常难定位、日志难获取等问题，需要一个监控平台对资源、日志、应用性能进行全方位的监控。 AOM深度对接应用服务，一站式收集基础设施、中间件和应用实例的运维数据，通过指标监控、日志分析、服务异常报警等功能，支持日常巡检资源、应用整体运行情况，及时发现并定界应用与资源的问题。 优势 应用自动发现：自动部署采集器，针对应用的运行环境，主动发现应用并进行监控。 跨云服务的分布式应用监控：对于同时使用了多种云服务的分布式应用，提供统一的运维平台，便于您对业务进行立体排查。 告警灵活通知：提供多种异常检测策略并支持丰富的异常告警触发方式。 巡检与问题定界 立体化运维 您需全方位掌控系统的运行状态，并快速响应各类问题。 AOM提供从云平台到资源，再到应用的监控和微服务调用链的立体化运维分析能力。 优势 体验保障：实时掌控业务KPI健康状态，对异常事务根因分析。 故障快速诊断：分布式调用追踪，快速找到异常故障点。 资源运行保障：实时监控容器、磁盘、网络等上百种资源运维指标 集群>虚机>应用>容器异常关联分析。

参数 参数类型 说明 示例 下级对象 queueId Integer 队列ID。 0 storeSize Integer 存储大小，单位B 280 queueOffset Integer 队列偏移量。 0 sysFlag Integer 系统标记。 0 bornTimestamp Long 消息生成时间戳。 1661947215767 bornHost String 消息生成主机地址。 192.168.71.1:64222 storeTimestamp Long 消息存储时间戳。 1661947567107 storeHost String 消息存储主机地址。 192.168.71.188:8422 msgId String 消息ID。 C0A847BC000020E600000000000794D8 commitLogOffset Long 提交日志偏移量。 496856 bodyCRC Integer 消息体CRC校验值。 1335308324 reconsumeTimes Integer 重试次数。 4 preparedTransactionOffset Long 预处理事务偏移量。 0 topic String 主题名称。 %DLQ%group1 properties Object 消息属性。 properties messageBody String 消息体内容。 GZ2BfSrWuAinKs 表 properties