权限名 详细信息 备注 Tenant Administrator (全局服务) DLI Flink作业访问和使用OBS或者DWS数据源、日志转储（包括桶授权）、开启checkpoint、作业导入导出等，需要获得访问和使用OBS（对象存储服务）的Tenant Administrator权限。 由于云服务缓存需要时间，该权限60分钟左右才能生效。 DIS Administrator DLI Flink作业访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）的DIS Administrator权限。 由于云服务缓存需要时间，该权限30分钟左右才能生效。 VPC Administrator DLI跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得使用VPC（虚拟私有云）的VPC Administrator权限。 由于云服务缓存需要时间，该权限3分钟左右才能生效。 SMN Administrator DLI作业执行失败需要通过SMN发送通知消息，因此需要获得访问和使用SMN（消息通知服务）的SMN Administrator权限。 由于云服务缓存需要时间，该权限3分钟左右才能生效。

本文主要介绍应用性能管理 应用性能管理服务（Application Performance Management，简称APM）是实时监控并管理云应用性能和故障的云服务，提供专业的分布式应用性能分析能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。 通过云审计服务，您可以记录与APM服务相关的操作事件，便于日后的查询、审计和回溯。 表云审计服务支持的APM操作列表 操作名称 资源类型 事件名称 删除应用 APM clearApps 设置事务别名 APM setAlias 更新虚机服务分组 APM updateVirtualService 更新事务配置 APM updateTxTypeSettings 更新拓扑Apdex阈值 APM updateThresholds 设置事务分组 APM txtypeGroupOperation 删除应用配置 apm deleteAppGroup 更新采集开关配置 apm setAppPpswitcherConfig 更新智能采样配置 apm setAppCallChainConfig 更新内存检测机制配置 apm setAppMwsConfig 更新日志增加TraceID配置 apm setAppLogTransacConfig 更新SQL分析开关配置 apm setAppSqlConfig 更新忽略HTTP响应代码或忽略错误和异常配置 apm setAppIgnoreConfig

随着越来越多的数据源持续、快速地产生数据，此类流式数据急需被系统分析和处理。事件流适用于端到端的流式数据处理场景，对源端产生的事件实时抽取、转换和分析并加载至目标端，帮助您轻松处理流式数据。 事件流总体架构 事件流作为更轻量、实时端到端的流式事件通道，提供轻量流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步，连接不同的系统与服务。 如下图所示，事件源与事件目标之间无需定义事件总线，事件通过事件流这个通道在源端和目标端之间进行流转。 事件源：事件的来源，可将天翼云服务如分布式消息Kafka的业务数据作为事件流中的事件提供方。 事件过滤：事件流通过事件模式过滤事件并将事件路由到事件目标，事件模式必须和匹配的事件具有相同的结构。 事件转换：可选择天翼云函数计算作为事件转换器，您可以通过编写函数代码对事件进行更复杂、更加定制化的处理。 事件目标：消费事件消息。 功能优势 实时高效 事件流支持实时从事件源获取、过滤与转换事件，并加载至事件目标。无需定义事件总线，您可以更快地访问事件。 轻量集成 只需在控制台简单创建任务或者一次调用，即可建立实时端到端的流式事件通道，避免了复杂繁琐的操作，便于快速集成。 指标监控 事件流提供多个指标，您可以使用这些指标监控数据流的运行状况，出现异常时及时运维，确保数据流正常运行。 节约成本 按量计费，按照数据量进行计费，不使用则不收费。

ssl消费消息 plaintext package main import ( "crypto/tls" "crypto/x509" "flag" "fmt" amqp "github.com/rabbitmq/amqp091go" "io/ioutil" "log" "time" ) var ( uri flag.String("uri", "amqps://USERNAME:PASSWORD@10.10.33.196:5671", "AMQP URI") exchange flag.String("exchange", "testexchange", "Durable, nonautodeleted AMQP exchange name") exchangeType flag.String("exchangetype", "direct", "Exchange type directfanouttopicxcustom") queue flag.String("queue", "testqueue", "Ephemeral AMQP queue name") bindingKey flag.String("key", "testkey", "AMQP binding key") consumerTag flag.String("consumertag", "simpleconsumer", "AMQP consumer tag (should not be blank)") lifetime flag.Duration("lifetime", 5time.Second, "lifetime of process before shutdown (0sinfinite)") ) func init() { flag.Parse() } func main() { c, err : NewConsumer(uri, exchange, exchangeType, queue, bindingKey, consumerTag) if err ! nil { log.Fatalf("%s", err) } if lifetime > 0 { log.Printf("running for %s", lifetime) time.Sleep(lifetime) } else { log.Printf("running forever") select {} } log.Printf("shutting down") if err : c.Shutdown(); err ! nil { log.Fatalf("error during shutdown: %s", err) } } type Consumer struct { conn amqp.Connection channel amqp.Channel tag string done chan error } func NewConsumer(amqpsURI, exchange, exchangeType, queueName, key, ctag string) (Consumer, error) { c : &Consumer{ conn: nil, channel: nil, tag: ctag, done: make(chan error), } var err error log.Printf("dialing %q", amqpsURI) caCert, err : ioutil.ReadFile("D:codeTestamqpexamplessslcacertificate.pem") if err ! nil { return nil, err } cert, err : tls.LoadX509KeyPair("D:codeTestamqpexamplessslclientopenstackcertificate.pem", "D:codeTestamqpexamplessslclientopenstackkey.pem") if err ! nil { return nil, err } rootCAs : x509.NewCertPool() rootCAs.AppendCertsFromPEM(caCert) tlsConf : &tls.Config{ RootCAs: rootCAs, Certificates: []tls.Certificate{cert}, //ServerName: "localhost", // Optional InsecureSkipVerify: true, } c.conn, err amqp.DialTLS(amqpsURI, tlsConf) if err ! nil { return nil, fmt.Errorf("Dial: %s", err) } go func() { fmt.Printf("closing: %s",

来自：

帮助文档

分布式消息服务RabbitMQ

开发指南

Go

本章节介绍应用容灾多活的操作日志功能。 前提条件 已创建应用系统。 查看操作日志 1. 登录应用高可用服务控制台。 2. 单击左侧菜单栏应用容灾多活 ，在应用容灾多活菜单下单击数据双活/应用双活 ，进入数据双活/应用双活管理页面。 3. 在应用系统列表中找到需要配置的应用系统，单击应用系统名称 ，进入应用系统概览页。 4. 在左侧导航栏选择运维监控 ，在运维监控菜单下单击操作日志，进入操作日志页面。 5. 操作日志包含下表信息，单击日志行右侧详情按钮，可以查看操作详情。 表 操作分类 操作分类 具体操作 描述 基础配置 新增应用系统 新增应用系统 删除应用系统 删除应用系统 修改应用系统 修改应用系统 新增站点 创建站点 删除站点 删除站点 修改站点 修改站点 启用站点 启用站点 禁用站点 禁用站点 重置站点 重建站点业务数据，在故障站点恢复正常后操作 新增单元 新增单元 删除单元 删除单元 修改单元 修改单元 新增单元组 新增单元组 删除单元组 删除单元组 修改单元组 修改单元组 接入层配置 选择接入层网关 绑定接入层网关 移除接入层网关 解绑接入层网关 新增单元组URI配置 新增业务流量路由 删除单元组URI配置 删除业务流量路由 修改单元组URI配置 修改业务流量路由 数据层配置 新增数据源 新增数据层数据源 删除数据源 删除数据层数据源 修改数据源 修改数据层数据源 新增同步任务 新增数据同步任务 删除同步任务 删除数据同步任务 修改同步任务 修改数据同步任务 启动同步任务 启动数据同步任务 停止同步任务 停止数据同步任务 绑定链路 绑定同步链路与数据传输服务实例 解绑链路 解绑同步链路与数据传输服务实例 启动链路 启动同步链路所绑定任务 停止链路 停止同步链路所绑定任务 消息层配置 新增数据源 新增消息层数据源 删除数据源 删除消息层数据源 修改数据源 修改消息层数据源 新增同步任务 新增消息同步任务 删除同步任务 删除消息同步任务 修改同步任务 修改消息同步任务 启动同步任务 启动消息同步任务 停止同步任务 停止消息同步任务 创建路由任务配置 创建消息路由任务配置 删除路由任务配置 删除消息路由任务配置 创建路由任务 创建路由任务 删除路由任务 删除路由任务 启用路由任务 启用路由任务 停用路由任务 停用路由任务 重置位点 重置目标实例消费位点 容灾切流 基础配置推送 发起基础配置推送 流量切换 发起流量切换 主备切换 发起主备切换 取消步骤 取消切流过程指定步骤 忽略步骤 跳过切流过程指定步骤 重试步骤 重试切流过程指定步骤 表 操作状态 状态 描述 成功 操作成功 失败 操作失败 执行中 操作进行中

相比于传统的集中式数据库，分布式数据被分散存储在多个物理位置（多台服务器或数据中心）上，并将这些分散的存储资源构成一个虚拟的存储设备。这种存储方式不仅实现在线扩容能力，同时也提升了数据的检索能力。而且分布式数据库利用SQL语言进行分布式查询和处理，使其性能和扩展性得到显著提升。 分布式数据存储原理 分布式存储架构通常由三个部分组成：客户端、元数据服务器（协调节点）和数据服务器（数据节点）。其主要流程是：客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器（协调节点）管理元数据和处理客户端的请求。数据服务器（数据节点）存放文件数据，保证数据的可用性和完整性。分布式存储主要通过以下几种方式实现： 数据分片‌：在分布式存储系统中，数据被分成多个部分，每个部分存储在不同的数据节点上，以实现数据的分布式存储和管理。这种分片通常使用哈希函数或一致性哈希算法来实现。 主备复制‌：为了提高数据的可靠性和可用性，分布式存储系统通常分为主备节点。每个数据都存储在不同的数据节点上，以确保即使某些节点出现故障，仍然可以从其他节点中恢复数据。 数据一致性‌：确保数据在不同节点之间的一致性是分布式存储系统的关键。为了实现数据同步和管理，分布式存储系统使用数据同步和管理机制，如Paxos算法、Raft算法或ZooKeeper等分布式协调服务。 数据访问‌：在分布式存储系统中，数据可以并行地从多个节点中读取和写入，以提高读写性能和吞吐量。数据访问使用负载均衡机制实现，如分布式哈希表、分布式缓存或分布式文件系统等技术。 通过这种存储方式可实现TeleDB在线扩容能力，在业务无感知的情况下，在线弹性伸缩，提升系统容量和处理能力，以便满足大规模存储应用的需求。

本节主要介绍如何进行实例配置管理 管理控制台提供Redis实例运行日志查询，可查询redis节点的运行日志。通过查询运行日志，可进行故障排查、性能监控、运维管理等。当Redis出现异常、错误或崩溃时，通过查看日志可以获取关于故障发生的详细信息，帮助定位问题的根本原因。日志中可能包含错误消息、警告、异常堆栈跟踪等，有助于开发人员或运维人员迅速定位和修复故障。 前提条件 已成功开通分布式缓存服务Redis实例，且实例处于运行中状态。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情页面。 4. 点击左侧 日志管理>运行日志，进入运行日志页面。 5. 选择具体Redis节点，即可查看所选节点下的运行日志情况。 6. 点击下载日志，选择日期和Redis节点，可下载运行日志到本地。下载日志仅支持下载最近7天中的其中1天。

本节介绍了如何实现RabbitMQ的高性能。 使用较小的队列长度 队列中存在大量消息时，会给内存使用带来沉重的负担，为了释放内存，RabbitMQ会将消息刷新到磁盘。这个过程通常需要时间，由于需要重建索引，重启包含大量消息的集群非常耗时。当刷盘的消息过多时，会阻塞队列处理消息，从而降低队列速度，对RabbitMQ节点的性能产生负面影响。 要获得最佳性能，应尽可能缩短队列。建议始终保持队列消息堆积的数量在0左右。 对于经常受到消息峰值影响的应用程序，和对吞吐量要求较高的应用程序，建议在队列上设置最大长度。这样可以通过丢弃队列头部的消息来保持队列长度，队列长度永远不会大于最大长度设置。 在队列声明时使用对应参数设置。 java //创建队列 HashMap map new HashMap<>(); //设置队列最大长度 map.put("xmaxlength",10 ); //设置队列溢出方式保留前10 map.put("xoverflow","rejectpublish" ); channel.queueDeclare(queueName,false,false,false,map); 当队列长度超过设置的最大长度时，RabbitMQ的默认做法是将队列头部的信息（队列中最老的消息）丢弃或变成死信。可以通过设置不同的overflow值来改变这种方式，如果overflow值设置为drophead，表示从队列前面丢弃或deadletter消息，保存后n条消息。如果overflow值设置为rejectpublish，表示最近发布的消息将被丢弃，即保存前n条消息。 自动删除不再使用的队列 客户端可能连接失败导致队列被残留，大量的残留队列会影响实例的性能。RabbitMQ提供三种自动删除队列的方法： 在队列中设置TTL策略：例如TTL策略设置为28天，当持续28天队列未被使用时，此队列将被删除。 使用autodelete队列：当最后一个消费者退出或通道/连接关闭（或与服务器的TCP连接丢失）时，autodelete队列会被删除。 使用exclusive queue：exclusive queue只能在创建它的连接中使用，当此连接关闭或消失时，exclusive queue会被删除。 设置方法如下： java boolean exclusive true; boolean autoDelete true; channel.queueDeclare(QUEUENAME, durable, exclusive, autoDelete, arguments);

本节介绍了云数据库GaussDB的产品定义及架构。 云数据库GaussDB 是分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳定可靠，扩展性强，性能优越的企业级数据库服务。 GaussDB分布式形态整体架构 GaussDB 分布式形态整体架构如下： Coordinator Node：协调节点CN，负责接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行。 GTM：全局事务管理器（Global Transaction Manager），负责生成和维护全局事务ID、事务快照、时间戳、Sequence信息等全局唯一的信息。 Data Node：数据节点DN，负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及向CN返回执行结果。 GaussDB主备版形态整体架构 GaussDB 主备版形态整体架构如下： ETCD：分布式键值存储系统（Editable Text Configuration Daemon）。用于共享配置和服务发现（服务注册和查找）。 CMS：集群管理模块（Cluster Manager）。管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行。 Data Node：数据节点DN，负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及返回执行结果。

本页介绍分布式融合数据库HTAP的告警历史功能。 告警历史简介 在告警历史页面，可查看告警历史记录，支持对历史告警消息进行查询与搜索。 操作场景 用户可以通过控制台的“管理中心告警中心告警历史”中查看实例的异常触发告警的历史记录，告警历史包括用户开通的所有类型的数据库实例的告警历史，可通过筛选查询所需的历史记录。 操作步骤 搜索历史告警消息，可通过复杂查询筛选对应条件的告警历史。查询参数包括： 时间范围 告警类型 告警级别 告警状态 指定实例名称或主机IP 告警历史记录包含信息有： 告警对象：区分不同数据库类型的实例 实例名称/实例ID：实例的名称和ID。 发生时间：告警触发时间节点。 持续时间：告警持续的时长。 策略名称：触发告警的策略名称。 告警详情：触发告警的场景详细信息。 告警级别：告警等级，包括普通、告警、紧急三种告警等级，紧急程度从小到大逐步增加。 状态：告警状态，包括告警中、被抑制、静默中、已恢复四种状态。

专属云Kafka的产品服务与公有云Kafka的产品规格保持一致，由两种服务资源组成，队列规格、队列存储。 其中队列计算规格按消息队列基准带宽分为4种分别是：100MB/s、300MB/s、600MB/s、1200MB/s； 存储类型分2种，分别如下：高I/O、超高I/O。

指标 指标含义 可消费消息数 队列中已经准备好等待消费者去获取和处理的消息数量。 连接数 当前与 RabbitMQ 服务器建立的 TCP 连接总数。每个生产者或消费者客户端都需要与 RabbitMQ 建立一个 TCP 连接。 信道数 在所有 TCP 连接上打开的 AMQP 信道总数。信道是在 TCP 连接内部建立的虚拟连接，用于多路复用，以减少建立和关闭 TCP 连接的开销。 消费者数 当前所有队列上注册的消费者总数。一个消费者可以监听一个或多个队列。 交换器生产速率 单位时间内发送到某个交换器的消息数量。 交换器消费速率 单位时间内从某个交换器路由到其绑定队列的消息数量。 队列生产速率 单位时间内发送到某个队列的消息数量。 队列消费速率 单位时间内从某个队列成功投递给消费者并收到确认（ACK）的消息数量。 队列可消费消息数 某个队列中当前处于 "Ready" 状态的消息数量。 队列消费者数 当前正在监听某个队列的消费者数量。 VHost连接数 当前连接到某个特定 VHost 的 TCP 连接总数。 VHost信道数 当前在某个特定 VHost 的所有连接上打开的信道总数。 VHost每个连接的信道数 某个 VHost 的信道总数除以其连接总数得到的平均值。

本章主要介绍响应消息头。 调用API时，API网关增加如下响应消息头。 XApigMode: debug表示响应消息头增加API网关调试信息。 响应消息头 描述 说明 ::: XRequestId 请求ID 所有合法请求，都会返回此参数 XApigLatency 从API网关接收请求到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug时，返回此参数 XApigUpstreamLatency 从API网关请求后端到后端返回消息头的用时 仅在请求消息头包含XApigMode: debug，且后端服务类型不为Mock时，返回此参数 XApigRateLimitapi API流量控制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了API流量控制时，返回此参数 XApigRateLimituser 用户流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了用户流量限制时，返回此参数 XApigRateLimitapp 应用流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了应用流量限制时，返回此参数 XApigRateLimitip 源IP流量限制信息 示例：remain:9,limit:10,time:10 second 仅在请求消息头包含XApigMode: debug，且API配置了源IP流量限制时，返回此参数 XApigRateLimitapiallenv API默认流控信息 示例：remain:199,limit:200,time:1 second 仅在请求消息头包含XApigMode: debug时，返回此参数

the consumer message buffer is full, so do flow control 客户端日志出现the consumer message buffer is full, so do flow control 问题原因：push客户端消费过慢，本地缓存队列已满，暂时停止向服务端拉取消息。消费慢的原因可能是网络原因、topic队列数过多、消费者过少，内存过小等。 解决方案： （1）查看网络是否异常，缓慢。 （2）增加消费者实例。 （3）如果消息不重要，又不方便增加消费者实例，可以减少topic队列数量。 system busy, start flow control for a while 客户端日志出现 [REJECTREQUEST]system busy, start flow control for a while 或者 [PCBUSYCLEANQUEUE]broker busy, start flow control for a while, period in queue。 问题原因： 在关闭生产者实例的同时用生产者实例发送消息，连接关闭了netty会拒绝请求。 线程少，处理发送请求过慢。 解决方案： 应用优化使用流程，禁止在close生产者实例后使用生产者。 如果Broker是同步主，那么改成异步主，或者将 sendMessageThreadPoolNums32且waitTimeMillsInSendQueue1000。 消费者消费不到消息如何处理 进入控制台查看订阅管理菜单，检查订阅组是否有消费实例在线，如果不在线检查消费客户端日志是否有连接异常。 检查消费客户端逻辑，是否存在订阅关系不一致的情况。 消费者机器宕机重启是否会造成消息丢失 RocketMQ的消息数据以及订阅信息都是持久化保存的，当消费者下线重新上线后，会Broker持久化的下线前的消费偏移重新开始消费，所以不会发生消息丢失的情况。 订阅消息时是否可以允许消息Tag为空 订阅主题时如果Tag设置为空会导致消费者消费不到消息，如不希望通过Tag进行消息过滤，可以将Tag设置为，示例如下： consumer.subscribe(topic, ""); 客户端连接时出现“signature validate by dauth failed”错误 这种错误的原因一般是由于ACL认证失败，较大的可能是客户端配置的AccessKey和SecretKey出现错误，可以检查下这两项配置是否输入有误。

本节主要介绍与其它服务的关系 应用服务网格与周边服务的依赖关系如下图所示。 应用服务网格与其他云服务关系 云容器引擎 CCE 云容器引擎（Cloud Container Engine）提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，简化云上自动化容器运行环境搭建。 您可以通过ASM部署运行在云容器引擎上。 弹性负载均衡 ELB 弹性负载均衡（ Elastic Load Balance，ELB）将访问流量自动分发到多台云服务器，扩展应用系统对外的服务能力，实现更高水平的应用容错。 您可通过弹性负载均衡从外部访问ASM。 应用运维管理 AOM 应用运维管理AOM为您提供一站式立体运维平台，实时监控应用、资源运行状态，通过数十种指标、告警与日志关联分析，快速锁定问题根源，保障业务顺畅运行。 您可使用应用运维管理，对ASM中的服务和资源进行实时监控，对指标、告警和日志进行关联分析。 应用性能管理 APM（待上线） 应用性能管理服务（Application Performance Management，简称APM）是实时监控并管理云应用性能和故障的云服务，提供专业的分布式应用性能分析能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。 您可使用应用性能管理，对ASM中运行的服务进行全链路拓扑管理和分布式调用链追踪，方便您快速进行故障定位和根因分析。

操作场景 天翼云分布式消息Kafka自集成了一整套监控方案，对Kafka实例的运行状态进行日常监控，可以通过管理控制台查看Kafka实例各项监控指标。各项监控指标可以分为实例监控、实例节点监控、主题监控、消费组监控和Connect监控，各项监控指标的具体细节如下表所示。 操作前提 已开通天翼云Kafka实例，且实例状态为“运行中” Kafka 实例是天翼云Ⅱ类资源池实例，目前Ⅱ类资源池包括：华东1、上海36、华北2、长沙42、武汉41、西安7、杭州7、青岛20、西南1、西南2、广州4、郑州5、华南2等 监控指标 监控项的数据聚合周期为1分钟，即1分钟计算一次，计算出来每秒字节数。您可以将该数据理解为一分钟内的平均值。 1. 实例监控 指标ID 指标名称 指标含义 取值范围 单位 currentbrokers 存活节点数 该指标用于统计Kafka实例中正常运行的实例节点数 0~50 Count currenttopics 主题数 该指标用于统计Kafka实例中已经创建的主题数量。 0~2000 Count currentpartitions 分区数 该指标用于统计Kafka实例中已经使用的分区数量。 0~2000 Count groupmsgs 堆积消息数 该指标用于统计Kafka实例中所有消费组中总堆积消息数。 >0 Count instancebytesinrate 生产流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancebytesoutrate 消费流量 该指标用于统计Kafka实例中每秒生产的字节数。 >0 MB/s instancemessagesinrate 消息生产速率 该指标用于统计实例每秒生产的消息数。 >0 Count/s instancemessagesoutrate 消息消费速率 该指标用于统计实例每秒消费的消息数。 注意：2025年1月及以后购买的实例，支持此监控项。 >0 Count/s instancerequestqueuesize 实例请求队列长度 该指标用于统计实例请求队列长度。 >0 Count instanceresponsequeuesize 实例响应队列长度 该指标用于统计实例响应队列长度。 >0 Count instanceconnectionusage 实例连接数使用率 该指标用于统计实例连接数使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancetopicusage 实例用户主题数使用率 该指标用于统计实例租户主题使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancepartitionusage 实例用户主题分区数使用率 该指标用于统计实例租户主题分区使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instancegroupusage 实例用户消费组数使用率 该指标用于统计实例租户消费组使用率 注意：2025年6月及以后购买的实例，支持此监控项。 0~100 % instanceproducelimit 实例生产限流次数 该指标用于统计实例生产限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count instanceconsumelimit 实例消费限流次数 该指标用于统计实例消费限流次数 注意：2025年6月及以后购买的实例，支持此监控项。 >0 Count

本章主要介绍API发布常见问题。 对API的修改是否需要重新发布？ API发布后，如果再次编辑API参数，需要重新发布才能将修改后的信息同步到环境中。 API发布到RELEASE环境可以正常访问，发布到非RELEASE环境无法访问？ API发布到非RELEASE环境，添加xstage请求消息头后即可访问， 例如： r.Header.Add("xstage", "RELEASE") API发布到不同环境后，会调用不同的后端服务吗？ 使用环境变量，或者在后端服务定义不同的参数，可以实现API发布到不同环境时，调用不同的后端服务。 API调试的时候，如何指定环境？ 不能指定。API控制台提供的调试功能，用的是特定的debug环境，调试完成后需先发布到对应环境，之后可使用代码或者postman等工具，并添加请求消息头XStage，才能访问指定环境。

Topic与Tag释义 1）Topic：消息主题，通过Topic对不同的业务消息进行分类。 2）Tag：消息标签，用来进一步区分某个Topic下的消息分类，消息队列RocketMQ允许消费者按照Tag对消息进行过滤，确保消费者最终只消费到他关注的消息类型。 Topic与Tag都是业务上用来归类的标识，区分在于Topic是一级分类，而Tag可以说是二级分类。 适用场景 什么时候该用Topic，什么时候该用Tag，可以参考下面的一些考虑进行权衡： 考虑消息类型：如普通消息、顺序消息，事务消息、定时（延时）消息，不同消息类型是无法通过Tag区分的，这种情况就需要我们创建不同的Topic。 业务关联性：如果是不同业务之间没有直关联的消息，建议按照Topic进行区分；而同一个业务只是子类型不一样的消息可以用Tag进行区分。 消息优先级：不同的业务场景可能会导致消费端对于消息的优先级需求不同，有的紧急，有的相对来说对于延时的接收程度更大，不同优先级的消息用不同的Topic进行区分。 消息量级：如果量小但延时要求高的消息，跟超大量级（如万亿）的消息使用同一个Topic，则有可能排队时间过长导致延时无法接受，所以不同量级的消息不要使用不同的Tag，需要用不同的Topic。 总结起来就是，在消息分类实践中，有创建多个Topic，以及在同一个Topic下创建多个Tag两种常见做法。一般来说，不同的Topic之间的消息不产生直接业务上的关联，而同一个Topic下相互之间产生联系的消息可以选择用Tag来区分，一般是相同业务下的不同板块不同类型。

场景描述 RocketMQ查询消息信息的作用如下： ● 监控消息状态：通过查询消息信息，可以实时监控消息的状态，包括消息是否已被消费、消费进度、重试次数等。这有助于及时发现消息消费异常或延迟等问题，以便进行及时处理和调整。 ● 故障排查与追踪：通过查询消息信息，可以帮助定位消息消费失败的原因，如消费者异常、网络故障等。同时，还可以追踪消息的消费路径，了解消息从生产到消费的流程，方便排查故障和进行问题定位。 ● 统计与分析：通过查询消息信息，可以进行消息的统计和分析，如消息的发送量、消费量、消费延迟等。这有助于了解系统的消息处理情况，评估系统的性能和稳定性，以便进行相应的优化和改进。 ● 数据同步与恢复：通过查询消息信息，可以了解消息的发送时间、内容和关键字等信息，方便进行数据的同步和恢复。当系统发生故障或数据丢失时，可以通过查询消息信息来恢复数据，并确保数据的一致性和完整性。 综上所述，通过查询RocketMQ中的消息信息，可以实现消息的监控、故障排查、统计分析以及数据同步与恢复等功能，为系统的稳定运行和数据管理提供了重要的支持。 操作步骤 1、 进入管理控制台消息查询菜单。 2、 下拉选择集群名称和Broker名称。 3、 提供五种查询消息的方式：按key，按ID，按偏移量，基于Topic查询，死信队列查询。 根据Key查询 根据消息的key查询消息列表，key要求尽可能全局唯一。 点击“查看”，可以查询该消息的包体内容。

此小节介绍云堡垒机管理消息与新建系统公告。 消息中心是系统内各类消息接收提示管理中心。系统公告是对系统用户广播系统内重大变更的消息提醒。 管理消息列表 消息中心小窗可呈现最新三条未读消息。任务执行完成后，则可在任务中心查看全部任务。 消息类型共有5种，分别包括系统消息、业务消息、任务消息、命令告警、工单消息。 消息级别共有3种，分别包括“高”、“中”、“低”，消息级别越高代表消息重要程度越高。 本小节主要介绍如何在消息中心查看、删除、标记消息。 查看消息提醒 1. 登录云堡垒机系统。 2. 单击右上角，展开消息中心小窗口， 可查看最新三条未读消息。 3. 单击“查看更多”，进入消息中心列表页面。 4. 查询消息，在搜索框中输入关键字，根据消息标题内容快速查询消息。 5. 查看消息列表。消息按发生时间顺序倒序排列，可查看全部已读、未读的消息 。 6. 查看消息详情。单击目标消息名称，进入消息详情页面。 删除消息提醒 1. 登录云堡垒机系统。 2. 单击右上角，展开消息中心小窗口，可查看最新三条未读消息。 3. 单击“查看更多”，进入消息中心列表页面。 4. 勾选一条或多条消息，单击左下角“删除”，弹出删除消息确认窗口。 5. 单击“确定”，即可立即删除选中消息。消息删除后不可找回，请谨慎操作。

本节主要介绍如何在智能视图服务控制台使用回调模板。 智能视图服务平台的回调支持录制、设备状态、流状态、AI告警等事件，当设备有事件发生时，消息会由事件通知服务统一回调给用户配置的服务器地址。 新建回调模板 点击左侧导航栏的【模板管理回调模板】后点击【新建回调模板】进入该页面，参数说明如下： 参数名 说明 录制回调 当有录像文件生成时，会向服务器发送事件状态。 设备状态回调 当设备状态发生改变时，会向服务器发送事件状态。 流状态回调 当流状态发生改变时，会向服务器发送事件状态。 AI事件通知回调 当有AI事件发生时，会向服务器发送事件状态。 绑定回调模板 在设备或业务组管理页面绑定回调模板，当设备上有状态事件发生时，智能视图服务后台就会向用户服务器地址发送事件消息。

本节介绍Kafka 发送给Topic的消息在分区中分布不均衡原因 问题现象 发送消息到某个Topic后，该Topic下部分分区消息比较多，部分分区消息少，甚至没有。 可能原因 发送消息时指定了分区，导致未指定的分区没有消息。 发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，导致分区消息不均衡。 通过代码重新实现了分区分配策略，但策略逻辑有问题，导致分区消息不均衡。

本节介绍分布式消息服务Kafka使用SASLSSL连接常见问题 1.报错示例：java.security.cert.CertPathValidatorException: Algorithm constraints check failed: SHA256withDS 解决途径：排查jdk是否支持SHA256withDS算法，推荐使用oracle jdk1.8.0201版本jdk 2.报错示例：Topic authorization failed for topics 解决途径：排查topic是否授权，如果没有则授予对应权限 3. 报错示例：Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAMSHA512 解决途径：排查连接kafka的用户密码是否正确 4. 报错示例：java.security.cert.CertificateException: No subject alternative names present 解决途径：配置文件需要配置 ssl.endpoint.identification.algorithm 5. 报错示例：Keystore was tampered with, or password was incorrect 解决途径：排查 ssl client密码是否错误或者和证书不匹配，可以从实例详情>接入点信息>查看所有IP和端口信息，界面下载对应证书 6.接入配置示例

操作场景 分布式消息服务 Kafka 版支持按主题或用户/客户端来配置限流策略，避免因资源消耗过高而影响全量业务。 前提条件 流控管理仅支持集群版实例。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”按钮。 4. 点击“智能运维”、“流控管理”菜单进入流控管理页面。 5. 如需配置主题流控 ，在流控配置页卡的下拉框选择“Topic”选项并点击“创建流控”按钮。 6. 在弹窗填入主题名、生产上限速率、消费上限速率，点击“确定”按钮。 Topic：填入需要限流的主题名 速率范围：1MB/s — 1024MB/s 7. 如需配置用户/客户端流控 ，在流控配置页卡的下拉框选择“User/Client”选项并点击“创建流控”按钮。 8. 在弹窗填入用户名、客户端ID、生产上限速率、消费上限速率，点击“确定”按钮。 用户名：填入需要限流的用户名，与客户端ID不能同时为空 客户端ID：填入需要限流的客户端ID，与用户名不能同时为空 速率范围：1MB/s — 1024MB/s

目前提供Kafka专享版实例的服务，Kafka专享版实例采用物理隔离的方式部署，租户独占Kafka实例。创建Kafka专享版实例之后，使用开源Kafka客户端向Kafka专享版实例生产消息和消费消息。 本章节介绍如何使用开源的Kafka客户端访问未开启SASL的Kafka专享实例方法。 多语言客户端使用请参考Kafka官网： 说明：Kafka服务器允许客户端单IP连接的个数为200个，如果超过了，会出现连接失败问题。 前提条件 已配置正确的安全组。 访问未开启SASL的Kafka专享实例时，支持VPC内访问。实例需要配置正确的安全组规则，具体安全组配置要求，请参考下表。 已获取连接Kafka专享版实例的地址。 使用VPC内访问，实例端口为9092，实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址（实例未开启SASL） Kafka专享实例已创建Topic，否则请提前创建Topic。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本，确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本，并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明： 解压Kafka命令行工具。 进入文件压缩包所在目录，然后执行以下命令解压文件。 tar zxf [kafkatar] 其中，[kafkatar]表示命令行工具的压缩包名称。 例如： tar zxf kafka2.111.1.0.tgz 进入Kafka命令行工具的“/bin”目录下。 注意，Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 以获取的Kafka实例连接地址为“10.3.196.45:9092,10.78.42.127:9092,10.4.49.103:9092”为例。执行完命令后输入内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]

本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群，进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术，并且能够进行相互认证（即客户端和服务器端均可对对方进行身份认证）。可以用于防止窃听、防止replay攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。 原理 Kerberos的原理架构和各模块的说明如下图所示： 原理架构 模块说明 App Client：应用客户端，通常是需要提交任务（或者作业）的应用程序。 App Server：应用服务端，通常是应用客户端需要访问的应用程序。 Key Distribution Center（KDC）：提供安全认证的服务。 Database：存储Principal数据。 Authentication Server（AS）：认证服务器，认证客户端身份，发放客户访问TGS的票据授权票据（TGT）。 Ticket Granting Server（TGS）：票据授予服务器，发放应用客户端访问应用服务端所需的服务票据（ST）。 步骤原理说明 应用客户端（App Client）可以是集群内某个服务，也可以是客户二次开发的一个应用程序，应用程序可以向应用服务提交任务或者作业。 1. ASREQ：App Client在提交任务或者作业前，需要向AS申请TGT，用于建立和TGS的安全会话。 2. ASREP：AS在收到TGT请求后，会解析其中的参数来生成对应的TGT，使用App Client指定的用户名的密钥进行加密响应消息。 3. TGSREQ：App Client收到TGT响应消息后，解析获取TGT，此时，再由App Client（通常是RPC底层）向TGS获取应用服务端的ST。 4. TGSREP：TGS在收到ST请求后，校验其中的TGT合法后，生成对应的App Server的ST，再使用App Server密钥将响应消息进行加密处理。 5. APREQ：App Client收到ST响应消息后，将ST打包到发给App Server的消息里面传输给对应的App Server。 6. APREP：App Server端收到请求后，使用App Server对应的密钥解析其中的ST，并校验成功后，本次请求合法通过。 说明 1. Kerberos认证时需要配置Kerberos认证所需要的文件参数，主要包含keytab路径，Kerberos认证的principal，Kerberos认证所需要的客户端配置krb5.conf文件。 2. 方法login()为调用的UserGroupInformation的方法执行Kerberos认证，生成TGT票据。 3. 方法doSth()调用hadoop的接口访问文件系统，此时底层RPC会自动携带TGT去Kerberos认证，生成ST票据。

消息超过老化时间，消息仍存在的原因 问题现象： 消息超过设置的老化时间（如果Topic已经设置了老化时间，此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时，“配置参数”中的log.retention.hours值才会对此Topic生效。），消息仍存在。 可能原因1： Topic的每个分区都是由多个大小相同的segment文件组成，每个segment文件的大小为500MB，当segment文件存储的消息大小到达500MB后，才会新建下一个segment文件。Kafka删除消息是删除segment文件，而不是删除一条消息。Kafka要求至少保留一个segment文件用来存储消息，如果正在使用的segment文件中包含超过老化时间的消息，由于此时segment文件不会被删除，所以超过老化时间的消息也不会被删除。 处理方法： 等待segment文件被使用完，或者删除超过老化时间的消息所在的Topic。 可能原因2： Topic中存在一条create time为未来时间的消息（例如当前时间为1月1日，create time设置成了2月1日），此消息在72小时后，并不会被老化，导致在此消息后创建的其他消息都不会被老化。 处理方法： 删除create time为未来时间的消息所在的Topic。 Kafka实例是否支持延迟消息？ 不支持延迟消息。 如何查看堆积消息数？ 通过以下任意一种方法，查看堆积消息数。 在Kafka控制台的“消费组管理”页面，单击待查看堆积消息的消费组名称，进入消费组详情页。在“消费进度”页签，查看消费组中每个Topic的总堆积数。具体步骤，请参考查询消费组信息。 在Kafka控制台的“监控”页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在云监控页面的“消费组”页签中，“消费组”选择待查看堆积消息数的消费组名称，“队列”选择“全部队列”，“消费组可消费消息数”表示此消费组中所有Topic的堆积消息数之和。查看监控数据的具体步骤，请参考查看监控数据。 在Kafka客户端，在“/{命令行工具所在目录}/kafka{version}/bin/”目录下，通过 kafkaconsumergroups.sh bootstrapserver {kafka连接地址} describe group {消费组} 命令查看消费组中每个Topic的堆积消息数。“LAG”表示每个Topic的总堆积数。 图 查看每个Topic的总堆积数 说明 如果Kafka实例开启SASL认证，则以上命令还需要增加SASL认证的“consumer.properties”配置文件参数： commandconfig {SASL认证的consumer.properties配置文件} ，“consumer.properties”配置文件参考开启SASL认证的Kafka命令行连接说明。

您可以通过事件规则过滤事件，将事件路由到自建Apache Kafka服务。本文以自定义事件为例介绍将事件路由到自建Apache Kafka的前提条件、操作步骤和结果验证。 前提条件 开通事件总线EventBridge并委托授权 创建自定义总线服务 操作步骤 1. 登录事件总线EventBridge控制台，在左侧导航栏，单击事件总线。 2. 选择目标总线，在左侧导航栏，单击事件规则，然后单击添加事件规则。 3. 在添加事件规则页面，完成以下操作。 1. 在配置基本信息配置向导，在名称文本框输入规则名称，在描述文本框输入规则的描述，然后单击下一步。 2. 在配置事件模式配置向导，选择匹配全部事件，然后单击下一步。 3. 在配置事件目标 配置向导，配置事件目标，事件目标服务类型选择自建Apache Kafka，目标参数描述如下，然后单击创建。 参数说明 参数 说明 示例 接入点 Apache Kafka集群broker接入点，由IP与端口号拼接而成，以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填，选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填，选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名：填写SASL用户名 密码：填写SASL密码 SASL鉴权方式：可选PLAIN和SCRAMSHA512 PLAINTEXT 消息体 选择消息体（Body）的内容，更多信息请参考事件内容转换。 完整事件 消息键值 选择消息键值（Key）的内容，更多信息请参考事件内容转换。 空

本节主要介绍应用场景 巡检与问题定界 日常运维中，遇到异常难定位、日志难获取等问题，需要一个监控平台对资源、日志、应用性能进行全方位的监控。 AOM深度对接应用服务，一站式收集基础设施、中间件和应用实例的运维数据，通过指标监控、日志分析、服务异常报警等功能，支持日常巡检资源、应用整体运行情况，及时发现并定界应用与资源的问题。 优势 应用自动发现：自动部署采集器，针对应用的运行环境，主动发现应用并进行监控。 跨云服务的分布式应用监控：对于同时使用了多种云服务的分布式应用，提供统一的运维平台，便于您对业务进行立体排查。 告警灵活通知：提供多种异常检测策略并支持丰富的异常告警触发方式。 巡检与问题定界 立体化运维 您需全方位掌控系统的运行状态，并快速响应各类问题。 AOM提供从云平台到资源，再到应用的监控和微服务调用链的立体化运维分析能力。 优势 体验保障：实时掌控业务KPI健康状态，对异常事务根因分析。 故障快速诊断：分布式调用追踪，快速找到异常故障点。 资源运行保障：实时监控容器、磁盘、网络等上百种资源运维指标 集群>虚机>应用>容器异常关联分析。

顺序消息和普通消息的区别是什么 最大的区别在于是否能保证消息生产和消费的顺序一致。 对于顺序消息，消息均根据ShardingKey进行区块分区，同一分区内的消息消费满足先进先出，保证分区有序，不同分区的消息消费顺序不做要求。 普通消息则没有该项保证，消息消费的顺序跟生产的顺序不一定保证一致性。 RocketMQ集群消费和广播消费区别是什么 使用集群消费模式时，MQ内任意一条消息只需被订阅组集群内的任意一个消费者消费即可。 使用广播消费模式时，MQ内每条消息都会投递到订阅组集群的所有消费者，每条消息至少被每个消费者消费一次。 多个订阅组订阅同一个主题时消息如何被消费 RocketMQ中订阅关系并非是一对一的，一个主题可以被一个或多个订阅组订阅，但不同订阅组之间的消费是互不影响的，它们各自维护自己在当前主题的消费偏移信息，每一条消息都会被订阅该主题的订阅组接收到。 消息消费失败是否会有重试机制 在push消费模式下，RocketMQ在消费者消费消息失败后会通过将消息重新投递到该订阅组的重试队列在一定时间后会被消费者重新消费到，如果多次失败则会多次重复上述的重试过程，超过最大次数之后（创建订阅组时可配置）会将消息投递到死信队列。

云监控服务相关概念 使用云监控服务之前，请先了解一下相关概念，从而可以更好的使用云监控服务。 监控指标 监控指标是云监控服务的核心概念，通常是指云平台上某个资源的某个维度状态的量化值，如云主机的CPU使用率、内存使用率等。监控指标是与时间有关的变量值，会随着时间的变化产生一系列监控数据，帮助用户了解特定时间内该监控指标的变化。 聚合 聚合是云监控服务在特定周期内对各服务上报的原始采样数据采取平均值、最大值、最小值、求和值、方差值计算的过程。这个计算的周期又叫做聚合周期，目前云监控服务支持5分钟、20分钟、1小时、4小时、24小时共五种聚合周期。 监控面板 监控面板为用户提供自定义查看监控数据的功能，支持在一个监控面板跨服务、跨维度查看监控数据，将您关注的重点服务监控指标集中呈现，既能满足总览服务运行概况，又能满足排查故障时快速查看监控详情的需求。 主题 主题是设置告警通知是客户端订阅通知的特定事件类型，为用户提供一对多的发布订阅以及消息通知功能，支持用户实现一站式多种消息通知方式。云监控服务在监控到云服务资源发生变化时，可通过多种方式通知用户，让用户实时掌握云服务的运行状况。

本节适用于南京3、重庆2、晋中、上海7、北京5、内蒙6、石家庄20节点。 场景描述 RocketMQ的按需转包周期的场景描述如下： 在使用RocketMQ时，可能会遇到需要设置按需转包周期的场景，例如： 消息积压处理：当RocketMQ中的消息积压较多时，可能会导致消息的消费速度跟不上消息的生产速度，进而影响系统的性能和稳定性。为了解决这个问题，可以设置按需转包周期，即将一定数量的消息打包成一个批次进行消费，以提高消费的效率和吞吐量。 业务流量波动：在某些业务场景下，业务流量可能会出现波动，即某个时间段内的消息产生速度较快，而另一个时间段内的消息产生速度较慢。为了更好地适应业务流量的波动，可以设置按需转包周期，以根据实际的消息产生情况进行灵活的批量消费。 系统资源优化：当RocketMQ的消费者资源有限时，可以通过设置按需转包周期来优化系统的资源利用。通过将一定数量的消息打包成一个批次进行消费，可以减少消费者的竞争和上下文切换，提高系统的并发处理能力。 消息处理延迟优化：在某些场景下，对消息的实时性要求较低，可以通过设置按需转包周期来优化消息的处理延迟。将一定数量的消息打包成一个批次进行消费，可以减少消息的处理次数，从而降低消息的处理延迟。 需要注意的是，在设置按需转包周期时，应根据实际业务需求和系统情况进行调整。同时，应考虑消息的重要性、消费者的处理能力、系统的资源限制等因素，以确保系统的稳定性和性能。