本文介绍分布式消息服务MQTT的API请求状态码。 正常状态码 描述 800 成功 900 失败

本章节主要介绍分布式消息服务RabbitMQ的仲裁队列特性。 使用场景 仲裁队列（Quorum Queues）提供队列复制的能力，保障数据的高可用和安全性。使用仲裁队列可以在RabbitMQ节点间进行队列数据的复制，在一个节点宕机时，队列依旧可以正常运行。 仲裁队列适用于队列长时间存在，对队列容错和数据安全要求高，对延迟和队列特性要求相对低的场景。在可能出现消息大量堆积的场景，不推荐使用仲裁队列，因为仲裁队列的写入放大会造成成倍的磁盘占用。 仲裁队列的消息会优先保存在内存中，使用仲裁队列时，建议定义队列最大长度和最大内存占用，在消息堆积超过阈值时从内存转移到磁盘，以免造成内存高水位。 更多关于仲裁队列的说明，请参考Quorum Queues。 说明 分布式消息服务RabbitMQ3.8.35版本才提供仲裁队列特性。 仲裁队列与镜像队列的差异 仲裁队列是RabbitMQ 3.8版本引入的队列类型，它与镜像队列拥有类似的功能，为RabbitMQ提供高可用的队列。镜像队列有一些设计上的缺陷，这也是RabbitMQ提供仲裁队列的原因。 镜像队列主要的缺陷在于消息同步的性能低。 镜像队列包含一个主队列和多个从队列，当生产者向主队列发送一条消息，主队列会将消息同步给从队列，所有的从队列都保存消息后，主队列才会向生产者发送确认。 RabbitMQ使用集群部署时，如果其中一个节点故障下线，待它消除故障重新上线后，它保存的所有从队列的数据都会丢失。此时运维人员需要选择是否同步主队列的数据到从队列中，如果不同步数据，会增加消息丢失的风险。如果同步数据，同步时队列是阻塞的，无法对其进行操作。当队列中存在大量堆积消息时，同步会导致队列几分钟、几小时或者更长时间不可用。 仲裁队列解决了镜像队列的性能和同步问题。 仲裁队列的算法是基于Raft共识算法的一个变种，提供更好的消息吞吐量。仲裁队列包含一个主副本和多个从副本，当生产者向主副本发送一条消息，主副本会将消息同步给从副本，超过半数的副本保存消息后，主副本才会向生产者发送确认。这意味着少部分比较慢的从副本不会影响整个队列的性能。同样地，主副本的选举也需要超过半数的副本同意，这会避免出现网络分区时，队列存在2个主副本。由此可见，仲裁队列相对于可用性更看重一致性。 RabbitMQ使用集群部署时，如果其中一个节点故障下线，待它消除故障重新上线后，它保存的数据不会丢失，主副本会直接从从副本中断的地方开始复制消息。复制的过程是非阻塞的，整个队列不会因为新的副本加入而受到影响。 仲裁队列相比镜像队列，缺少了一些特性，如表1所示，且消耗更多的内存和磁盘。 表1 特性列表 特性 镜像队列 仲裁队列 非持久化队列 支持 不支持 排他队列 支持 不支持 每条消息的持久化 每条消息 永远 队列重平衡 自动 手动 消息超时时间 支持 不支持 队列超时时间 支持 支持 队列长度限制 支持 支持（除xoverflow: rejectpublishdlx） 惰性队列 支持 限制队列长度后支持 消息优先级 支持 不支持 消费优先级 支持 支持 死信交换器 支持 支持 动态Policy 支持 支持 毒药消息（让消费者无限循环消费）处理 不支持 支持 全局消息预取（Qos） 支持 不支持

场景能力 说明 非侵入的应用性能数据采集 用户无需更改应用代码，只需要部署APM Agent包，修改相应的应用启动参数，就可以实现应用监控。 应用指标监控 无须配置，自动监控应用相关大量监控指标，如JVM、JavaMethod、URL、Exception、Tomcat、httpClient、Mysql、Redis、kafka等。 应用拓扑 通过对RPC调用信息进行动态分析、智能计算，自动生成分布式应用间拓扑关系。 调用链追踪 多个应用接入APM后，自动针对某一些请求进行采样，采集单个请求的服务之间调用关系以及中间调用的健康情况，实现全局调用链路的自动跟踪。 常用诊断场景的指标下钻分析 根据应用响应时间、请求数、错误率等指标下钻分析，按应用、组件、环境、数据库和中间件等多维度查看。 异常URL跟踪和慢URL跟踪捕捉 基于调用URL跟踪的超时和异常分析，并有效自动关联到对应的接口调用，如 SQL、MQ 等。

概述 在创建天翼云分布式消息服务RabbitMQ实例之前，您需要做一些准备工作。 首先，您需要设置一个虚拟私有云（VPC），这是一个隔离的网络环境，用于托管RabbitMQ实例。 接下来，您需要创建一个子网，它是VPC内部的一个子网络，用于划分不同的部分和区域。 最后，您需要配置一个安全组，用于控制入站和出站的流量规则，以保证RabbitMQ实例的安全性。 每个分布式消息服务RabbitMQ实例都会被部署在特定的VPC中，并与特定的子网和安全组相关联。这种方式可以让您自主配置和管理RabbitMQ实例的网络环境，并提供安全保护策略。如果您已经有了现成的VPC、子网和安全组，可以重复使用它们，无需重复创建。这样可以节省时间和资源，并确保一致性和可靠性。 VPC和子网 VPC和子网可重复使用，您也可以使用不同的VPC和子网来配置RabbitMQ实例，您可根据实际需要进行配置。在创建VPC和子网时应注意如下要求： VPC与使用的天翼云分布式消息服务RabbitMQ服务应在相同的区域。 如无特殊需求，创建VPC和子网的配置参数使用默认配置即可。 创建VPC和子网的操作请参考虚拟私有云创建VPC、子网搭建私有网络 若需要在已有VPC上创建和使用新的子网，请参考虚拟私有云子网管理创建子网 安全组 安全组可重复使用，您也可以根据实际情况使用不同的安全组，请根据实际需要进行配置。 创建安全组的操作指导，请参考虚拟私有云创建安全组 若需要为安全组添加规则，请参考虚拟私有云安全组添加安全组规则

本章节主要介绍翼MapReduce服务的产品定义、架构与优势。 产品定义 翼MapReduce（简称：“翼MR”），是基于当前开源新版本大数据组件进行产品化封装，可以为客户提供快速部署、便捷维护的HDFS、YARN、Spark、Flink、Hive、Doris、Kafka、HBase等高性能的大数据组件以及运维管理平台，同时产品默认提供强安全验证能力，具备高安全、高扩展、快捷运维等特色，支持批量数据处理、流式数据处理、离线数据分析、在线查询等场景。 产品架构 翼MR集群各个版本组件情况请参见版本概述。 详见下图：翼MR架构图 翼MR架构包括了基础设施和大数据处理流程各个阶段的能力。 ● 基础设施 基于天翼云弹性云主机CTECS构建的大数据集群，整体集群的高可靠和高安全能力可以得到虚拟化底层的充分保证。 虚拟私有云（CTVPC）为每个租户提供虚拟的内部网络，默认与其他网络隔离，同时通过配套的安全组访问控制确保网络层面的安全性。 云硬盘（CTEVS）提供不同规格和性能表现的高可靠存储能力。 弹性云主机（CTECS）提供的弹性可扩展虚拟服务器，结合上述的CTVPC、安全组、CTEVS数据多副本和灾备能力为客户打造一个高效、可靠、安全的业务集群环境。 物理机服务（CTDPS）是基于天翼云软硬结合技术研发的一款拥有极致性能的裸金属服务器，兼具云主机的灵活弹性、物理机的稳定，提供算力强劲的计算类服务，提供专属的云上物理服务器，为大数据、核心数据库、高性能计算等业务提供服务稳定、数据安全、性能卓越的算力服务。 ● 数据集成 数据集成层提供了客户的数据集成进翼MR集群的能力，包括：Kafka、Logstash、SeaTunnel、Flume，支持各种数据源导入数据到翼MR大数据集群中。 ● 数据存储 翼MR支持结构化和非结构化数据在集群中的存储，并且支持多种高效的格式来满 足不同计算引擎的要求。 – HDFS是大数据上通用的分布式文件系统。 – Doris是实时数据仓库服务，具有高并发、低延迟的特点。 – HBase支持带索引的数据存储，适合高性能基于索引查询的场景。 – Elasticsearch支持结构化/非结构化数据的检索、分析场景。 ● 数据调度和计算处理 – 翼MR提供多种主流计算引擎：MapReduce（批处理）、 Spark（内存计算）、Flink（流计算），满足多种离线或实时大数据应用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。 – 基于预设的数据模型，使用易用SQL的数据分析，用户可以选择Hive（数据仓库），SparkSQL以及Trino交互式查询引擎。 ● 翼MR Manager 为确保大数据组件服务的高可用性，以Hadoop为基础的大数据生态的各种组件均需要以分布式的方式进行部署，涉及其中的部署、管理和运维复杂度要求较高。翼MR提供了统一的运维管理平台翼MR Manager，包括可视化引导式部署集群能力。同时翼MR Manager还提供了租户与资源管理能力，以及翼MR中各类大数据组件的运维，并提供监控、告警、配置等一站式运维能力。

本章节主要介绍如何查看分布式消息服务RabbitMQ的云审计日志。 查看RabbitMQ云审计日志，请参考《云审计服务 用户指南》的“查看追踪事件”章节。

本章节介绍了分布式消息服务RocketMQ的计费项。 分布式消息服务RocketMQ的费用计算分为两部分，一部分为实例费用，一部分为存储空间费用。 表 分布式消息服务RocketMQ计费项 计费项 计费说明 :: 实例费用 对您选择的实例规格计费，具体请参见表2。 RocketMQ实例提供包年包月、按需两种计费方式。 存储空间费用 对您选择的实例存储空间计费（每个实例规格您都可以选择高IO和超高IO两种不同的云硬盘类型以满足您的业务需求）。 存储空间范围见表2，步长100GB。 ·实例存储提供包年包月、按需两种计费方式。 表 实例规格说明 资源规格 代理（个） 存储容量（GB/代理） 单个代理TPS 单个代理Topic数上限 单个代理消费组数上限 rocketmq.4u8g.cluster.small 1 ~ 2 300 ~ 30000 15000 2000 2000 rocketmq.4u8g.cluster 1 ~ 10 300 ~ 600000 20000 4000 4000 rocketmq.8u16g.cluster 1 ~ 10 300 ~ 900000 25000 8000 8000 rocketmq.12u24g.cluster 1 ~ 10 300 ~ 900000 28000 12000 12000 rocketmq.16u32g.cluster 1 ~ 10 300 ~ 900000 30000 16000 16000 计费模式 提供按小时、按月、按年的计费方式供您灵活选择，使用越久越便宜。预付费（包年包月）：这种购买方式相对于按需付费提供更大的折扣，对于长期使用者，推荐该方式。按需付费（小时）：这种购买方式比较灵活，可以即开即停，按实际使用时长计费。以自然小时 续费 为防止资源到期或者浪费，已经购买包年/包月实例的用户，可执行续费操作，延长资源包的有效期，也可以设置到期自动续费。

介绍 分布式消息服务RocketMQ的按需转包周期 本节适用于南京3、重庆2、晋中、上海7、北京5、内蒙6、石家庄20 节点。 场景描述 RocketMQ的按需转包周期的场景描述如下： 在使用RocketMQ时，可能会遇到需要设置按需转包周期的场景，例如： 消息积压处理：当RocketMQ中的消息积压较多时，可能会导致消息的消费速度跟不上消息的生产速度，进而影响系统的性能和稳定性。为了解决这个问题，可以设置按需转包周期，即将一定数量的消息打包成一个批次进行消费，以提高消费的效率和吞吐量。 业务流量波动：在某些业务场景下，业务流量可能会出现波动，即某个时间段内的消息产生速度较快，而另一个时间段内的消息产生速度较慢。为了更好地适应业务流量的波动，可以设置按需转包周期，以根据实际的消息产生情况进行灵活的批量消费。 系统资源优化：当RocketMQ的消费者资源有限时，可以通过设置按需转包周期来优化系统的资源利用。通过将一定数量的消息打包成一个批次进行消费，可以减少消费者的竞争和上下文切换，提高系统的并发处理能力。 消息处理延迟优化：在某些场景下，对消息的实时性要求较低，可以通过设置按需转包周期来优化消息的处理延迟。将一定数量的消息打包成一个批次进行消费，可以减少消息的处理次数，从而降低消息的处理延迟。 需要注意的是，在设置按需转包周期时，应根据实际业务需求和系统情况进行调整。同时，应考虑消息的重要性、消费者的处理能力、系统的资源限制等因素，以确保系统的稳定性和性能。

翼云OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用分布式消息服务RabbitMQ产品API的详细介绍，请参见使用API。您可以在OpenAPI门户可以了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 说明 分布式消息服务RabbitMQ提供两种版本接口供用户调用 V3版本：适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 资源池。 V2版本：适用于 芜湖2、南京3、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、保定、北京5 资源池。部分资源池已不再开放新实例订购，仅存量实例调用。

本文主要介绍分布式消息服务RabbitMQ的惰性队列。 使用场景 默认情况下，RabbitMQ生产者生产的消息存储在内存中，当需要释放内存时，会将内存中的消息换页至磁盘中。换页操作会消耗较长的时间，且换页过程中队列无法处理消息。 如果生产速度过快（例如执行批处理任务），或者消费者由于各种原因（例如消费者下线、宕机）长时间内无法消费消息，导致消息大量堆积，使得内存使用率过高，换页频繁，可能会影响其他队列的消息收发。这种场景下，建议您启用惰性队列。 惰性队列（Lazy Queue）会尽可能的将消息存入磁盘中，在消费者消费到相应的消息时才会被加载到内存中，这样可以减少内存的消耗，但是会增加I/O的使用，影响单个队列的吞吐量。惰性队列的一个重要的设计目标是能够支持更长的队列，即支持更多的消息存储/消息堆积。 在以下情况下，推荐使用惰性队列： 队列可能会产生消息堆积 队列对性能（吞吐量）的要求不是非常高，例如TPS 1万以下的场景 希望队列有稳定的生产消费性能，不受内存影响而波动 处于以下情况时，无需使用惰性队列： RabbitMQ需要高性能的场景 队列总是很短（即队列中没有消息堆积） 设置了最大长度策略 更多关于惰性队列的说明，请参考Lazy Queues。

本文介绍分布式消息服务RocketMQ入门指引的生产消费验证内容。 背景信息 RocketMQ的生产消费验证是指在使用RocketMQ进行消息生产和消费时的验证过程。具体而言，验证包括以下几个方面： 生产者验证：RocketMQ提供了丰富的生产者API，开发人员可以使用这些API将消息发送到RocketMQ的消息队列中。在验证阶段，可以通过发送消息并检查返回结果来确保消息成功发送到Broker节点。此外，生产者还应该验证消息的顺序性、事务性以及可靠性等方面。 消费者验证：RocketMQ的消费者可以订阅特定的消息主题，从而消费这些主题下的消息。在验证阶段，消费者应该能够正确地从Broker节点拉取消息并进行消费处理。消费者还可以验证消息的顺序性、重试机制以及消息过滤等功能。 操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 进入实例列表，点击【管理】按钮进入管理菜单。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入主题管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和主题。 1）生产测试拨测： 选择消息类型，默认普通消息。 填写需要产生的测试消息数量，以及每条消息的大小，默认每条消息1KB，建议不超过4MB(4096KB)。 选择已建的消息主题，若无选项，请新增主题，详见上文创建主题和订阅组。 点击【测试】按钮，按照已填写规格及数量产生测试消息数据，展示消息数据的信息，包括消息ID(messageID)、发送状态、主题名（topic名）、Broker名、队列ID。 拨测功能涉及消息发送状态码，以下是RocketMQ消息发送状态码及其说明： ✧ SENDOK（发送成功）：表示消息成功发送到了消息服务器。 ✧ FLUSHDISKTIMEOUT（刷新磁盘超时）：表示消息已经成功发送到消息服务器，但是刷新到磁盘上超时。这可能会导致消息服务器在宕机后，尚未持久化到磁盘上的数据丢失。 ✧ FLUSHSLAVETIMEOUT（刷新从服务器超时）：表示消息已经成功发送到消息服务器，但是刷新到从服务器上超时。这可能会导致主从同步不一致。 ✧ SLAVENOTAVAILABLE（从服务器不可用）：表示消息已经成功发送到消息服务器，但是从服务器不可用。这可能是由于网络故障或从服务器宕机引起的。 ✧ UNKNOWNERROR（未知错误）：表示发送消息时遇到了未知的错误。一般情况下建议重试发送消息。 ✧ MESSAGESIZEEXCEEDED（消息大小超过限制）：表示消息的大小超过了消息服务器的限制。需要检查消息的大小是否合适。 ✧ PRODUCETHROTTLE（消息生产被限流）：表示消息生产者的频率超出了消息服务器的限制。这可能是由于消息发送频率过高引起的。 ✧ SERVICENOTAVAILABLE（服务不可用）：表示消息服务器不可用。这可能是由于网络故障或者消息服务器宕机引起的。 请注意，以上状态码仅适用于RocketMQ消息发送阶段，并且并不代表消息是否成功被消费者接收。同时，这些状态码也可能因版本变化而有所不同，建议查阅官方文档获取最新信息。 2）消费测试拨测： 选择消息顺序，下拉选择无序/有序，默认选项为无序。 RocketMQ是一种开源的分布式消息中间件，它支持有序消息和无序消息。 ✧ 有序消息是指消息的消费顺序与发送顺序完全一致。在某些业务场景下，消息的处理需要保证顺序性，例如订单的处理或者任务的执行。RocketMQ提供了有序消息的支持，通过指定消息的顺序属性或使用消息队列的分区机制，可以确保消息按照指定的顺序进行消费。 ✧ 无序消息则是指消息的消费顺序与发送顺序无关。无序消息的特点是高吞吐量和低延迟，适用于一些不要求严格顺序的业务场景，如日志收集等。 在RocketMQ中，有序消息和无序消息的实现方式略有不同。有序消息需要借助MessageQueue的分区机制和消费者端的顺序消息消费来实现。而无序消息则是通过消息的发送和接收的并发处理来实现的。 总的来说，RocketMQ既支持有序消息也支持无序消息，根据业务需求选择合适的消息类型来满足业务的要求。 选择消费方式，目前仅提供pull方式。值得注意的是，RocketMQ还提供了推送（push）方式的消费模式，其中消息队列服务器会主动将消息推送给消费者。但在当前仅限于pull方式的消费模式。 填写消费数量。 下拉选择选择已建的消息主题和订阅组，若无选项，请新增主题和订阅组，详见上文创建主题和订阅组。 点击【测试】按钮，按照已填写规格及数量产生消费数据，展示消息数据的信息，包括消息ID(messageID)、主题名称（topicName）、生成时间、存储时间、队列ID、消费状态。 拨测功能涉及消息消费状态码，RocketMQ消费状态码是指在消息消费过程中，对消费结果进行标识的状态码。以下是常见的RocketMQ消费状态码： ✧ CONSUMESUCCESS（消费成功）：表示消息成功被消费。 ✧ RECONSUMELATER（稍后重试）：表示消费失败，需要稍后再次进行消费。 ✧ CONSUMEFAILURE（消费失败）：表示消息消费出现异常或失败。 ✧ SLAVENOTAVAILABLE（从节点不可用）：表示消费者无法访问从节点来消费消息。 ✧ NOMATCHEDMESSAGE（无匹配的消息）：表示当前没有匹配的消息需要消费。 ✧ OFFSETILLEGAL（偏移量非法）：表示消费的偏移量参数不合法。 ✧ BROKERTIMEOUT（Broker超时）：表示由于Broker超时导致消费失败。 5、 用户应用按照规范接入RocketMQ，发送、消费消息。 1）生产者示例API 以下适用于南京3、上海7、重庆2、乌鲁木齐27、保定、石家庄20、内蒙6、晋中、北京5节点。 ctgmq引擎版本，SDK下载方式详见环境准备其他工具章节。 package com.ctg.guide; import com.ctg.mq.api.CTGMQFactory; import com.ctg.mq.api.IMQProducer; import com.ctg.mq.api.PropertyKeyConst; import com.ctg.mq.api.bean.MQMessage; import com.ctg.mq.api.bean.MQSendResult; import com.ctg.mq.api.exception.MQException; import com.ctg.mq.api.exception.MQProducerException; import java.util.Properties; / Producer，发送消息 / public class Producer { public static void main(String[] args) throws InterruptedException, MQException { Properties properties new Properties(); properties.setProperty(PropertyKeyConst.ProducerGroupName, "producergroup"); properties.setProperty(PropertyKeyConst.NamesrvAddr, "10.50.208.1:9876;10.50.208.2:9876;10.50.208.3:9876"); properties.setProperty(PropertyKeyConst.NamesrvAuthID, "app4test"); properties.setProperty(PropertyKeyConst.NamesrvAuthPwd, ""); properties.setProperty(PropertyKeyConst.ClusterName, "defaultMQBrokerCluster"); properties.setProperty(PropertyKeyConst.TenantID, "defaultMQTenantID"); IMQProducer producer CTGMQFactory.createProducer(properties);//建议应用启动时创建 int connectResult producer.connect(); if(connectResult ! 0){ return; } for (int i 0; i mqResultList) { //mqResultList 默认为1，可通过批量消费数量设置 for(MQResult result : mqResultList) { //TODO System.out.println(result); } return ConsumerTopicStatus.CONSUMESUCCESS;//对消息批量确认(成功) //return ConsumerTopicStatus.RECONSUMELATER;//对消息批量确认(失败) } }); } } 以下适用于华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3节点。 rocketmq引擎版本，SDK下载方式详见环境准备其他工具章节。 importorg.apache.rocketmq.client.consumer.DefaultMQPushConsumer; importorg.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus; importorg.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently; importorg.apache.rocketmq.client.exception.MQClientException; publicclassPushConsumer{ publicstaticvoidmain(String[] args)throwsException{ AclClientRPCHook rpcHook newAclClientRPCHook( newSessionCredentials(ACCESSKEY, SECRETKEY)); DefaultMQPushConsumer consumer newDefaultMQPushConsumer(rpcHook); consumer.setConsumerGroup("ConsumerGroupName"); // 填入元数据地址 consumer.setNamesrvAddr("192.168.0.1:9876"); ; //如果需要开启SSL，请增加此行代码 consumer.subscribe("TopicTest",""); consumer.registerMessageListener((MessageListenerConcurrently)(msgs, context)>{ System.out.printf("%s Receive New Messages: %s %n",Thread.currentThread().getName(), msgs); returnConsumeConcurrentlyStatus.CONSUMESUCCESS; }); consumer.start(); System.out.printf("Consumer Started.%n"); } } 示例参数说明： Namesrv地址 Namesrv地址可从控制台查看，多个地址按分号分隔。 应用用户和密码 这个应用用户和密码就是控制台创建的应用用户和密码。 租户id和集群名 集群名和租户id可以从应用用户管理查询。 订阅组 订阅组名需要在控制台提前创建好。

本小节介绍日志审计(原生版)产品排查日志未采集常见问题。 如何排查日志未采集？ 问题描述 日志审计（原生版）采集日志配置配好后，仍未采集到日志，如何排查？ 可能原因 采集日志相关程序未正常启动。 中间件出现故障。 采集资产未配置。 解决方案 了解采集日志程序作用 Logc（日志采集）接收日志并通过kafka将接收的日志转发logp。 Logp（日志解析分类）接收logc转发的原始日志根据解析规则等进行解析，并通过kafka将解析后的日志发送给esinsert。 Esinsert（录入elasticsearch）将解析后的日志录入elasticsearch。 Coresvr（页面更新程序）将页面下发的规则等变更，通过kafka下发给对应的服务。 查看程序是否启动 点击“系统配置”>“系统运维”,在服务管理中，查看相关服务状态，出现异常时，点击重启程序，过1min，刷新页面，查看服务状态是否正常。 查看程序日志 点击“系统配置”>“系统运维”,在服务管理中，点击导出日志，可导出服务日志。将logc、logp、coresvr、esinsert等服务日志按流程步骤依次查看是否有异常信息。 中间件故障 各程序报告日志出现如下报错：Broker transport failure: 127.0.0.1:9092/0:Connect to ipv4127.0.0.1:9092 failed。 日志分析，9092为kafka服务端口，该提示为kafka出现异常。

本章节主要介绍分布式消息服务RabbitMQ的预取值特性。 使用场景 设置预取值可以限制未被确认的消息个数，一旦消费者中未被确认的消息数量达到设置的预取值，服务端将不再向此消费者发送消息，除非至少有一个未被确认的消息被确认。设置预取值本质上是一种对消费者进行流控的方法。 设置预取值时，需要考虑多种因素： 预取值设置太小可能会损害性能，RabbitMQ会一直在等待获得发送消息的权限。 预取值设置太大可能会导致从队列中取出大量消息传递给一个消费者，而使其他消费者处于空闲状态。另外还需要考虑消费者的配置，消费者在处理消息时会将所有消息保存在内存中，太大的预取值会对消费者的性能产生负面影响，甚至可能会导致消费者崩溃。 更多关于预取值的说明，请参考Consumer Prefetch。 如何设置合适的预取值？ 如果您只有一个或很少几个消费者在处理消息，建议一次预取多条消息，尽量让客户端保持忙碌。如果您的处理时间和网络状态稳定，则只需将总往返时间除以每条消息在客户端的处理时间即可获得估计的预取值。 在消费者多且处理时间短的情况下，建议使用较低的预取值。过低的预取值会使消费者闲置，因为消费者在处理完消息后需要等待下一批的消息到达。过高的值可能会使单个消费者忙碌，其他消费者处于空闲状态。 在消费者多且处理时间很长的情况下，建议您将预取值设置为1，以便消息在所有消费者间均匀分布。 说明 如果客户端配置的消息确认机制为自动确认，则设置的预取值无效，已确认的消息会从队列中删除。

本节介绍了分布式消息服务RabbitMQ产品计费模式的区别。 包周期（包年/包月）、按需2种计费模式供您灵活选择，使用越久越便宜。 按包周期实例计费 天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣，对于长期使用者，推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需实例计费 这种购买方式比较灵活，可以即开即停，支持秒级计费。实例从“开通”开启计费到“删除”结束计费，按实际购买时长（精确到秒）计费。 下表列出两种模式的区别： 计费模式 包年/包月 按需计费 付费方式 预付费按照订单的购买周期结算。 后付费按照云服务器实际使用时长计费。 计费周期 按订单的购买周期计费。 按小时结算。 实例升级 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容 支持扩容，工单施工完生效，但是施工过程中服务不可用；不支持缩容 更改计费模式 支持变更为按需资源 支持变更为包周期资源。 变更规格 支持变更实例规格。 支持变更实例规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于消息资源需求波动的场景，可以随时开通，随时删除。 变更配置：天翼云分布式消息服务支持计费模式变更，更多操作内容请参考按需转包周期。

介绍分布式消息服务RabbitMQ惰性队列能力。 使用场景 RabbitMQ从3.6.0版本开始引入了惰性队列（Lazy Queue）的概念。惰性队列会尽可能的将消息存入磁盘中，而在消费者消费到相应的消息时才会被加载到内存中，它的一个重要的设计目标是能够支持更长的队列，即支持更多的消息存储。当消费者由于各种各样的原因（比如消费者下线、宕机亦或者是由于维护而关闭等）而致使长时间内不能消费消息造成堆积时，惰性队列就很有必要了 默认情况下，当生产者将消息发送到RabbitMQ的时候，队列中的消息会尽可能的存储在内存之中，这样可以更加快速的将消息发送给消费者。即使是持久化的消息，在被写入磁盘的同时也会在内存中驻留一份备份。当RabbitMQ需要释放内存的时候，会将内存中的消息换页至磁盘中，这个操作会耗费较长的时间，也会阻塞队列的操作，进而无法接收新的消息。虽然RabbitMQ的开发者们一直在升级相关的算法，但是效果始终不太理想，尤其是在消息量特别大的时候 惰性队列会将接收到的消息直接存入文件系统中，而不管是持久化的或者是非持久化的，这样可以减少了内存的消耗，但是会增加I/O的使用，如果消息是持久化的，那么这样的I/O操作不可避免，惰性队列和持久化消息可谓是“最佳拍档”。注意如果惰性队列中存储的是非持久化的消息，内存的使用率会一直很稳定，但是重启之后消息一样会丢失。

介绍分布式消息服务RabbitMQ创建虚拟主机操作内容。 背景信息 虚拟主机，用作逻辑隔离，分别管理各自的交换器、队列和绑定，使得应用安全地运行在不同的虚拟主机上，相互之间不会干扰。一个实例下可以有多个虚拟主机，一个虚拟主机里面可以有若干个交换器和队列。生产者和消费者连接分布式消息服务 RabbitMQ 版需要指定一个虚拟主机。 操作步骤 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“集群管理”后点击“虚拟主机”到达虚拟主机管理页面，点击“新建”按钮。 （5）点击“新建”后出现以下创建，输入虚拟主机名称后点击确定。 注意：设置虚拟主机名称时，有如下要求： 虚拟主机名称只能包含字母、数字、短划线（）、下划线（）。 虚拟主机名称长度限制在1~64个字符。 虚拟主机创建成功后，Vhost名称不可修改。

服务名称 Spark SQL作业 Spark jar作业 Flink SQL作业 Flink jar作业 APIG x x √ x CSS √ √ √ √ DCS Redis √ √ √ √ DDS Mongo √ √ √ √ DMS Kafka x x √ √ DWS √ √ √ √ MRS HBase √ √ √ √ MRS Kafka x x √ √ MRS OpenTSDB √ √ x √ RDS MySQL √ √ √ √ RDS PostGre √ √ √ √

本章节主要介绍分布式消息服务RabbitMQ的死信和TTL。 死信和TTL（Time To Live）是RabbitMQ中需要慎用的2个特性，它们可能会对性能产生负面影响。 死信 死信是RabbitMQ中的一种消息机制，在消费消息时，如果队列里的消息满足以下任意一种情况，那么该消息将成为“死信”。 “requeue”被设置为“false”，消费者使用“basic.reject”或“basic.nack”否定应答（NACK）消息。 消息在队列的存活时间超过设置的TTL时间。 队列的消息数量已经超过最大队列长度。 死信消息会被RabbitMQ进行特殊处理，如果配置了死信队列信息，该消息将会被存储到死信队列中，如果没有配置，该消息将会被丢弃。 更多关于死信的说明，请参考Dead Letter Exchanges。 使用队列参数配置死信交换机和路由 为队列配置死信交换机，并在申明队列时指定“xdeadletterexchange”和“xdeadletterroutingkey”参数。队列根据“xdeadletterexchange”将死信消息发送到死信交换机中，并根据“xdeadletterroutingkey”为死信消息设置死信路由Key。 以下示例演示在Java客户端配置死信交换机和路由： channel.exchangeDeclare("some.exchange.name", "direct"); Map args new HashMap (); args.put("xdeadletterexchange", "some.exchange.name"); args.put("xdeadletterroutingkey", "someroutingkey"); channel.queueDeclare("myqueue", false, false, false, args); TTL TTL即过期时间。RabbitMQ支持设置消息和队列的TTL，消息的TTL可以通过以下两种方法设置： 通过队列属性设置：队列中所有消息的具有相同的过期时间。 对消息本身单独设置：每条消息可以设置不同的TTL。 如果两种方法同时使用，以较小的TTL为准。 消息在队列中的生存时间超过了TTL后，消息会被丢弃，如果队列设置了死信交换机，丢弃的消息会被转发到死信交换机，由死信交换机将其路由到死信队列。 更多关于TTL的说明，请参考TTL。

本章节主要介绍准备Flink作业数据。 创建Flink作业需要输入数据源和数据输出通道，即常说的Source和Sink。用户使用其他服务作为数据源或输出通道时，需要先开通相应服务。 Flink作业支持以下数据源和输出通道： OBS数据源 如果用户作业需要对象存储服务（OBS）作为数据源，则要先开通OBS服务，具体操作请参见对象存储用户指南中的有关开通OBS服务的章节。 开通OBS服务后，用户需要将本地文件通过Internet上传至OBS指定的位置，具体操作请参见对象存储用户指南中的“上传文件”章节。 RDS输出通道 如果用户作业需要RDS作为输出通道，需要创建RDS实例，具体操作请参见对应版本关系数据库产品《用户指南》中“创建实例”章节。 SMN输出通道 如果用户作业需要SMN作为输出通道，需要先在SMN中创建主题，获取URN资源标识，再添加订阅。 Kafka数据源和输出通道 如果用户作业需要Kafka作为数据源和输出通道，则必须要通过创建增强型跨源连接与Kafka进行对接，具体操作请参见增强型跨源连接。 如果Kafka服务端的端口监听在hostname上，则需要将Kafka Broker节点的hostname和ip的对应关系添加到跨源连接中。 CloudTable数据源和输出通道 如果用户作业需要CloudTable作为数据源和输出通道，需要先在CloudTable中创建集群，获取集群ID。 云搜索服务输出通道 如果用户作业需要云搜索服务作为输出通道，需要先在云搜索服务中创建集群，获取集群内网访问地址。具体操作请参见云搜索服务用户指南中的“快速入门”章节。 DCS输出通道 如果用户作业需要DCS作为输出通道，需要先在DCS中创建Redis类型的缓存实例，获取Redis实例连接地址。

1、登录天翼云分布式消息服务RabbitMQ控制台。 2、点击RabbitMQ实例名称，进入实例详情页面。 3、在“智能运维>配置管理”页面，修改配置参数。 参数说明 参数 参数说明 参数范围 默认值 heartbeat 心跳超时时间（秒） 0～300 300 framemax 与客户端协商的允许最大frame大小 0～1048576 131072 initialframemax 在连接之前服务器将接受的最大帧大小 0～1048576 4096 maxmessagesize 最大消息大小 1～52428800 52428800 vmmemoryhighwatermark 流程控制触发的内存阀值 0～1 0.8 vmmemoryhighwatermarkpagingratio 高水位限制的分数，当达到阀值时，队列中消息消息会转移到磁盘上以释放内存 0～1 0.5 memorymonitorinterval 执行内存检查的间隔(毫秒) 0～60000 2500 collectstatisticsinterval 统计信息收集间隔，增加此值将减少管理数据库的负载（毫秒） 5000～3600000 5000

介绍分布式消息服务RabbitMQ消息持久化功能。 使用场景 在生产过程中，难免会发生服务器宕机的事情，RabbitMQ也不例外，可能由于某种特殊情况下的异常而导致RabbitMQ宕机从而重启，那么这个时候对于消息队列里的数据，包括交换机、队列以及队列中存在消息恢复就显得尤为重要了。RabbitMQ本身带有持久化机制，包括交换机、队列以及消息的持久化。持久化的主要机制就是将信息写入磁盘，当RabbtiMQ服务宕机重启后，从磁盘中读取存入的持久化信息，恢复数据。 设置交换器持久化 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“交换器管理”后，点击“新建”按钮。 （5）点击“新建”后出现以下窗口，是否持久化选择是。 设置队列持久化 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“队列管理”后，点击“新建”按钮。 （5）点击“新建”后出现以下窗口，是否持久化选择是。

操作场景 本服务现已对接天翼云云审计服务，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 审计日志转储：支持将审计日志周期性的转储至对象存储服务（ZOS）下的ZOS桶。 使用限制 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。若您使用云审计提供的转储功能，需要开通对象存储服务并支付产生的费用，该费用以对象存储产品的计费为准，参考计费说明对象存储。 用户通过云审计能查询到多久前的操作事件：7天。 用户操作后多久可以通过云审计查询到数据：5分钟。 其它限制请参考使用限制云审计。 关键操作列表 事件名称 从主机组移除主机(批量) 给日志资源创建或更新标签 为指定的资源解绑标签 为指定日志单元创建索引 编辑ZOS对象存储导入任务 删除导入任务 删除采集规则 定时SQL任务关闭 创建定时SQL任务 启用告警规则 删除仪表盘订阅 更新加工任务 重命名项目 创建过滤器 重命名仪表盘 日志单元更新 创建采集规则 创建模拟接入任务 更新告警规则 更新消费组 启动加工任务 日志告警规则另存为模板 停止kafka投递任务 仪表盘订阅启用 为日志资源绑定标签 修改采集规则 定时SQL运行实例 重试 专属日志单元取消关联日志服务 删除重建索引任务 投递任务停止 创建主机组 创建分布式消费服务Kafka导入任务 停用采集规则 批量停止告警规则 删除主机组 创建关注 启动模拟接入任务 删除终端节点 更新日志单元索引 将日志采集规则应用于目标主机组 更新某个指定日志项目的描述信息 删除过滤器 更新采集规则 更新Processors 新增消费组关联日志单元 加工任务启动 自动生成行首正则 创建或者修改数据加工任务 删除数据导入任务 给日志资源创建或更新标签 删除检索历史记录 删除模拟接入任务 批量启动告警规则 更新仪表盘描述 匹配的容器信息预览 停用告警规则 停用采集规则 批量删除接口 导入数据预览 修改仪表盘订阅 重命名快速查询 批量停用接口 删除仪表盘订阅 升级agent 删除加工任务 取消关注 主机组解绑采集规则 删除下载任务 创建ZOS对象存储导入任务 删除消费组关联日志单元 删除仪表盘 修改过滤器 更新日志单元配置 删除采集规则 删除日志单元 删除主机组 停用重建索引任务 更新定时SQL任务 创建产品委托授权 从指定主机组中移除主机 创建项目 卸载agent 修改项目标签 创建下载任务 重新生成下载任务 加工任务重新执行 删除目标日志项目 编辑主机组基础信息(名称、备注) 删除消费组关联日志单元 创建一个快速查询 创建仪表盘 加工任务删除 删除消费组 更新主机组描述 更新主机组 停止加工任务 创建主机组 创建或者更新数据投递任务 创建仪表盘订阅 创建vpce 新增消费组关联日志单元 重命名告警规则 创建快速查询 更新主机组 全量容器信息预览 加工任务重新执行 添加主机到主机组 删除kafka投递任务 批量删除告警规则 删除项目 删除日志单元 删除告警规则 创建/更新日志单元索引字段 修改仪表盘 删除主机组 更新告警规则 更新日志单元描述 批量启动接口 停止模拟接入任务 创建日志项目 添加主机到指定主机组 修改仪表盘 编辑日志单元 创建对象存储投递任务 编辑分布式消费服务Kafka导入任务 创建仪表盘 创建下载任务 创建告警规则 更新模拟接入任务 更新日志告警规则模板 创建专属日志单元 删除定时SQL任务 更新检索条件 启动kafka投递任务 删除日志告警规则模板 创建日志单元 删除快速查询 安装插件 更新消费组 新增主机到主机组 创建采集规则 更新对象存储投递任务 编辑项目 启用采集规则 从目标主机组中移除关联的日志采集规则 采集配置解除关联主机组 采集规则启停 更新日志单元存储时长 更新数据导入任务 投递任务启动 停止对象存储投递任务 更新一个快速查询 删除一个快速查询 更新触发条件 删除仪表盘模板 定时SQL任务启动 创建产品委托授权 划词生成正则 更新检查频率 重命名日志单元 创建加工任务 创建消费组 删除对象存储投递任务 启动对象存储投递任务 开启或者关闭服务日志 删除仪表盘 更新项目描述 创建Ingress仪表盘 更新通知策略 创建消费组 创建日志投递Kafka任务 更新仪表盘订阅名称 新建数据导入任务 创建重建索引任务 投递任务删除 创建告警规则 启用采集规则 删除下载任务 移除主机组中主机 新增仪表盘模板 主机组绑定采集规则 创建日志单元 创建主机组

本文介绍创建Kafka自定义策略 如果系统预置的Kafka权限，不满足您的授权要求，可以创建自定义策略。自定义策略中可以添加的授权项请参考主子账号和IAM权限管理。 目前天翼云支持可视化视图和JSON视图两种方式设置策略内容，详细介绍请查看统一身份认证用户指南权限管理自定义策略 创建自定义策略 可视化视图：通过可视化视图创建自定义策略，无需了解JSON语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图：通过JSON视图创建自定义策略，可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 Kafka自定义策略样例 以下策略样例表示：仅允许IAM用户使用Kafka主题管理、实例列表功能 { "Version": "1.1", "Statement": [ { "Effect": "Allow" "Action": [ "KAFKA:inst:kafkamanagetopic", "KAFKA:inst:kafkaclusterlist" ] } ] }

本文主要介绍分布式消息服务RabbitMQ的业务迁移最佳实践。 RabbitMQ迁移指将生产与消费消息的客户端切换成连接新RabbitMQ，部分还涉及将持久化的消息文件迁移到新的RabbitMQ。提供以下2种方案： 方案一：不迁移数据，先切换生产，再切换消费。 方案二：先迁移数据，然后同时切换生产和消费。 方案一：不迁移数据，先切换生产，再切换消费 针对线下单机或集群实例，在不迁移数据的情况下，首先将消息生产切换到线上实例，不再生产消息到线下实例，消费方同时消费线下以及线上实例。当线下实例消息全部消费完后，将消息消费切换到线上实例，完成整个迁移过程。 说明 该方案无法保障消息消费的有序性。 确保客户端与线上实例可连通。 通过以下方法，确认线下实例是否消费完成： 1. 在RabbitMQ WebUI页面查看，如图1所示。 Overview视图中，可消费消息数（Ready）以及未确认的消息数（Unacked）都为0时，说明消费完成。 图1 RabbitMQ WebUI 2. 调用API查看。 curl s u username:password XGET 参数说明： username：线下实例登录RabbitMQ WebUI的帐号 password：线下实例登录RabbitMQ WebUI的密码 ip：线下实例登录RabbitMQ WebUI的IP地址 port：线下实例登录RabbitMQ WebUI的端口号 回显信息中“messagesready”和“messagesunacknowledged”都为0时，说明消费完成。 图2 回显信息

介绍分布式消息服务RabbitMQ死信和TTL功能。 死信 称为死信的信息，需要如下几个条件： 消息被消费者拒绝（通过basic.reject 或者 back.nack），并且设置 requeuefalse。 消息过期，队列设置了TTL（Time To Live）时间并且消息过期。 超过了队列的长度限制消息被丢弃。 为队列配置死信交换机，并在申明队列时指定“xdeadletterexchange”和“xdeadletterroutingkey”参数。队列根据“xdeadletterexchange”将死信消息发送到死信交换机中，并根据“xdeadletterroutingkey”为死信消息设置死信路由Key。 以下示例演示在Java客户端配置死信交换机和路由 channel.exchangeDeclare("some.exchange.name", "direct"); Map args new HashMap (); args.put("xdeadletterexchange", "some.exchange.name"); args.put("xdeadletterroutingkey", "someroutingkey"); channel.queueDeclare("myqueue", false, false, false, args); TTL RabbitMQ可以对消息和队列设置TTL. 目前有两种方法可以设置。第一种方法是通过队列属性设置，队列中所有消息都有相同的过期时间。第二种方法是对消息进行单独设置，每条消息TTL可以不同。如果上述两种方法同时使用，则消息的过期时间以两者之间TTL较小的那个数值为准。消息在队列的生存时间一旦超过设置的TTL值，就称为dead message， 消费者将无法再收到该消息。 设置队列TTL 通过队列属性设置消息TTL的方法是在queue.declare方法中加入xmessagettl参数，单位为ms. 以下示例演示在Java客户端设置队列TTL。 Map argss new HashMap (); argss.put("xmessagettl",6000); channel.queueDeclare(queueName, durable, exclusive, autoDelete, argss);

本章节主要介绍翼MapReduce的分配机架操作。 操作场景 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求： 为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 为了提高容错能力，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。两层网络的集群如下图所示，Node1的Rack建议设置为 /Switch1/Rack1 ，Node4的Rack建议设置为 /Switch1/Rack2 。 两层网络结构 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况，管理员需设置机架名称来确定主机所处的机架，NameNode才能绘出DataNode的网络拓扑图，并尽可能将DataNode的数据备份在不同机架中。同理，YARN需要获取机架信息，在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时，需要使用FusionInsight Manager为主机重新分配机架，相关服务才会自动调整。 对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka，使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载（包括CPU、内存、磁盘、网络）不平衡，降低集群的可靠性，影响集群的稳定运行。所以在分配机架之前，需要进行全局的统筹，合理地设置机架。

本文主要介绍概述 概述 APM Agent会周期性采集一些性能指标数据，用来衡量应用的总体健康状况。可以采集JVM、GC、服务调用、异常、外部调用、数据库访问以及其他中间件的指标调用等数据，帮助用户全面掌握应用的运行情况。 APM对指标数据的采集有严格的定义，每一种采集的数据类型对应一个采集器，比如采集java应用的JVM数据，那么对应有JVM采集器，一个采集器会采集多个指标集的数据。 采集器被部署到环境后形成监控项，在数据采集的时候监控项决定了采集的数据结构和采集行为。 采集周期：监控项具有数据采集器的周期属性。当前数据采集周期为一分钟，不支持用户调整。 监控项状态：默认为enable状态，用户可以将监控项设置为disable状态，这样Agent就不会拦截该指标数据，也不会上报数据。 采集状态：采集实例和监控项会有一个采集状态信息。如果出现采集错误，可以通过采集状态查看。常见错误是主键太多，导致客户端数据汇聚异常。 监控项类型 Agent会自动发现系统采集的插件类型，并且将采集器实例化，形成监控项。监控项是实例化在一个环境上的。 由于采集器种类较多，会导致用户区分困难。系统后台会定义一些类型，每种采集器都会归到一种类型下，这样方便用户查看数据。 根据采集器的作用可以将监控项分为以下几种类型： 接口调用：是指外部服务调用当前应用的监控类型。 基础监控：是用来监控系统性能的基础监控指标的监控类型。 异常：用来监控应用的异常信息。 外部调用：是指当前应用调用外部服务的监控类型。 数据库：是对数据库的访问进行监控。 缓存：是对Redis等缓存系统的监控，会采集指令级别的细粒度的指标数据。 web容器：是对tomcat等web容器的监控，一般会采集系统总的处理线程数，busy线程数，连接数等；用于衡量系统总的容量。 消息队列：是对kafka、RabbitMq等消息系统的监控，包含发送端和接收端的监控。在接收端的处理函数，可以产生调用链信息。 通信协议：是对websocket等通信协议的监控。

本章节主要介绍ALM24005 Flume传输数据异常的告警。 告警解释 告警模块对Flume Channel的容量状态进行监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值后，系统即时上报告警。 默认阈值为10，用户可通过conf目录下的配置文件properties.properties修改阈值：修改对应channel的“channelfullcount”参数。 当Flume Channel空间被释放，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 AgentId 产生告警的Agent id。 部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Sink是否故障 1.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hdfs”关键字确认Flume Sink是否是HDFS类型。 是，执行步骤2。 否，执行步骤3。 2.在FusionInsight Manager的告警列表中查看是否有“HDFS服务不可用”告警产生，服务列表中HDFS是否已停止。 是，如果有告警参考“ALM14000 HDFS服务不可用”的处理步骤处理该故障；如果HDFS已停止，启动HDFS服务，执行步骤7。 否，执行步骤7。 3.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hbase”关键字确认Flume Sink是否是HBase类型。 是，执行步骤4。 否，执行步骤5。 4.在FusionInsight Manager的告警列表中，查看是否有“HBase服务不可用”告警产生，服务列表中HBase是否已停止。 是，如果有告警参考“ALM19000 HBase服务不可用”的处理步骤处理该故障，如果HBase已停止，启动HBase服务。执行步骤7。 否，执行步骤7。 5.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“org.apache.flume.sink.kafka.KafkaSink”关键字确认Flume Sink是否是Kafka类型。 是，执行步骤6。 否，执行步骤9。 6.在FusionInsight Manager的告警列表中，查看是否有“Kafka服务不可用”告警产生，服务列表中Kafka是否已停止。 是，如果有告警参考“ALM38000 Kafka服务不可用”的处理步骤处理该故障；如果Kafka已停止，启动Kafka服务，执行步骤7。 否，执行步骤7。 7.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”。 8.单击进入故障节点的Flume实例页面，查看指标“Sink速度指标”，检查其速度是否为0。 是，执行步骤13。 否，执行步骤9。

介绍分布式消息服务RabbitMQ预取值功能 使用场景 所谓消息预取机制，它定义了在一个信道上，消费者允许的最大未确认的消息数量。 一旦未确认的消息数量达到了设置的预取值，RabbitMQ就停止传递更多消息，除非至少有一条未完成的消息得到了确认。 如何设置合适的预取值 通常，增加预取将提高向消费者传递消息的速度。虽然自动应答传输消息速率是最佳的，但是，在这种情况下已传递但尚未处理的消息的数量也会增加，从而增加了消费者的 RAM 消耗(随机存取存储器)应该小心使用具有无限预处理的自动确认模式或手动确认模式，消费者消费了大量的消息如果没有确认的话，会导致消费者连接节点的内存消耗变大，所以找到合适的预取值是一个反复试验的过程，不同的负载该值取值也不同 100 到 300 范围内的值通常可提供最佳的吞吐量，并且不会给消费者带来太大的风险。 预取值为 1 是最保守的。当然这将使吞吐量变得很低，特别是消费者连接延迟很严重的情况下，特别是在消费者连接等待时间较长的环境 中。对于大多数应用来说，稍微高一点的值将是最佳的。 设置预取值 设置预取值的java示例代码如下 ConnectionFactory factory new ConnectionFactory(); Connection connection factory.newConnection(); Channel channel connection.createChannel(); channel.basicQos(20, false);

本文主要介绍分布式消息服务RabbitMQ的实例规格。 RabbitMQ实例规格 RabbitMQ实例兼容开源RabbitMQ 3.8.35、3.7.17，实例类型包括单机和集群，实例规格请参考下表。 说明 为了保证稳定性，服务端限制了单条消息的最大长度为50MB，请勿发送大于此长度的消息。 下表中TPS，是指以2KB大小的消息为例的每秒处理消息条数，测试场景为不开启持久化的非镜像队列，实时生产实时消费，队列无积压。此数据仅供参考，生产使用需要以实际压测性能为准。 服务端的性能主要跟以下因素相关：队列数、消息堆积、连接数、channel、消费者数、镜像队列、优先级队列、消息持久化和exchange类型等，在选择实例规格时，请根据业务模型压测结果选择。 一条连接最多可以开启2047个channel。 表1 RabbitMQ实例规格 型号 代理数 存储空间范围 TPS参考值 单个代理最大消费者数 单个代理建议队列数 单个代理最大连接数 rabbitmq.2u4g.single 1 100GB~30000GB 10000 20000 200 3000 rabbitmq.4u8g.single 1 100GB~30000GB 20000 30000 400 4500 rabbitmq.8u16g.single 1 100GB~30000GB 35000 50000 800 7500 rabbitmq.16u32g.single 1 100GB~30000GB 45000 80000 1600 12000 rabbitmq.24u48g.single 1 100GB~30000GB 50000 100000 2400 15000 rabbitmq.2u4g.cluster 3/5/7 3/5/7100GB~30000GB 30000~70000 20000 200 3000 rabbitmq.4u8g.cluster 3/5/7 3/5/7100GB~30000GB 45000~80000 30000 400 4500 rabbitmq.8u16g.cluster 3/5/7 3/5/7100GB~30000GB 85000~120000 50000 800 7500 rabbitmq.12u24g.cluster 3/5/7 3/5/7100GB~30000GB 100000~150000 60000 1200 10000 rabbitmq.16u32g.cluster 3/5/7 3/5/7100GB~30000GB 130000~180000 80000 1600 12000 rabbitmq.24u48g.cluster 3/5/7 3/5/7100GB~30000GB 150000~200000 100000 2400 15000

本节介绍如何快速连接RocketMQ并生产和消费消息。 本章节将为您介绍分布式消息服务RocketMQ（以下简称RocketMQ）入门的使用流程，以创建一个开启SSL的RocketMQ实例，客户端使用内网通过同一个VPC连接RocketMQ实例生产消费消息为例，帮助您快速上手RocketMQ。 1. 在ECS环境中进入“rocketmqtutorial/bin”目录。 plaintext cd rocketmqtutorial/bin 2. 运行生产普通消息命令。 命令示例如下： plaintext JAVAOPTDtls.enabletrue sh mqadmin sendMessage n "10.xxx.xxx.89:8100;10.xxx.xxx.144:8100" t Topic01 p "hello rocketmq" 10.xxx.xxx.89:8100;10.xxx.xxx.144:8100：表示RocketMQ实例的“连接地址”，即11中记录的连接地址。 Topic01：表示RocketMQ实例下创建的Topic名称，即4中创建的Topic名称。 hello rocketmq：表示生产消息的内容，可自定义。 3. 运行消费普通消息命令。 命令示例如下： plaintext JAVAOPTDtls.enabletrue sh mqadmin consumeMessage n "10.xxx.xxx.89:8100;10.xxx.xxx.144:8100" t Topic01 如上图中BODY显示的内容即为消费消息的内容。 如需停止消费使用Ctrl+C命令退出。

中间件故障 各程序报告日志出现如下报错 ：Broker transport failure: 127.0.0.1:9092/0: Connect to ipv4127.0.0.1:9092 failed 日志分析：9092为Kafka服务端口，该提示说明Kafka服务出现异常。