实际场景举例 如：每天大概有500GB的日志数据写入，日志数据需要在线保存7天。根据存储容量规划公式，500GB的原始数据需要1500GB的磁盘空间。7天就是10TB。16 核 64G的数据节点单节点磁盘最大容量（日志）为2TB，所以需要购买5台规格为16 核 64G+2TB存储的Elasticsearch/OpenSearch实例。 规划节点类型 在订购天翼云云搜索服务时，正确规划集群节点类型非常重要。 目前天翼云云搜索服务支持数据节点、专属master节点、专属协调节点、冷数据节点四种节点类型。 数据节点 数据节点就是Elasticsearch/OpenSearch的data节点。数据节点是实例的核心数据存储和计算单元，负责分片存储、索引/搜索执行、聚合计算等基础操作。如果没有购买专属master节点，数据节点也会承担master节点的工作。 专属master节点 专属master节点负责集群元数据管理、分片分配、节点状态监控等核心控制任务，不存储数据。 部署必要性 小型实例（≤10节点）：可不单独配置Master节点，由普通节点兼任。 中大型集群实例：必须独立部署，避免元数据操作与数据计算争抢资源导致性能抖动。 高可用配置 数量要求：至少3个且为奇数，防止单点故障和脑裂问题。 规格建议：选择低配机型（如 esearch4c16g），因其不参与数据计算，资源消耗较低。 专属协调节点 接收用户请求并分发至数据节点，汇总结果返回客户端，缓解数据节点的负载压力。

介绍分布式消息服务RabbitMQ消息持久化功能。 使用场景 在生产过程中，难免会发生服务器宕机的事情，RabbitMQ也不例外，可能由于某种特殊情况下的异常而导致RabbitMQ宕机从而重启，那么这个时候对于消息队列里的数据，包括交换机、队列以及队列中存在消息恢复就显得尤为重要了。RabbitMQ本身带有持久化机制，包括交换机、队列以及消息的持久化。持久化的主要机制就是将信息写入磁盘，当RabbtiMQ服务宕机重启后，从磁盘中读取存入的持久化信息，恢复数据。 设置交换器持久化 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“交换器管理”后，点击“新建”按钮。 （5）点击“新建”后出现以下窗口，是否持久化选择是。 设置队列持久化 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“队列管理”后，点击“新建”按钮。 （5）点击“新建”后出现以下窗口，是否持久化选择是。

场景能力 说明 非侵入的应用性能数据采集 用户无需更改应用代码，只需要部署APM Agent包，修改相应的应用启动参数，就可以实现应用监控。 应用指标监控 无须配置，自动监控应用相关大量监控指标，如JVM、JavaMethod、URL、Exception、Tomcat、httpClient、Mysql、Redis、kafka等。 应用拓扑 通过对RPC调用信息进行动态分析、智能计算，自动生成分布式应用间拓扑关系。 调用链追踪 多个应用接入APM后，自动针对某一些请求进行采样，采集单个请求的服务之间调用关系以及中间调用的健康情况，实现全局调用链路的自动跟踪。 常用诊断场景的指标下钻分析 根据应用响应时间、请求数、错误率等指标下钻分析，按应用、组件、环境、数据库和中间件等多维度查看。 异常URL跟踪和慢URL跟踪捕捉 基于调用URL跟踪的超时和异常分析，并有效自动关联到对应的接口调用，如 SQL、MQ 等。

本章节主要介绍如何使用翼MapReduce。 翼MR是一个在云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。翼MR提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。 翼MR使用简单，通过使用在集群中连接在一起的多台计算机，您可以运行各种任务，处理或者存储（PB级）巨量数据。翼MR的基本使用流程如下： 1. 上传程序和数据文件到对象存储服务（OBS）中，用户需要先将本地的程序和数据文件上传至OBS中。 2. 自定义创建集群，用户可以指定集群类型用于离线数据分析和流处理任务，指定集群中预置的弹性云服务器实例规格、实例数量、数据盘类型（普通IO、高 IO、超高 IO）、要安装的组件（Hadoop、Spark、HBase、Hive、Kafka、Storm等）。用户可以使用引导操作在集群启动前（或后）在指定的节点上执行脚本，安装其他第三方软件或修改集群运行环境等自定义操作。 3. 管理作业，翼MR为用户提供程序执行平台，程序由用户自身开发，翼MR负责程序的提交、执行和监控。 4. 管理集群，翼MR为用户提供企业级的大数据集群的统一管理平台，帮助用户快速掌握服务及主机的健康状态，通过图形化的指标监控及定制及时的获取系统的关键信息，根据实际业务的性能需求修改服务属性的配置，对集群、服务、角色实例等实现一键启停等操作。 5. 删除集群，如果作业执行结束后不需要集群，可以删除翼MR集群。

本章节主要介绍分布式消息服务RabbitMQ的仲裁队列特性。 使用场景 仲裁队列（Quorum Queues）提供队列复制的能力，保障数据的高可用和安全性。使用仲裁队列可以在RabbitMQ节点间进行队列数据的复制，在一个节点宕机时，队列依旧可以正常运行。 仲裁队列适用于队列长时间存在，对队列容错和数据安全要求高，对延迟和队列特性要求相对低的场景。在可能出现消息大量堆积的场景，不推荐使用仲裁队列，因为仲裁队列的写入放大会造成成倍的磁盘占用。 仲裁队列的消息会优先保存在内存中，使用仲裁队列时，建议定义队列最大长度和最大内存占用，在消息堆积超过阈值时从内存转移到磁盘，以免造成内存高水位。 更多关于仲裁队列的说明，请参考Quorum Queues。 说明 分布式消息服务RabbitMQ3.8.35版本才提供仲裁队列特性。 仲裁队列与镜像队列的差异 仲裁队列是RabbitMQ 3.8版本引入的队列类型，它与镜像队列拥有类似的功能，为RabbitMQ提供高可用的队列。镜像队列有一些设计上的缺陷，这也是RabbitMQ提供仲裁队列的原因。 镜像队列主要的缺陷在于消息同步的性能低。 镜像队列包含一个主队列和多个从队列，当生产者向主队列发送一条消息，主队列会将消息同步给从队列，所有的从队列都保存消息后，主队列才会向生产者发送确认。 RabbitMQ使用集群部署时，如果其中一个节点故障下线，待它消除故障重新上线后，它保存的所有从队列的数据都会丢失。此时运维人员需要选择是否同步主队列的数据到从队列中，如果不同步数据，会增加消息丢失的风险。如果同步数据，同步时队列是阻塞的，无法对其进行操作。当队列中存在大量堆积消息时，同步会导致队列几分钟、几小时或者更长时间不可用。 仲裁队列解决了镜像队列的性能和同步问题。 仲裁队列的算法是基于Raft共识算法的一个变种，提供更好的消息吞吐量。仲裁队列包含一个主副本和多个从副本，当生产者向主副本发送一条消息，主副本会将消息同步给从副本，超过半数的副本保存消息后，主副本才会向生产者发送确认。这意味着少部分比较慢的从副本不会影响整个队列的性能。同样地，主副本的选举也需要超过半数的副本同意，这会避免出现网络分区时，队列存在2个主副本。由此可见，仲裁队列相对于可用性更看重一致性。 RabbitMQ使用集群部署时，如果其中一个节点故障下线，待它消除故障重新上线后，它保存的数据不会丢失，主副本会直接从从副本中断的地方开始复制消息。复制的过程是非阻塞的，整个队列不会因为新的副本加入而受到影响。 仲裁队列相比镜像队列，缺少了一些特性，如表1所示，且消耗更多的内存和磁盘。 表1 特性列表 特性 镜像队列 仲裁队列 非持久化队列 支持 不支持 排他队列 支持 不支持 每条消息的持久化 每条消息 永远 队列重平衡 自动 手动 消息超时时间 支持 不支持 队列超时时间 支持 支持 队列长度限制 支持 支持（除xoverflow: rejectpublishdlx） 惰性队列 支持 限制队列长度后支持 消息优先级 支持 不支持 消费优先级 支持 支持 死信交换器 支持 支持 动态Policy 支持 支持 毒药消息（让消费者无限循环消费）处理 不支持 支持 全局消息预取（Qos） 支持 不支持

类型 收集方式 是否可以修改 是否必须 邮箱 服务器开启双因子认证后，HSS定时获取对应消息通知服务主题订阅的邮箱 否 是 手机号 服务器开启双因子认证后，HSS定时获取对应消息通知服务主题订阅的手机号 否 是 登录位置信息 服务器开启防护后，登录云服务器时，HSS记录的用户登录位置信息。 否 是

本文帮助您了解如何挂载磁盘。 操作场景 系统盘：天翼云根据用户创建云主机时选择的操作系统，会自动创建并自动挂载系统盘，无需单独购买或手动挂载。 数据盘：可以与系统盘一起在创建云主机时购买，并自动挂载。也可以单独购买，并手动挂载。需要注意待挂载的磁盘须与云主机位于同一个地域内的同一个可用区。 操作步骤 1. 登录控制中心。 2. 单击控制中心左上角的，选择专属云资源池。 3. 进入存储页面，点击“专属存储>磁盘”，进入磁盘界面。 4. 在磁盘列表找到需要挂载的磁盘，在操作列，单击“挂载”，进入挂载磁盘页面。 5. 选择待挂载的云主机，单击“确定”。 6. 返回磁盘列表，当磁盘状态变为“已挂载”时，表示挂载成功。

介绍分布式消息服务RabbitMQ死信和TTL功能。 死信 称为死信的信息，需要如下几个条件： 消息被消费者拒绝（通过basic.reject 或者 back.nack），并且设置 requeuefalse。 消息过期，队列设置了TTL（Time To Live）时间并且消息过期。 超过了队列的长度限制消息被丢弃。 为队列配置死信交换机，并在申明队列时指定“xdeadletterexchange”和“xdeadletterroutingkey”参数。队列根据“xdeadletterexchange”将死信消息发送到死信交换机中，并根据“xdeadletterroutingkey”为死信消息设置死信路由Key。 以下示例演示在Java客户端配置死信交换机和路由 channel.exchangeDeclare("some.exchange.name", "direct"); Map args new HashMap (); args.put("xdeadletterexchange", "some.exchange.name"); args.put("xdeadletterroutingkey", "someroutingkey"); channel.queueDeclare("myqueue", false, false, false, args); TTL RabbitMQ可以对消息和队列设置TTL. 目前有两种方法可以设置。第一种方法是通过队列属性设置，队列中所有消息都有相同的过期时间。第二种方法是对消息进行单独设置，每条消息TTL可以不同。如果上述两种方法同时使用，则消息的过期时间以两者之间TTL较小的那个数值为准。消息在队列的生存时间一旦超过设置的TTL值，就称为dead message， 消费者将无法再收到该消息。 设置队列TTL 通过队列属性设置消息TTL的方法是在queue.declare方法中加入xmessagettl参数，单位为ms. 以下示例演示在Java客户端设置队列TTL。 Map argss new HashMap (); argss.put("xmessagettl",6000); channel.queueDeclare(queueName, durable, exclusive, autoDelete, argss);

本文介绍分布式消息服务RocketMQ入门指引的创建RocketMQ实例内容。 实例介绍 RocketMQ实例订购支持用户自定义规格和自定义特性，可根据业务需要定制相应规格的RocketMQ实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富的用户选项。 操作步骤 1、在产品详情页点击立即开通按钮，或者进入消息管理控制台创建实例，进入订购分布式消息RocketMQ页面。 2、点击订购实例进入相应页面，左上角选择目标资源池。 1）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 2）购买时长按照计费模式选择变化： 计费模式为包年包月，可选择购买时长16个月、1年。该模式提供自动续期功能。 计费模式为按需计费，则该选项隐藏无需选择。 3）引擎类型目前默认选择RocketMQ引擎，完全兼容开源客户端的高性能低延时的消息队列。ctgmq引擎已调整为白名单特性，如需了解该引擎请联系技术支持。 4）版本号默认4.9，实例创建后，不支持变更版本。建议服务端版本和客户端版本保持一致。 5）部署方式有单可用区和多可用区两个选项，目前仅支持单可用区和3可用区部署，单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区。 6）提供集群版和单机版两种规格选择模式，单机版实例面向用户体验和业务测试场景，无法保证性能和高可用。如果需要在生产环境使用RocketMQ实例，建议购买集群版实例。 7）CPU架构支持X86计算和ARM计算两类。 8）选择X86计算，可以选择计算增强型（默认Intel）和海光计算增强型主机；选择ARM计算，可以选择鲲鹏计算增强型主机。通用型规格已调整为白名单特性，如需了解该规格参数请联系技术支持。 9）代理规格：针对不同主机类型，RocketMQ提供不同性能表现的规格参数。 10）代理数量：选择单机版该选项不展示，选择集群版此选择支持116代理选择。 11）选择存储空间，包括磁盘类型和空间。 磁盘类型提供高IO/超高IO两类。高IO：适用于主流的高性能、高可靠应用场景。超高IO：适用于超高IOPS、超大带宽需求的读写密集型应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以100G起步，可以以100倍数增加磁盘空间。 12）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 13）选择已有子网，若无子网，点击创建跳转到子网页面新增。 14）选择已有安全组，若无安全组，点击创建跳转到安全组页面新增。 15）填写实例名称，系统默认实例名称，用户可直接修改。 16）选择企业项目，创建新的企业项目可以到IAM配置。 17）创建实例标签，标签由区分大小写的键值对组成，您最多可以设置 20 个标签。 3、 填写完上述信息后，单击“下一步”，进入费用确认页面。 4、 确认实例信息无误后，提交请求。 5、 在实例列表页面，查看RocketMQ实例是否创建成功。创建实例大约需要3到15分钟，此时实例状态为“创建中”。

本文主要介绍如何手工搭建Hadoop环境(Linux)。 简介 本文介绍了如何在天翼云上使用弹性云主机的Linux实例手工搭建Hadoop环境。Hadoop是一款由Apache基金会用Java语言开发的分布式开源软件框架，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的能力进行高速运算和存储。Hadoop的核心部件是HDFS（Hadoop Distributed File System）和MapReduce： HDFS：是一个分布式文件系统，可对应用程序数据进行分布式储存和读取。 MapReduce：是一个分布式计算框架，MapReduce的核心思想是把计算任务分配给集群内的服务器执行。通过对计算任务的拆分（Map计算和Reduce计算），再根据任务调度器（JobTracker）对任务进行分布式计算。 前提条件 已购买一台弹性云主机，且已为其绑定弹性公网IP。 弹性云主机所在安全组添加了如下表所示的安全组规则。 方向 类型 协议 端口/范围 源地址 入方向 IPv4 TCP 8088 0.0.0.0/0 入方向 IPv4 TCP 50070 0.0.0.0/0 实施步骤 1、安装JDK a.登录弹性云主机。 b.执行以下命令，下载jdk软件包。 以jdk17为例，在列表中查看可用的JDK软件包版本，以jdk17linuxx64bin.tar.gz安装包为例，执行以下命令。 wget c.解压jdk安装包到opt目录下。 tar xvf jdk17linuxx64bin.tar.gz C /opt/ d.配置环境变量。 vim /etc/profile e.在底部添加以下内容。

本章节主要介绍翼MapReduce集群组件使用规则。 Kafka支持四种协议类型的访问，分别为：PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL。当前，翼MR集群默认采用Kerberos安全验证服务，Kafka协议类型建议使用SASLPLAINTEXT、SASLSSL这两种。

专属集群是将用户在训推平台开通的专属集群和将从互联调度开通的集群接入到训推平台使用和管理的功能 前言 集群管理是将用户在训推服务平台开通的专属集群以及用户从互联调度开通的专属集群，接入到训推平台使用的管理界面 介绍 专属集群列表页面会展示用户在训推平台开通的专属集群 专属集群列表支持将用户在互联调度平台开通的专属集群，接入到训推平台，供训推平台使用，并提供基础的集群管理能力

专属集群是将用户在训推平台开通的专属集群和将从互联调度开通的集群接入到训推平台使用和管理的功能 前言 集群管理是将用户在训推服务平台开通的专属集群以及用户从互联调度开通的专属集群，接入到训推平台使用的管理界面 介绍 专属集群列表页面会展示用户在训推平台开通的专属集群 专属集群列表支持将用户在互联调度平台开通的专属集群，接入到训推平台，供训推平台使用，并提供基础的集群管理能力

本文介绍分布式消息服务RocketMQ入门指引的生产消费验证内容。 背景信息 RocketMQ的生产消费验证是指在使用RocketMQ进行消息生产和消费时的验证过程。具体而言，验证包括以下几个方面： 生产者验证：RocketMQ提供了丰富的生产者API，开发人员可以使用这些API将消息发送到RocketMQ的消息队列中。在验证阶段，可以通过发送消息并检查返回结果来确保消息成功发送到Broker节点。此外，生产者还应该验证消息的顺序性、事务性以及可靠性等方面。 消费者验证：RocketMQ的消费者可以订阅特定的消息主题，从而消费这些主题下的消息。在验证阶段，消费者应该能够正确地从Broker节点拉取消息并进行消费处理。消费者还可以验证消息的顺序性、重试机制以及消息过滤等功能。 操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、 进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单，点击【拨测】按钮，进行生产消费的拨测验证，验证开通的消息实例和主题。 1）生产测试拨测： 选择消息类型，默认普通消息。 填写需要产生的测试消息数量，以及每条消息的大小，默认每条消息1KB，建议不超过4MB(4096KB)。 选择已建的消息主题，若无选项，请新增主题，详见上文创建主题和订阅组。 点击【测试】按钮，按照已填写规格及数量产生测试消息数据，展示消息数据的信息，包括消息ID(messageID)、发送状态、主题名（topic名）、Broker名、队列ID。 拨测功能涉及消息发送状态码，以下是RocketMQ消息发送状态码及其说明： ✧ SENDOK（发送成功）：表示消息成功发送到了消息服务器。 ✧ FLUSHDISKTIMEOUT（刷新磁盘超时）：表示消息已经成功发送到消息服务器，但是刷新到磁盘上超时。这可能会导致消息服务器在宕机后，尚未持久化到磁盘上的数据丢失。 ✧ FLUSHSLAVETIMEOUT（刷新从服务器超时）：表示消息已经成功发送到消息服务器，但是刷新到从服务器上超时。这可能会导致主从同步不一致。 ✧ SLAVENOTAVAILABLE（从服务器不可用）：表示消息已经成功发送到消息服务器，但是从服务器不可用。这可能是由于网络故障或从服务器宕机引起的。 ✧ UNKNOWNERROR（未知错误）：表示发送消息时遇到了未知的错误。一般情况下建议重试发送消息。 ✧ MESSAGESIZEEXCEEDED（消息大小超过限制）：表示消息的大小超过了消息服务器的限制。需要检查消息的大小是否合适。 ✧ PRODUCETHROTTLE（消息生产被限流）：表示消息生产者的频率超出了消息服务器的限制。这可能是由于消息发送频率过高引起的。 ✧ SERVICENOTAVAILABLE（服务不可用）：表示消息服务器不可用。这可能是由于网络故障或者消息服务器宕机引起的。 请注意，以上状态码仅适用于RocketMQ消息发送阶段，并且不代表消息是否成功被消费者接收。同时，这些状态码也可能因版本变化而有所不同，建议查阅官方文档获取最新信息。 2）消费测试拨测： 选择消息顺序，下拉选择无序/有序，默认选项为无序。 RocketMQ是一种开源的分布式消息中间件，它支持有序消息和无序消息。 ✧ 有序消息是指消息的消费顺序与发送顺序完全一致。在某些业务场景下，消息的处理需要保证顺序性，例如订单的处理或者任务的执行。RocketMQ提供了有序消息的支持，通过指定消息的顺序属性或使用消息队列的分区机制，可以确保消息按照指定的顺序进行消费。 ✧ 无序消息则是指消息的消费顺序与发送顺序无关。无序消息的特点是高吞吐量和低延迟，适用于一些不要求严格顺序的业务场景，如日志收集等。 在RocketMQ中，有序消息和无序消息的实现方式略有不同。有序消息需要借助MessageQueue的分区机制和消费者端的顺序消息消费来实现。而无序消息则是通过消息的发送和接收的并发处理来实现的。 总的来说，RocketMQ既支持有序消息也支持无序消息，根据业务需求选择合适的消息类型来满足业务的要求。 选择消费方式，目前仅提供pull方式。值得注意的是，RocketMQ还提供了推送（push）方式的消费模式，其中消息队列服务器会主动将消息推送给消费者。但在当前仅限于pull方式的消费模式。 填写消费数量。 下拉选择选择已建的消息主题和订阅组，若无选项，请新增主题和订阅组，详见上文创建主题和订阅组。 点击【测试】按钮，按照已填写规格及数量产生消费数据，展示消息数据的信息，包括消息ID(messageID)、主题名称（topicName）、生成时间、存储时间、队列ID、消费状态。 拨测功能涉及消息消费状态码，RocketMQ消费状态码是指在消息消费过程中，对消费结果进行标识的状态码。以下是常见的RocketMQ消费状态码： ✧ CONSUMESUCCESS（消费成功）：表示消息成功被消费。 ✧ RECONSUMELATER（稍后重试）：表示消费失败，需要稍后再次进行消费。 ✧ CONSUMEFAILURE（消费失败）：表示消息消费出现异常或失败。 ✧ SLAVENOTAVAILABLE（从节点不可用）：表示消费者无法访问从节点来消费消息。 ✧ NOMATCHEDMESSAGE（无匹配的消息）：表示当前没有匹配的消息需要消费。 ✧ OFFSETILLEGAL（偏移量非法）：表示消费的偏移量参数不合法。 ✧ BROKERTIMEOUT（Broker超时）：表示由于Broker超时导致消费失败。 5、 用户应用按照规范接入RocketMQ，发送、消费消息。 1）生产者示例API 以下适用于南京3、上海7、重庆2、乌鲁木齐27、保定、石家庄20、内蒙6、晋中、北京5节点。 ctgmq引擎版本，SDK下载方式详见环境准备其他工具章节。 package com.ctg.guide; import com.ctg.mq.api.CTGMQFactory; import com.ctg.mq.api.IMQProducer; import com.ctg.mq.api.PropertyKeyConst; import com.ctg.mq.api.bean.MQMessage; import com.ctg.mq.api.bean.MQSendResult; import com.ctg.mq.api.exception.MQException; import com.ctg.mq.api.exception.MQProducerException; import java.util.Properties; / Producer，发送消息 / public class Producer { public static void main(String[] args) throws InterruptedException, MQException { Properties properties new Properties(); properties.setProperty(PropertyKeyConst.ProducerGroupName, "producergroup"); properties.setProperty(PropertyKeyConst.NamesrvAddr, "10.50.208.1:9876;10.50.208.2:9876;10.50.208.3:9876"); properties.setProperty(PropertyKeyConst.NamesrvAuthID, "app4test"); properties.setProperty(PropertyKeyConst.NamesrvAuthPwd, ""); properties.setProperty(PropertyKeyConst.ClusterName, "defaultMQBrokerCluster"); properties.setProperty(PropertyKeyConst.TenantID, "defaultMQTenantID"); IMQProducer producer CTGMQFactory.createProducer(properties);//建议应用启动时创建 int connectResult producer.connect(); if(connectResult ! 0){ return; } for (int i 0; i mqResultList) { //mqResultList 默认为1，可通过批量消费数量设置 for(MQResult result : mqResultList) { //TODO System.out.println(result); } return ConsumerTopicStatus.CONSUMESUCCESS;//对消息批量确认(成功) //return ConsumerTopicStatus.RECONSUMELATER;//对消息批量确认(失败) } }); } } 以下适用于华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3节点。 rocketmq引擎版本，SDK下载方式详见环境准备其他工具章节。 importorg.apache.rocketmq.client.consumer.DefaultMQPushConsumer; importorg.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus; importorg.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently; importorg.apache.rocketmq.client.exception.MQClientException; publicclassPushConsumer{ public static void main(String[] args) throws Exception{ AclClientRPCHook rpcHook newAclClientRPCHook(newSessionCredentials(ACCESSKEY, SECRETKEY)); DefaultMQPushConsumer consumer new DefaultMQPushConsumer(rpcHook); consumer.setConsumerGroup("ConsumerGroupName"); // 填入元数据地址 consumer.setNamesrvAddr("XXX:xxx"); ; //如果需要开启SSL，请增加此行代码 consumer.subscribe("YOUR TOPIC",""); consumer.registerMessageListener((MessageListenerConcurrently)(msgs, context)>{ System.out.printf("%s Receive New Messages: %s %n",Thread.currentThread().getName(), msgs); returnConsumeConcurrentlyStatus.CONSUMESUCCESS; }); consumer.start(); System.out.printf("Consumer Started.%n"); } } 示例参数说明： Namesrv地址 Namesrv地址可从控制台查看，多个地址按分号分隔。 应用用户和密码 这个应用用户和密码就是控制台创建的应用用户和密码。 租户id和集群名 集群名和租户id可以从应用用户管理查询。 订阅组 消费组名需要在控制台提前创建好。

中间件故障 各程序报告日志出现如下报错 ：Broker transport failure: 127.0.0.1:9092/0: Connect to ipv4127.0.0.1:9092 failed 日志分析：9092为Kafka服务端口，该提示说明Kafka服务出现异常。

介绍分布式消息服务RabbitMQ预取值功能 使用场景 所谓消息预取机制，它定义了在一个信道上，消费者允许的最大未确认的消息数量。 一旦未确认的消息数量达到了设置的预取值，RabbitMQ就停止传递更多消息，除非至少有一条未完成的消息得到了确认。 如何设置合适的预取值 通常，增加预取将提高向消费者传递消息的速度。虽然自动应答传输消息速率是最佳的，但是，在这种情况下已传递但尚未处理的消息的数量也会增加，从而增加了消费者的 RAM 消耗(随机存取存储器)应该小心使用具有无限预处理的自动确认模式或手动确认模式，消费者消费了大量的消息如果没有确认的话，会导致消费者连接节点的内存消耗变大，所以找到合适的预取值是一个反复试验的过程，不同的负载该值取值也不同 100 到 300 范围内的值通常可提供最佳的吞吐量，并且不会给消费者带来太大的风险。 预取值为 1 是最保守的。当然这将使吞吐量变得很低，特别是消费者连接延迟很严重的情况下，特别是在消费者连接等待时间较长的环境 中。对于大多数应用来说，稍微高一点的值将是最佳的。 设置预取值 设置预取值的java示例代码如下 ConnectionFactory factory new ConnectionFactory(); Connection connection factory.newConnection(); Channel channel connection.createChannel(); channel.basicQos(20, false);

本章节主要介绍ALM24005 Flume传输数据异常的告警。 告警解释 告警模块对Flume Channel的容量状态进行监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值后，系统即时上报告警。 默认阈值为10，用户可通过conf目录下的配置文件properties.properties修改阈值：修改对应channel的“channelfullcount”参数。 当Flume Channel空间被释放，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 AgentId 产生告警的Agent id。 部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Sink是否故障 1.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hdfs”关键字确认Flume Sink是否是HDFS类型。 是，执行步骤2。 否，执行步骤3。 2.在FusionInsight Manager的告警列表中查看是否有“HDFS服务不可用”告警产生，服务列表中HDFS是否已停止。 是，如果有告警参考“ALM14000 HDFS服务不可用”的处理步骤处理该故障；如果HDFS已停止，启动HDFS服务，执行步骤7。 否，执行步骤7。 3.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hbase”关键字确认Flume Sink是否是HBase类型。 是，执行步骤4。 否，执行步骤5。 4.在FusionInsight Manager的告警列表中，查看是否有“HBase服务不可用”告警产生，服务列表中HBase是否已停止。 是，如果有告警参考“ALM19000 HBase服务不可用”的处理步骤处理该故障，如果HBase已停止，启动HBase服务。执行步骤7。 否，执行步骤7。 5.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“org.apache.flume.sink.kafka.KafkaSink”关键字确认Flume Sink是否是Kafka类型。 是，执行步骤6。 否，执行步骤9。 6.在FusionInsight Manager的告警列表中，查看是否有“Kafka服务不可用”告警产生，服务列表中Kafka是否已停止。 是，如果有告警参考“ALM38000 Kafka服务不可用”的处理步骤处理该故障；如果Kafka已停止，启动Kafka服务，执行步骤7。 否，执行步骤7。 7.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”。 8.单击进入故障节点的Flume实例页面，查看指标“Sink速度指标”，检查其速度是否为0。 是，执行步骤13。 否，执行步骤9。

本章节主要介绍翼MapReduce服务的购买类常见问题。 天翼云都有哪些资源池可订购翼MapReduce？ 目前翼MapReduce已在华东1、西南1、华北2、上海36、华南2、武汉41、呼和浩特3、南昌5、杭州7、西安7、西南2贵州等一类节点资源池上线，后续会持续扩展更多资源池资源。 翼MapReduce支持什么类型的分布式存储？ 翼MapReduce提供目前主流的Hadoop，目前支持Hadoop 3.3.3版本，并且随社区更新版本。 翼MapReduce支持购买哪些业务场景的大数据集群？ 翼MapReduce业务场景主要包括6个：数据湖场景、数据分析场景、云搜索场景、数据服务、实时数据流和自定义场景。 场景 描述 数据湖 数据湖分析 提供更灵活、可靠、高效的管理集群，更快的运行大数据计算引擎并提供出色的数据分析能力。 数据分析 数据分析 Apache Doris:开源的MPP架构的OLAP分析引擎，支持亚秒级的数据查询和多表join。 云搜索 云搜索 为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析服务能力。 数据服务 数据服务 提供更灵活、可靠、高效的数据服务集群。 实时数据流 实时数据流 提供流式计算、消息队列等服务，主要用于实时数据ETL和日志采集分析等场景。 自定义 自定义 提供丰富灵活的服务搭配，支持自行选择业务所需服务。

本节介绍数据加密服务的计费类问题。 数据加密服务如何收费和计费？ 详细的服务资费和标准，请参见计费说明。 密钥管理：密钥管理实行按需计费，没有最低费用。用户创建密钥后，密钥会按小时计费。用户需要为自己创建的所有用户主密钥，以及超出免费次数的API请求支付费用。 专属加密：专属加密根据您购买的专属加密实例版本和设备型号进行包年/包月收费。 如何为数据加密服务续费？ 详细的续订规则，请参加续订规则。 自动续费：如果在购买专属加密实例时，您已勾选并同意“自动续费”，则在服务到期前，系统会自动按照购买周期生成续费订单并进行续费。自动续订规则见自动续订。 手动续费：服务到期前，系统会以短信或邮件的形式提醒您服务即将到期，并提醒您续费。手动续订规则见手动续订。 数据加密服务是否支持退订？ 数据加密服务不支持退订。若您需要停止按需资源计费，将按需资源删除即可，删除操作详见删除密钥。

本节介绍如何快速连接RocketMQ并生产和消费消息。 本章节将为您介绍分布式消息服务RocketMQ（以下简称RocketMQ）入门的使用流程，以创建一个开启SSL的RocketMQ实例，客户端使用内网通过同一个VPC连接RocketMQ实例生产消费消息为例，帮助您快速上手RocketMQ。 1. 在ECS环境中进入“rocketmqtutorial/bin”目录。 plaintext cd rocketmqtutorial/bin 2. 运行生产普通消息命令。 命令示例如下： plaintext JAVAOPTDtls.enabletrue sh mqadmin sendMessage n "10.xxx.xxx.89:8100;10.xxx.xxx.144:8100" t Topic01 p "hello rocketmq" 10.xxx.xxx.89:8100;10.xxx.xxx.144:8100：表示RocketMQ实例的“连接地址”，即11中记录的连接地址。 Topic01：表示RocketMQ实例下创建的Topic名称，即4中创建的Topic名称。 hello rocketmq：表示生产消息的内容，可自定义。 3. 运行消费普通消息命令。 命令示例如下： plaintext JAVAOPTDtls.enabletrue sh mqadmin consumeMessage n "10.xxx.xxx.89:8100;10.xxx.xxx.144:8100" t Topic01 如上图中BODY显示的内容即为消费消息的内容。 如需停止消费使用Ctrl+C命令退出。

本章节介绍专属云分布式缓存服务Redis版的计费模式。 按需计费 1、收费方式 （1）预存后付费方式：提前充值现金到天翼云账户中，现金账户余额不低于100元，之后系统按照用户实际使用量进行结算。 （2）计费周期：按小时计费，以自然小时为计费单位（均以北京时间为准），不满一小时按照一小时计费。费用从用户账户现金余额中扣费。开通时间建议整点开通，开通不足一个自然小时，按一小时收费。提前删除也按照自然小时收费。 例如：如果您在1点01分开通，那么时间到2点就算做一个自然小时；如果您在1点58分开通，那么时间到2点也算做一个自然小时，都是按照1个小时收费。所以为了避免您的时间损失，建议您整点后几分钟内开通，在整点前几分钟删除。 2、删除规则 （1）删除数据库时，数据库的CPU、内存的费用停止计费，其他关联资源继续计费。 （2）数据库删除后，数据不会保留会立即释放资源。 6、账户欠费 如用户账户出现欠费，账户一旦充值，系统将会自动优先扣除欠费金额。 7、提醒/通知规则 （1）账户欠费通知：当用户欠费时，系统会向用户发送1次欠费提醒，并在欠费的第2天、第4天、第6天各发送1次欠费提醒。 （2）提醒及通知方式：以邮件和短信方式告知用户，请及时关注您的短信及邮件。

计费周期 包年/包月RabbitMQ实例的计费周期是根据您购买的时长来确定的（以UTC+8时间为准）。一个计费周期的起点是您开通或续费资源的时间（精确到秒），终点则是到期日的23:59:59。 例如，如果您在2023/03/08 15:50:04购买了一个时长为一个月的RabbitMQ实例，那么其计费周期为：2023/03/08 15:50:04 ~ 2023/04/08 23:59:59。 计费示例 假设您于2023/03/08 15:50:04在“广州4”购买了一个包年/包月RabbitMQ实例（规格：rabbitmq.2u4g.cluster3，总存储空间：超高I/O 300GB），计费资源包括实例费用（代理规格和代理数量），以及存储空间费用（超高I/O 300GB）。购买时长为一个月，并在到期前手动续费1个月，则： 第一个计费周期为：2023/03/08 15:50:04 ~ 2023/04/08 23:59:59 第二个计费周期为：2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费，各项RabbitMQ资源单独计费，计费公式如表2所示。 表2 计费公式 资源类型 计费公式 资源单价 实例费用 实例规格单价 购买时长 请参见分布式消息服务RabbitMQ[]( 存储空间费用 存储空间单价 购买时长 请参见分布式消息服务RabbitMQ[]( 图2 包年/包月RabbitMQ实例费用计算示例 说明 图2中价格仅供参考，实际计算请以分布式消息服务RabbitMQ

本文主要介绍应用性能管理 应用性能管理服务（Application Performance Management，简称APM）是实时监控并管理云应用性能和故障的云服务，提供专业的分布式应用性能分析能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。 通过云审计服务，您可以记录与APM服务相关的操作事件，便于日后的查询、审计和回溯。 表云审计服务支持的APM操作列表 操作名称 资源类型 事件名称 删除应用 APM clearApps 设置事务别名 APM setAlias 更新虚机服务分组 APM updateVirtualService 更新事务配置 APM updateTxTypeSettings 更新拓扑Apdex阈值 APM updateThresholds 设置事务分组 APM txtypeGroupOperation 删除应用配置 apm deleteAppGroup 更新采集开关配置 apm setAppPpswitcherConfig 更新智能采样配置 apm setAppCallChainConfig 更新内存检测机制配置 apm setAppMwsConfig 更新日志增加TraceID配置 apm setAppLogTransacConfig 更新SQL分析开关配置 apm setAppSqlConfig 更新忽略HTTP响应代码或忽略错误和异常配置 apm setAppIgnoreConfig

介绍分布式消息服务RabbitMQ创建虚拟主机操作内容。 背景信息 虚拟主机，用作逻辑隔离，分别管理各自的交换器、队列和绑定，使得应用安全地运行在不同的虚拟主机上，相互之间不会干扰。一个实例下可以有多个虚拟主机，一个虚拟主机里面可以有若干个交换器和队列。生产者和消费者连接分布式消息服务 RabbitMQ 版需要指定一个虚拟主机。 操作步骤 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“集群管理”后点击“虚拟主机”到达虚拟主机管理页面，点击“新建”按钮。 （5）点击“新建”后出现以下创建，输入虚拟主机名称后点击确定。 注意：设置虚拟主机名称时，有如下要求： 虚拟主机名称只能包含字母、数字、短划线（）、下划线（）。 虚拟主机名称长度限制在1~64个字符。 虚拟主机创建成功后，Vhost名称不可修改。

本小节介绍日志审计(原生版)场景下的程序日志定位告警异常处理实践。 应用场景 日志审计（原生版）已经采集到日志，但未触发对应告警。 前提准备 进入日志审计（原生版）平台。 通过控制台进入日志审计（原生版）实例。 告警服务逻辑 告警涉及服务：esinsert、alarmMgr、eventanalysvr。 告警涉及流程： eventana（告警解析）：通过Kafka接收logp解析的日志，根据告警规则解析该日志是否符合告警条件，符合条件则将该告警信息转发给alarm。 alarm：通过kafka接收eventana的告警信息，并触发告警，产生告警。 esinsert（录入elasticsearch）将产生的告警录入elasticsearch。 查看程序 点击“系统配置 > 系统运维”，在服务管理中，查看相关服务状态，出现异常时，点击“重启”重启程序，大约1分钟后刷新页面，再次查看服务状态是否正常。 查看程序日志 点击“系统配置 > 系统运维”，在服务管理中，点击“导出日志”，可导出服务日志。按流程步骤依次查看esinsert、alarmMgr、eventanalysvr等服务日志是否有异常信息。 中间件故障 各程序报告日志出现报错 ：Broker transport failure: 127.0.0.1:9092/0: Connect to ipv4127.0.0.1:9092 failed 日志分析：9092为Kafka服务端口，该提示说明Kafka服务出现异常。

简介 本文介绍了如何在天翼云上使用弹性云主机的Linux实例部署RabbitMQ。RabbitMQ是采用Erlang语言实现AMQP（Advanced Message Queuing Protocol，高级消息队列协议）的消息中间件，它最初起源于金融系统，用于在分布式系统中存储转发消息。RabbitMQ凭借其高可靠、易扩展、高可用及丰富的功能特性成为目前非常热门的一款消息中间件。 前提条件 弹性云主机所在安全组添加了如下表所示的安全组规则。 表 安全组规则 方向 类型 协议 端口/范围 源地址 入方向 IPv4 TCP 5672 0.0.0.0/0 入方向 IPv4 TCP 15672 0.0.0.0/0 操作步骤 1.安装相关依赖包和perl。 a.登录弹性云主机。 b.执行以下命令，安装相关依赖包。 yum y install make gcc gccc++ m4 ncursesdevel openssldevel unixODBCdevel c.执行如下命令，安装perl。 yum install perl 2.安装erlang。 关于erlang的安装请参考Erlang官方资料。 a.添加erlang存储库到系统 wget rpm Uvh erlangsolutions2.01.noarch.rpm 或手动添加存储库条目 rpm import b.在/etc/yum.repos.d/目录下新建一个文件rabbitmqerlang.repo，然后将下面的粘帖进去 cd /etc/yum.repos.d/ vi rabbitmqerlang.repo [erlangsolutions] nameCentOS $releasever $basearch Erlang Solutions baseurl gpgcheck1 gpgkey enabled1 按Esc键退出编辑模式，并输入:wq保存后退出。 c.执行以下命令安装erlang sudo yum install erlang 执行以下命令安装eslerlang sudo yum install eslerlang d.执行如下命令，检查安装结果。 erl version 回显类似如下信息，说明erlang安装成功。 [root@ecsrabbitmq ~]

服务名称 Spark SQL作业 Spark jar作业 Flink SQL作业 Flink jar作业 APIG x x √ x CSS √ √ √ √ DCS Redis √ √ √ √ DDS Mongo √ √ √ √ DMS Kafka x x √ √ DWS √ √ √ √ MRS HBase √ √ √ √ MRS Kafka x x √ √ MRS OpenTSDB √ √ x √ RDS MySQL √ √ √ √ RDS PostGre √ √ √ √

本节介绍了编译工程生产消费的主要内容点,包括引入依赖、绑定BindingKey、生产消息和消费消息。 前提条件 创建分布式消息服务RabbitMQ实例。 操作步骤 RabbitMQ是一个开源的消息队列中间件，支持生产者和消费者之间的异步通信。在上述资源准备完成后，接下来需要编译工程生产消费，主要分以下几个步骤： 1、编写生产者代码：编写一个生产者程序。该程序将连接到RabbitMQ服务器，并将消息发送到队列中。 2、编写消费者代码：编写一个消费者程序。该程序将连接到RabbitMQ服务器，并从队列中接收消息。 3、运行生产者和消费者：运行生产者程序，它将发送消息到队列中。然后运行消费者程序，它将从队列中接收并处理消息。 4、验证结果：检查生产者和消费者程序的输出，确保消息被正确发送和接收。 引入依赖 在使用RabbitMQ时，你需要在你的项目中引入相应的依赖。具体的依赖项可能会因你的项目和需求而有所不同。在使用RabbitMQ之前，请确保查阅官方文档以获取最新的依赖项和使用说明。 以Java编程语言为例，可以使用RabbitMQ的Java客户端库。你可以在Maven或Gradle构建工具中添加以下依赖项： com.rabbitmq amqpclient 5.7.0 也可以通过下载JAR包来引入依赖。 绑定BindingKey 在RabbitMQ中，绑定键（Binding Key）是用于绑定交换机（Exchange）和队列（Queue）的关键字。当一个消息被发送到交换机时，交换机会根据绑定键将消息路由到相应的队列中。 绑定键是在创建绑定（Binding）时指定的，它定义了消息应该如何被路由到队列。绑定键通常与消息的属性或内容进行匹配，以确定消息应该发送到哪个队列。 绑定键可以具有不同的形式，取决于使用的交换机类型。以下是一些常见的绑定键形式： 直接匹配（Direct Match）：绑定键与消息的路由键（Routing Key）完全匹配时，消息会被路由到相应的队列。 通配符匹配（Wildcard Match）：绑定键可以使用通配符进行模式匹配。常见的通配符有和

本章节主要介绍分布式消息服务RabbitMQ的死信和TTL。 死信和TTL（Time To Live）是RabbitMQ中需要慎用的2个特性，它们可能会对性能产生负面影响。 死信 死信是RabbitMQ中的一种消息机制，在消费消息时，如果队列里的消息满足以下任意一种情况，那么该消息将成为“死信”。 “requeue”被设置为“false”，消费者使用“basic.reject”或“basic.nack”否定应答（NACK）消息。 消息在队列的存活时间超过设置的TTL时间。 队列的消息数量已经超过最大队列长度。 死信消息会被RabbitMQ进行特殊处理，如果配置了死信队列信息，该消息将会被存储到死信队列中，如果没有配置，该消息将会被丢弃。 更多关于死信的说明，请参考Dead Letter Exchanges。 使用队列参数配置死信交换机和路由 为队列配置死信交换机，并在申明队列时指定“xdeadletterexchange”和“xdeadletterroutingkey”参数。队列根据“xdeadletterexchange”将死信消息发送到死信交换机中，并根据“xdeadletterroutingkey”为死信消息设置死信路由Key。 以下示例演示在Java客户端配置死信交换机和路由： channel.exchangeDeclare("some.exchange.name", "direct"); Map args new HashMap (); args.put("xdeadletterexchange", "some.exchange.name"); args.put("xdeadletterroutingkey", "someroutingkey"); channel.queueDeclare("myqueue", false, false, false, args); TTL TTL即过期时间。RabbitMQ支持设置消息和队列的TTL，消息的TTL可以通过以下两种方法设置： 通过队列属性设置：队列中所有消息的具有相同的过期时间。 对消息本身单独设置：每条消息可以设置不同的TTL。 如果两种方法同时使用，以较小的TTL为准。 消息在队列中的生存时间超过了TTL后，消息会被丢弃，如果队列设置了死信交换机，丢弃的消息会被转发到死信交换机，由死信交换机将其路由到死信队列。 更多关于TTL的说明，请参考TTL。

本节主要介绍与其它服务的关系 应用服务网格与周边服务的依赖关系如下图所示。 应用服务网格与其他云服务关系 云容器引擎 CCE 云容器引擎（Cloud Container Engine）提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，简化云上自动化容器运行环境搭建。 您可以通过ASM部署运行在云容器引擎上。 弹性负载均衡 ELB 弹性负载均衡（ Elastic Load Balance，ELB）将访问流量自动分发到多台云服务器，扩展应用系统对外的服务能力，实现更高水平的应用容错。 您可通过弹性负载均衡从外部访问ASM。 应用运维管理 AOM 应用运维管理AOM为您提供一站式立体运维平台，实时监控应用、资源运行状态，通过数十种指标、告警与日志关联分析，快速锁定问题根源，保障业务顺畅运行。 您可使用应用运维管理，对ASM中的服务和资源进行实时监控，对指标、告警和日志进行关联分析。 应用性能管理 APM（待上线） 应用性能管理服务（Application Performance Management，简称APM）是实时监控并管理云应用性能和故障的云服务，提供专业的分布式应用性能分析能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。 您可使用应用性能管理，对ASM中运行的服务进行全链路拓扑管理和分布式调用链追踪，方便您快速进行故障定位和根因分析。

本章节主要介绍翼MapReduce的分配机架操作。 操作场景 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求： 为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 为了提高容错能力，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。两层网络的集群如下图所示，Node1的Rack建议设置为 /Switch1/Rack1 ，Node4的Rack建议设置为 /Switch1/Rack2 。 两层网络结构 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况，管理员需设置机架名称来确定主机所处的机架，NameNode才能绘出DataNode的网络拓扑图，并尽可能将DataNode的数据备份在不同机架中。同理，YARN需要获取机架信息，在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时，需要使用FusionInsight Manager为主机重新分配机架，相关服务才会自动调整。 对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka，使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载（包括CPU、内存、磁盘、网络）不平衡，降低集群的可靠性，影响集群的稳定运行。所以在分配机架之前，需要进行全局的统筹，合理地设置机架。

本文主要介绍概述 概述 APM Agent会周期性采集一些性能指标数据，用来衡量应用的总体健康状况。可以采集JVM、GC、服务调用、异常、外部调用、数据库访问以及其他中间件的指标调用等数据，帮助用户全面掌握应用的运行情况。 APM对指标数据的采集有严格的定义，每一种采集的数据类型对应一个采集器，比如采集java应用的JVM数据，那么对应有JVM采集器，一个采集器会采集多个指标集的数据。 采集器被部署到环境后形成监控项，在数据采集的时候监控项决定了采集的数据结构和采集行为。 采集周期：监控项具有数据采集器的周期属性。当前数据采集周期为一分钟，不支持用户调整。 监控项状态：默认为enable状态，用户可以将监控项设置为disable状态，这样Agent就不会拦截该指标数据，也不会上报数据。 采集状态：采集实例和监控项会有一个采集状态信息。如果出现采集错误，可以通过采集状态查看。常见错误是主键太多，导致客户端数据汇聚异常。 监控项类型 Agent会自动发现系统采集的插件类型，并且将采集器实例化，形成监控项。监控项是实例化在一个环境上的。 由于采集器种类较多，会导致用户区分困难。系统后台会定义一些类型，每种采集器都会归到一种类型下，这样方便用户查看数据。 根据采集器的作用可以将监控项分为以下几种类型： 接口调用：是指外部服务调用当前应用的监控类型。 基础监控：是用来监控系统性能的基础监控指标的监控类型。 异常：用来监控应用的异常信息。 外部调用：是指当前应用调用外部服务的监控类型。 数据库：是对数据库的访问进行监控。 缓存：是对Redis等缓存系统的监控，会采集指令级别的细粒度的指标数据。 web容器：是对tomcat等web容器的监控，一般会采集系统总的处理线程数，busy线程数，连接数等；用于衡量系统总的容量。 消息队列：是对kafka、RabbitMq等消息系统的监控，包含发送端和接收端的监控。在接收端的处理函数，可以产生调用链信息。 通信协议：是对websocket等通信协议的监控。