类型 默认用户组 描述 集群默认用户组 hadoop 将用户加入此用户组，可获得所有Yarn队列的任务提交权限。 集群默认用户组 hadoopmanager 将用户加入此用户组，可获得HDFS和Yarn的组件运维管理员权限。对HDFS来说，运维管理员可以访问NameNode WebUI，还能进行手动主备倒换等操作。对Yarn来说，运维管理员可以执行Yarn集群的管理操作，例如访问ResourceManager WebUI，管理NodeManager节点，刷新队列，设置NodeLabel等，但不能提交任务。 集群默认用户组 hive 普通用户组。Hive用户必须属于该用户组。 集群默认用户组 hive1 普通用户组。Hive1用户必须属于该用户组。 集群默认用户组 hive2 普通用户组。Hive2用户必须属于该用户组。 集群默认用户组 hive3 普通用户组。Hive3用户必须属于该用户组。 集群默认用户组 hive4 普通用户组。Hive4用户必须属于该用户组。 集群默认用户组 kafka Kafka普通用户组。添加入本组的用户，需要被kafkaadmin组用户授予特定Topic的读写权限，才能访问对应Topic。 集群默认用户组 kafkaadmin Kafka管理员用户组。添加入本组的用户，拥有所有Topic的创建，删除，授权及读写权限。 集群默认用户组 kafkasuperuser Kafka的Topic读写用户组。添加入本组的用户，拥有所有Topic的读写权限。 集群默认用户组 storm Storm的普通用户组，属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。 集群默认用户组 stormadmin Storm的管理员用户组，属于该组的用户拥有提交拓扑和管理所有拓扑的权限。 集群默认用户组 supergroup 这个用户组内的用户具有HBase，HDFS和Yarn的超级权限，并且可以使用Hive。 集群默认用户组 yarnviewgroup Yarn任务只读用户组。将用户加入此用户组，可获得Yarn和Mapreduce界面上任务的只读权限。 集群默认用户组 checksecldap 用于内部测试主LDAP是否工作正常。用户组随机存在，每次测试时创建，测试完成后自动删除。系统内部组，仅限组件间内部使用。 集群默认用户组 compcommon 系统内部组，用于访问集群公共资源。所有系统用户和系统运行用户默认加入此用户组。 操作系统默认用户组 wheel 系统内部运行用户“omm”的主组。 操作系统默认用户组 ficommon 系统公共组，对应“compcommon”，可以访问集群在操作系统中保存的公共资源文件。

消费消息 import com.rabbitmq.client.; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.concurrent.TimeoutException; public class RabbitmqConsumer { //队列名称 private final static String QUEUENAME "helloMQ"; public static void main(String[] args) throws IOException, TimeoutException { //创建连接工厂 ConnectionFactory factory new ConnectionFactory(); //设置主机ip factory.setHost("127.0.0.1"); //设置amqp的tcp端口号 factory.setPort(5672); //设置用户名密码 factory.setUsername("YOUR USERNAME"); factory.setPassword("YOUR PASSWORD"); //设置Vhost factory.setVirtualHost("/"); //基于网络环境合理设置超时时间 factory.setConnectionTimeout(30 1000); factory.setHandshakeTimeout(30 1000); factory.setShutdownTimeout(0); Connection connection factory.newConnection(); Channel channel connection.createChannel(); //声明队列，主要为了防止消息接收者先运行此程序，队列还不存在时创建队列。 channel.queueDeclare(QUEUENAME, false, false, false, null); System.out.println(" [] Waiting for messages. To exit press CTRL+C"); Consumer consumer new DefaultConsumer(channel) { @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println("Received message: '" + message + "'"); } }; channel.basicConsume(QUEUENAME, true, consumer); } } SSL生产消息 import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import com.rabbitmq.client.DefaultSaslConfig; import javax.net.ssl.KeyManagerFactory; import javax.net.ssl.SSLContext; import javax.net.ssl.TrustManagerFactory; import java.io.FileInputStream; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.security.; import java.security.cert.CertificateException; import java.util.concurrent.TimeUnit; import java.util.concurrent.TimeoutException; public class RabbitmqProducerSsl { // private final static String EXCHANGENAME "exchangeTest"; private final static String QUEUENAME "helloMQ"; // private final static String ROUTINGKEY "test"; public static void main(String[] args) throws IOException, TimeoutException, InterruptedException { // 创建连接工厂 ConnectionFactory factory new ConnectionFactory(); // 设置主机ip factory.setHost("127.0.0.1"); // 设置amqp的ssl端口号 factory.setPort(5671); String ksFile "/sslpath/ssl/clientrabbitmqkey.p12"; String tksFile "/sslpath/ssl/truststore"; SSLContext c null; try { char[] keyPassphrase "YOUR PASSPHRASE".toCharArray(); KeyStore ks KeyStore.getInstance("PKCS12"); ks.load(new FileInputStream(ksFile), keyPassphrase); KeyManagerFactory kmf KeyManagerFactory.getInstance("SunX509"); kmf.init(ks, keyPassphrase); char[] trustPassphrase "YOUR PASSPHRASE".toCharArray(); KeyStore tks KeyStore.getInstance("JKS"); tks.load(new FileInputStream(tksFile), trustPassphrase); TrustManagerFactory tmf TrustManagerFactory.getInstance("SunX509"); tmf.init(tks); c SSLContext.getInstance("tlsv1.2"); c.init(kmf.getKeyManagers(), tmf.getTrustManagers(), null); } catch (KeyStoreException e) { throw new RuntimeException(e); } catch (NoSuchAlgorithmException e) { throw new RuntimeException(e); } catch (CertificateException e) { throw new RuntimeException(e); } catch (UnrecoverableKeyException e) { throw new RuntimeException(e); } catch (KeyManagementException e) { throw new RuntimeException(e); } factory.setSaslConfig(DefaultSaslConfig.EXTERNAL); factory.useSslProtocol(c); // 设置Vhost，需要在控制台先创建 factory.setVirtualHost("/"); // 基于网络环境合理设置超时时间 factory.setConnectionTimeout(30 1000); factory.setHandshakeTimeout(30 1000); factory.setShutdownTimeout(0); // 创建一个连接 Connection connection factory.newConnection(); // 创建一个频道 Channel channel connection.createChannel(); // 指定一个队列 channel.queueDeclare(QUEUENAME, false, false, false, null); for (int i 0; i < 100; i++) { // 发送的消息 String message "Hello rabbitMQ!" + i; // 往队列中发送一条消息，使用默认的交换器 channel.basicPublish("", QUEUENAME, null, message.getBytes(StandardCharsets.UTF8)); System.out.println(" Sent message: '" + message + "'"); TimeUnit.MILLISECONDS.sleep(100); } //关闭频道和连接 channel.close(); connection.close(); } }

本节介绍了在RabbitMQ实例中如何创建、修改和删除虚拟主机限制策略。 背景信息 RabbitMQ虚拟主机限制管理是一种用于管理RabbitMQ虚拟主机的功能，它允许管理员对虚拟主机的资源和权限进行限制和管理。 虚拟主机是RabbitMQ中的逻辑隔离单位，它允许在同一台RabbitMQ服务器上创建多个独立的消息队列环境。每个虚拟主机都有自己的队列、交换机、绑定和权限设置。通过虚拟主机限制管理，管理员可以对RabbitMQ服务器上的虚拟主机进行细粒度的控制和管理。这有助于确保不同的应用程序或用户之间的隔离性、安全性和资源利用率，提高整个消息队列系统的可靠性和性能。 操作步骤 1.登录管理控制台。 2.进入RabbitMQ管理控制台。 3.在实例列表页在操作列，目标实例行点击“管理”。 4.点击“集群管理”后点击“虚拟主机限制”到达虚拟主机页面，点击“新建”按钮。 5.点击“新建”后出现以下界面，选择虚拟主机，添加限制策略内容。 限制项参数 说明 maxconnections 最大TCP连接。 maxqueues 最大队列数。 6.在目标虚拟主机限制行点击“删除”或“修改”，即可删除当前虚拟主机策略。

本章节主要介绍ALM38009 Broker磁盘IO繁忙的告警。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况，当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值（默认80%）时，产生该告警。 平滑次数为3，当该磁盘IO低于阈值（默认80%）时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙，产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大，当前Partition的设置不合理。 处理步骤 检查Topic副本数配置 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看定位信息中上报告警的“主题名”。 1. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”，搜索发生告警的Topic，查看副本数量。 2. 如果副本数量值大于3，则考虑减少该Topic的复制因子（减少为3）。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划： kafkareassignpartitions.sh zookeeper {zkhost}:{port} /kafka reassignmentjsonfile {manual assignment json file path} execute 例如： /opt/Bigdata/client/Kafka/kafka/bin/kafkareassignpartitions.sh zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka reassignmentjsonfile expandclusterreassignment.json execute 说明 在expandclusterreassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为：{"partitions":[{"topic": " topicName ","partition":1,"replicas": [1,2,3] }],"version":1}。 3. 观察一段时间，看告警是否消失。如果告警没有消失，执行步骤5。

配置项 操作 示例 触发器类型 选择 MQTT触发器。 MQTT触发器 名称 填写自定义的触发器名称。 mqtttrigger 版本或别名 默认值为 LATEST ，支持选择任意函数版本或函数别名。 LATEST MQTT实例 选择已创建的MQTT实例。 Topic 填写订阅的消息Topic，请确保topic的命名符合以下"^[azAZ09/+]+$"正则表达式 mytopic 调用方法 选择函数调用方式。 同步调用 ：指触发器消费消息后投递到函数是同步调用，会等待函数响应后继续下一个消息投递。 异步调用 ：指触发器消费消息后投递到函数是异步调用，不会等待函数响应，可以快速消费事件。 用户ID 终端设备连接MQTT队列需要先创建用户密码，详情请查看 密钥 终端设备连接MQTT队列需要先创建用户密码，详情请查看 触发器启用状态 创建触发器后是否立即启用。默认选择开启，即创建触发器后立即启用触发器。 启用

本章节主要介绍如何创建分布式消息服务RabbitMQ实例。 RabbitMQ是一款基于AMQP协议的开源服务，用于在分布式系统中存储转发消息，服务器端用Erlang语言（支持高并发、分布式以及健壮的容错能力等特点）编写，支持多种语言的客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP、AJAX等。 AMQP，即Advanced Message Queuing Protocol，高级消息队列协议，是应用层的一个开放标准协议。 前提条件 在创建RabbitMQ专享版实例前，需要保证存在可使用的虚拟私有云。创建虚拟私有云的方法，请参考《虚拟私有云用户指南》。 如果您已有虚拟私有云，可重复使用，不需要多次创建。 为RabbitMQ授权 如果RabbitMQ实例需要开启IPv6功能，在创建实例前，需要授予RabbitMQ操作VPC终端节点的权限，否则会导致创建失败。 在IAM控制台创建委托，委托参数如下，其他参数保持默认，创建委托的具体步骤请参见《统一身份认证服务 用户指南》的“委托 > 委托其他云服务管理资源”章节。 委托名称：dmsadmintrust 委托类型：云服务 云服务：分布式消息服务 持续时间：永久 委托将拥有所选策略：DMS VPCEndpointAccess 操作步骤 步骤1 登录管理控制台。 步骤2 在管理控制台右上角单击，选择区域资源池。 说明 此处请选择与您的应用服务相同的区域。 步骤3 在管理控制台左上角单击，选择“企业中间件 > 分布式消息服务>RabbitMQ专享版”，进入分布式消息服务RabbitMQ专享版页面。 步骤4 单击页面右上方的“购买RabbitMQ实例”。 每个项目默认最多可以创建100个RabbitMQ专享版实例，如果您想创建更多实例，请联系客服申请增加配额。 步骤5 选择“计费模式”、“区域”、“项目”和“可用区”。 步骤6 设置“实例名称”和“企业项目”。 步骤7 设置实例信息。 1. 版本：RabbitMQ的版本号，当前仅支持3.8.35。 2. 实例类型：支持“单机”和“集群”。 单机：表示部署一个RabbitMQ代理。 集群：表示部署多个RabbitMQ代理，实现高可靠的消息存储。 3. 鲲鹏实例：“创建鲲鹏架构实例”选框，默认不勾选是X86架构的实例，勾选之后是ARM架构的鲲鹏实例。 4. 规格：根据实际情况选择规格。 说明 为了保证服务的稳定可靠，RabbitMQ采用了默认的40%高水位配置。当内存占用率到达40%高水位后，会触发流控，生产者发送消息会被阻塞。为了避免高水位的产生，请及时消费积压在队列中的消息。 5. 代理个数：根据实例情况选择代理个数。 6. 存储空间：选择RabbitMQ实例的磁盘类型和存储空间总量。 单机实例的取值范围：100GB ~ 30000GB 集群实例的取值范围为：100GB 代理数 ~ 30000GB 代理数 7. 虚拟私有云：选择已经创建好的虚拟私有云和子网。 虚拟私有云可以为您的RabbitMQ专享实例构建隔离的、能自主配置和管理的虚拟网络环境。 说明 虚拟私有云和子网在RabbitMQ实例创建完成后，不支持修改。 子网开启IPv6后，RabbitMQ实例支持IPv6功能。 实例创建成功后，不支持修改IPv6开关。 使用内网IPv6方式连接实例需要通过VPC终端节点实现，使用期间会产生VPC终端节点的费用。 8. 安全组：在“安全组”下拉列表，可以选择已经创建好的安全组。 安全组是一组对弹性云主机的访问规则的集合，为同一个VPC内具有相同安全保护需求并相互信任的弹性云主机提供访问策略。 您可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 图1 设置实例信息 步骤8 设置连接RabbitMQ实例的用户名和密码。 步骤9 设置实例购买时长。 当选择了“包年/包月”付费模式时，页面才显示“购买时长”参数，您需要根据业务需要选择。 步骤10 单击“更多配置”，设置更多相关信息。 1. 设置“公网访问”。 您可以选择是否打开公网访问开关。 如果选择了开启，表示访问RabbitMQ实例可以通过弹性IP访问。这时页面会显示“弹性IP地址”，在“弹性IP地址”区域，您可下拉选择已有的弹性IP。另外，您可单击右侧的“创建弹性IP”，跳转到网络控制台的弹性IP页面，购买弹性IP。 图2 购买RabbitMQ实例时公网访问设置 说明 公网访问与VPC内访问相比，可能存在网络丢包和抖动等情况，且访问时延有所增加，因此建议仅在业务开发测试阶段开启公网访问进行调试。 如果用户在虚拟私有云的服务页面手动解绑定或删除EIP，相应RabbitMQ实例的公网访问功能会自动关闭。 2. 设置“SSL”。 客户端连接实例时SSL认证的开关。开启SSL，则数据加密传输，安全性更高。 SSL开关在实例创建完成后不支持修改，请明确是否需要开启 。 3. 设置“标签”。 标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键值对。另外，您可以单击右侧的“查看预定义标签”，系统会跳转到标签管理服务页面，查看已经预定义的标签，或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个RabbitMQ实例最多支持设置20个不同标签。 4. 设置实例的描述信息。 步骤11 填写完上述信息后，单击“立即购买”，进入“规格确认”页面。 步骤12 确认实例信息无误且阅读并同意《分布式消息服务RabbitMQ服务等级协议》、《天翼云分布式消息服务协议》后，提交请求。 步骤13 在实例列表页面查看实例是否创建成功。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的RabbitMQ实例，然后重新创建。如果重新创建仍然失败，请联系客服。

场景描述 消息轨迹记录了一条消息从生产端到消息队列RocketMQ服务端，再到消费端的整个过程，包括各阶段的时间、执行状态等。 使用说明 客户端SDK默认不开启消息轨迹功能，需要在消息收发时主动开启消息轨迹，以Java为例，如下所示： 生产者启用消息轨迹： DefaultMQProducer producer new DefaultMQProducer("ProducerGroupName",new AclClientRPCHook(newSessionCredentials("控制台角色AK","控制台角色CK")),true,null); 消费者启用消息轨迹： DefaultMQPushConsumer consumer new DefaultMQPushConsumer("ConsumerGroupName",new AclClientRPCHook( new SessionCredentials( "控制台角色AK", "控制台角色CK") ),newAllocateMessageQueueAveragely(),true,null); 消息轨迹的查询方式 1. 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2. 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3. 进入实例列表，点击【管理】按钮进入管理菜单。 4. 根据查询结果，查看消息轨迹。

本章节介绍分布式消息服务RabbitMQ的产品价格。 分布式消息服务RabbitMQ的产品价格，分为老规格和新规格两个类型，老规格是指“2vCPU4GB”格式的规格，新规格是指“rabbitmq.2u4g.cluster”格式的规格。自新规格正式上线之日起，用户新订购实例只能订购新规格、无法新订购老规格实例，但用户已订购的老规格实例，可正常使用，也可以进行规格变更。 RabbitMQ支持ARM架构的鲲鹏实例，其规格、价格与X86架构相同。 详细的产品价格如下： 一、老规格 分布式消息服务RabbitMQ老规格仅支持包年/包月计费模式，价格如下： 实例类型 实例规格 数量 包月价格（元/月） :::: 单机版 2C4G 1 278 单机版 4C8G 1 541 单机版 8C16G 1 1068 单机版 16C32G 1 1939 集群版 4C8G 3 3158 集群版 4C8G 5 4421 集群版 4C8G 7 5684 集群版 8C16G 3 6231 集群版 8C16G 5 8723 集群版 8C16G 7 11215 集群版 16C32G 3 12926 集群版 16C32G 5 18096 集群版 16C32G 7 23267 分布式消息服务RabbitMQ老规格的存储空间价格，同云硬盘单价一致。 分布式消息服务RabbitMQ老规格包周期订购，无包年优惠。

本节主要介绍分布式消息服务Kafka如何创建应用用户 场景描述 用户：主要用于规定生产消费指定加密主题的策略而需要，例如规定用户A可生产消费加密Topic1，用户B可生产消费加密Topic2，用户C可生产消费加密Topic1、Topic2，则需要为这三个用户创建用户，并分配加密主题权限。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面，点击新建用户。 （5）在 新建用户的窗口中填入集群名、用户、密码、描述，然后保存。 批量创建用户 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面。 （5）点击“批量创建用户”后，出现如下上传文件界面，文件格式件批量下载说明。 （6）点击“上传”完成批量创建。 下载批量创建用户模板 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入用户管理页面。 （5）点击“下载模板”右侧下拉倒三角“下载模板”，内容如下图。 （6）参数说明。 参数 说明 username 用户名 password 密码 description 备注或描述

本节主要介绍分布式消息服务Kafka的退订说明 如果您有退订的需求，可以进行登录天翼云管理中心或产品控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订，详细规则请参考文档费用中心退订。

本文为您介绍分布式消息服务MQTT的计费类常见问题。 如何为购买的消息队列MQTT实例续费？ 为防止资源到期或者浪费，已经购买包月实例的用户，可执行续费操作，延长MQTT实例的有效期，也可以设置到期自动续费的相关操作。 开通的MQTT实例资源何时生效？ 天翼云分布式消息服务MQTT资源在客户支付成功之后，系统经过初始化完成后即可生效使用。

本文主要介绍云搜索服务的应用场景。 日志检索分析 云搜索服务可以采集分析各类以文件形式存储的日志，包括不限于服务器、容器日志等。结合消息队列Kafka、Logstash对日志数据进行采集清洗，进入Elasticsearch或OpenSearch中存储检索分析，并通过Kibana或Dashboards进行可视化呈现。 高稳定：通过读写限流、查询熔断、集群监控等方式保障。 性能优化：通过支持压缩算法、内核增强节省存储空间，增强读写速率、降低响应延迟。 易用性：支持多种统计分析方法、划分维度，丰富的可视化查询，可对接BI实现拖拽式报表。 站内搜索 面对海量数据，提供分布式的信息检索工具，可根据网站内容进行关键字检索，也可搭建商品检索或推荐系统。 实时检索：支持模糊搜索，数据来源多样且持续写入，站内资料或商品信息更新数秒内即可被检索。 分类统计：检索同时可以将符合条件的结果进行排序或分类统计。 多场景适配：可用于网站、移动端应用搜索、企业内部应用等多种需要快速检索的场景。 数据分析 提供开箱即用的可视化、高聚合分析能力，便捷高效地对海量数据实时分析。更好地适配实时多维分析在线查询服务场景，满足高实时性，高查询QPS，低查询延迟的数据分析要求。 快速响应：支持海量的、数据源多样、字段不固定的数据高并发处理，毫秒级响应。 复杂查询：支持大批量模糊关键字搜索及一些聚合的复杂查询。 向量检索：基于向量特征相似度匹配，支持图文搜索、地理位置搜索。

介绍分布式消息服务RabbitMQ单一活跃消费者功能。 使用场景 在默认direct模式下, 多个消费者订阅一个queue,消息会轮流发送至每个消费者。单一消费者模式下,消息只由一个消费者消费，除非该改消费者出现异常。由此可以保证消息消费的有序性。 使用示例 以下为java客户端示例，通过在声明队列时配置xsingleactiveconsumer参数实现单一活跃消费者。 Map arguments newHashMap(); arguments.put("xsingleactiveconsumer", true); channel.queueDeclare("testqueue", false, false, false, arguments);

本文主要介绍分布式消息服务RabbitMQ的约束与限制。 分布式消息服务RabbitMQ在某些功能存在一些约束和限制，详细如表1所示。 表1 RabbitMQ使用约束和限制 限制项 约束和限制 描述 版本 当前服务端版本为3.8.35、3.7.17。 兼容AMQP 091协议的客户端版本。 连接数 RabbitMQ单机和集群实例，不同实例规格的连接数上限不一致，具体限制，请参考产品规格。 通道数 5GB 磁盘剩余空间低于5GB会触发磁盘高水位，生产者流程被阻塞。 clusterpartitionhandling pauseminority 当集群发生网络分区时，代理会检查自己是否处于“少数派”（存储分区的代理数小于等于总代理数的一半称为少数派）。少数派中的代理将会自动关闭服务并定期检测网络状态，待分区恢复之后重新启动服务。如果未开启镜像队列，发生分区时少数派上的队列将无法生产消费。此策略相当于放弃了可用性而选择了数据一致性。 rabbitmqdelayedmessageexchange 插件延迟时间存在1%左右的误差，可能提前或者推迟发送消息给消费者。 实例是否开启消息延迟功能。 RabbitMQ插件 RabbitMQ插件功能可用于测试和迁移业务等场景，不建议用于生产业务。 RabbitMQ实例主要提供AMQP 091业务消息的功能，兼容相关协议的Vhost、Exchange等组件。插件相关内容为非核心功能，不建议用于生产业务。

本小节介绍日志审计(原生版)产品排查日志未采集常见问题。 如何排查日志未采集？ 问题描述 日志审计（原生版）采集日志配置配好后，仍未采集到日志，如何排查？ 可能原因 采集日志相关程序未正常启动。 中间件出现故障。 采集资产未配置。 解决方案 了解采集日志程序作用 Logc（日志采集）接收日志并通过kafka将接收的日志转发logp。 Logp（日志解析分类）接收logc转发的原始日志根据解析规则等进行解析，并通过kafka将解析后的日志发送给esinsert。 Esinsert（录入elasticsearch）将解析后的日志录入elasticsearch。 Coresvr（页面更新程序）将页面下发的规则等变更，通过kafka下发给对应的服务。 查看程序是否启动 点击“系统配置”>“系统运维”,在服务管理中，查看相关服务状态，出现异常时，点击重启程序，过1min，刷新页面，查看服务状态是否正常。 查看程序日志 点击“系统配置”>“系统运维”,在服务管理中，点击导出日志，可导出服务日志。将logc、logp、coresvr、esinsert等服务日志按流程步骤依次查看是否有异常信息。 中间件故障 各程序报告日志出现如下报错：Broker transport failure: 127.0.0.1:9092/0:Connect to ipv4127.0.0.1:9092 failed。 日志分析，9092为kafka服务端口，该提示为kafka出现异常。

场景描述 在RocketMQ中，重置消费位置是一个常见的场景，用于重新设置消费者对消息队列的消费位置。以下是一些常见的RocketMQ重置消费位置的场景描述： 消费者异常停止后的重启：当消费者由于某种原因异常停止后，重新启动时可能需要重置消费位置。例如，消费者在处理消息时发生故障导致停止，重新启动后可以选择从上次消费的位置继续消费，或者从最早的消息开始重新消费。 消费者消费进度错误或需要重新处理：在某些情况下，消费者的消费进度可能出现错误，或者需要重新处理之前未正确处理的消息。此时，可以选择重置消费位置，将消费者的消费进度重置到指定的位置，从而重新消费或重新处理消息。 消费者切换消费模式：当消费者从集群模式切换到广播模式，或者从广播模式切换到集群模式时，可能需要重置消费位置。因为在不同的消费模式下，消费者对消息队列的消费位置和进度管理方式是不同的。 消费者消费速度过慢导致消息堆积：当消费者的消费速度过慢，无法及时处理消息时，可能会导致消息堆积。为了加快消息的消费速度，可以选择重置消费位置，将消费者的消费进度重置到最新的消息位置，从而快速消费积压的消息。 在进行消费位置重置时，需要注意以下几点： 确定重置的目标位置：在重置消费位置之前，需要确定重置的目标位置，可以选择从最早的消息位置开始消费，或者从指定的消息位置开始消费。 谨慎操作：重置消费位置是一个敏感操作，需要谨慎处理。在重置消费位置之前，建议备份相关数据，以防止数据丢失或处理错误。 考虑消费者组和消息模式：在重置消费位置时，需要考虑消费者组和消息模式的影响。不同的消费者组和消息模式可能对消费位置重置有不同的要求和限制。 总之，重置消费位置是一个常见的操作，可以帮助解决消费者异常停止、消费进度错误或重新处理消息等情况。但在进行操作时，需要谨慎评估和处理，确保不会对业务和数据产生不可逆的影响。

本章节主要介绍节点参考的MRS Kafka。 功能 MRS Kafka主要是查询Topic未消费的消息数。 参数 用户可参考下配置MRS Kafka的参数。 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafka中已创建的Topic，使用SDK或者命令行创建。 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“ ”等各类特殊字符，长度为1～128个字符。 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 失败策略 是 节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。

安全组 安全组可重复使用，您也可以根据实际情况使用不同的安全组，请根据实际需要进行配置。 创建安全组的操作指导，请参考虚拟私有云创建安全组 若需要为安全组添加规则，请参考虚拟私有云安全组添加安全组规则 弹性公网IP（可选） 若需要通过公网访问RabbitMQ实例，则需要申请弹性公网IP，否则不需要申请弹性公网IP。申请弹性公网IP的操作指导请参考购买弹性IP 其他工具 下载安装工具Eclipse3.6.0以上版本或者IntelliJ，JDK 1.8.111以上版本。 购买实例 实例介绍 RabbitMQ实例订购支持用户自定义规格和自定义特性，采用物理隔离的方式部署。租户独占RabbitMQ实例，可根据业务需要可定制相应规格的RabbitMQ实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富用户选项。 操作步骤 （1）登录管理控制台。 （2）进入RabbitMQ管理控制台。 （3）在管理控制台右上角单击“地域名称”，选择区域。此处请选择与您的应用服务相同的区域。 （4）点击“购买实例”跳转到购买页面。 （5）实例规格选择 以下规格选型适用于6个节点： 芜湖2、南京3、上海7、福州25、重庆2、北京5。 此6个节点可以选择普通版和高级版。 存储空间说明：目前基础版和高级版规格如下： 产品类型 产品规格 高级版本 三节点 8核16GBlvs节点 4核8GB总磁盘范围 300GB – 6000GB 基础版本 三节点 4核8Glvs节点 4核8GB总磁盘范围 300GB – 6000GB 在集群模式中，RabbitMQ需要对消息持久化写入到磁盘中，因为，您在创建RabbitMQ实例选择存储空间时，建议根据业务消息体积预估以及镜像队列副本数量选择合适的存储空间。镜像队列副本数最大为集群的节点数，目前都是3。 例如：业务消息体积预估100GB，则磁盘容量最少应为100GB3 + 预留磁盘大小100GB。 1）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 2）区域默认为当前资源池，页面左上角切换区域。 3）选择类型，用户可选高级版和基础版两个版本。其中高级版规格为8核16GB，适用于大型应用系统。基础版规格为4核8GB，适用于中、小型企业应用。 4）服务节点数出于高可用考虑，默认3个。 5）选择主机类型，包括2系列、3系列和6系列。主机类型详细内容请参见弹性云主机规格。 6）选择存储空间，包括磁盘类型和空间。 磁盘类型默认提供普通IO。普通IO适用于大容量、读写速率中等、事务性处理较少的应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以300G起步，可以以100倍数增加磁盘空间。 7）填写实例名称，长度在 4 到 64个字符，必须以字母开头，不区分大小写，可以包含字母、数字、中划线或下划线，不能包含其他特殊字符。 8）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 9）选择已有子网，若无子网，点击创建跳转到子网页面新增。 10）选择已有安全组，若无安全组，点击创建跳转到安全组页面新增。 11）选择购买时长，拖动选择112个月。 12）勾选自动续订。按月购买：自动续订周期为1个月；按年购买：自动续订周期为1年。 13）填写购买数量，单次最多可批量申请5个分布式消息服务。 以下规格选型适用于华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 节点。 这些节点可选择通用型和计算增强型，具体情况如下： 主机类型 节点数（个） 实例规格 存储IO 存储空间GB 通用型 可选节点数：3/5/7/9 可选规格： 4核 8GB 8核 16GB 16核 32GB 可选IO规格： 普通IO（SATA） 高IO（SAS） 超高IO（SSD） 单节点10010000 计算增强型 可选节点数：3/5/7/9 可选规格： 4核 8GB 8核 16GB 16核 32GB 可选IO规格： 普通IO（SATA） 高IO（SAS） 超高IO（SSD） 单节点10010000 节点可选择3节点、5节点、7节点、9节点，实例规格可选择4C8G、8C16G、16C32G。 存储类型可选择普通IO（SATA）、高IO（SAS）、超高IO（SSD）。 1）填写实例名称，长度在 4 到 64个字符，必须以字母开头，不区分大小写，可以包含字母、数字、中划线或下划线，不能包含其他特殊字符。 2）选择引擎类型，默认选择云原生引擎，海量消息堆积能力，支持更多连接和队列数，稳定性高。也可选择rabbitmq引擎，完全支持开源RabbitMQ生态，功能完备。 3）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 4）购买时长按照计费模式选择变化： 计费模式为包年包月，可选择购买时长16个月、13年。该模式提供自动续期功能，勾选后可以自动续期购买时长：16个月、13年。 计费模式为按需计费，则该选项隐藏无需选择。 5）部署方式有单可用区和多可用区两个选项，目前仅支持单可用区和3可用区部署,单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区。 6）设置节点数，可选择3/5/7/9。RabbitMQ 的节点数是指 RabbitMQ 集群中的节点数量。在 RabbitMQ 集群中，可以有多个节点组成一个集群，每个节点都是一个独立的 RabbitMQ 服务器实例。 7）下拉选择主机类型，可选择通用型和计算增强型。通用型云主机共享宿主机的CPU资源，主要提供基本水平的vCPU性能、平衡的计算、内存和网络资源，具有较高性价比，支持通用的业务运行。计算增强型云主机独享宿主机的CPU资源，实例间无CPU争抢，并且没有进行资源超配，同时搭载全新网络加速引擎，实现接近物理服务器的强劲稳定性能。 8）选择实例规格，分布式消息服务RabbitMQ提供通用型和计算增强型各3类规格，各规格详细说明参见弹性云主机规格。 9）选择存储空间，包括磁盘类型和空间。 磁盘类型提供高IO/普通IO/超高IO三类。普通IO适用于大容量、读写速率中等、事务性处理较少的应用场景。高IO：适用于主流的高性能、高可靠应用场景。超高IO：适用于超高IOPS、超大带宽需求的读写密集型应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以100G起步，可以以100倍数增加磁盘空间。 10）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 （6）下单购买。 选择理解并接受《产品服务协议》，然后下一步订购支付完成购买。

本文主要介绍 DMS for Kafka自定义策略。 如果系统预置的DMS for Kafka权限，不满足您的授权要求，可以创建自定义策略。 目前云服务平台支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见：《统一身份认证服务用户指南》的“创建自定义策略”章节。本章为您介绍常用的DMS for Kafka自定义策略样例。 说明 DMS for Kafka的权限与策略基于分布式消息服务DMS，因此在IAM服务中为DMS for Kafka分配用户与权限时，请选择并使用“DMS”的权限与策略。 由于缓存的存在，对用户、用户组以及企业项目授予OBS相关的细粒度策略后，大概需要等待5分钟细粒度策略才能生效。 DMS自定义策略样例 示例1：授权用户删除实例和重启实例 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "dms:instance:modifyStatus", "dms:instance:delete" ] } ] } 示例2：拒绝用户删除实例 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循Deny优先。 如果您给用户授予DMS FullAccess的系统策略，但不希望用户拥有DMS FullAccess中定义的删除实例权限，您可以创建一条拒绝删除实例的自定义策略，然后同时将DMS FullAccess和拒绝策略授予用户，根据Deny优先原则，则用户可以对DMS for Kafka执行除了删除实例外的所有操作。拒绝策略示例如下： { "Version": "1.1", "Statement": [ { "Effect": "Deny", "Action": [ "dms:instance:delete" ] } ] }

本章节主要介绍设置分布式消息服务RabbitMQ实例镜像队列。 镜像队列，允许集群将队列镜像到其他节点上，当集群某一节点宕机后，队列能自动切换到镜像中的其他节点，保证服务的可用性。 如果您需要了解RabbitMQ Web UI相关功能和概念，请自行查阅RabbitMQ官网。本章节仅介绍登录RabbitMQ实例的Web页面设置镜像队列的操作步骤。 操作步骤 步骤 1 登录RabbitMQ实例的Web UI。 步骤 2 在菜单栏，选择“Admin”。 图1 选择Admin菜单 步骤3 （可选）选择右侧导航栏“Virtual Hosts”，然后输入“Name”，单击“Add virtual host”，创建Vhost。 如果您需要设置指定Vhost，请执行本步骤；如果不需要，请直接执行步骤4。 图2 创建Vhost 步骤 4 选择右侧导航栏“Policies”，为Vhost设置规则。 如果为指定的Vhost设置，请在“Virtual Host”选择步骤3创建的Vhost；如果没有，则默认为“/”。 图3 设置Vhost规则 参数解释如下： Name: policy的名称，用户自定义。 Pattern: queue的匹配模式（正则表达式）。 Definition: 镜像定义，包括三个部分hasyncmode、hamode、haparams。 hasyncmode: 表示镜像队列中消息的同步方式，有效取值范围为：automatic和manually。 automatic：表示自动向master同步数据。 manually：表示手动向master同步数据。 hamode: 指明镜像队列的模式，有效取值范围为：all、exactly和nodes。 all：表示在集群所有的节点上进行镜像。 exactly：表示在指定个数的节点上进行镜像，节点的个数由haparams指定。 nodes：表示在指定的节点上进行镜像，节点名称通过haparams指定。 haparams: hamode模式需要用到的参数。 Priority: 可选参数，policy的优先级。 步骤 5 单击“Add policy”。 规则添加成功后如图4所示。 图4 Vhost规则

介绍分布式消息服务Kafka删除用户功能操作内容。 场景描述 Kafka删除用户的场景描述如下： 用户离职或不再需要访问权限：当用户离开组织或不再需要访问Kafka集群时，可以删除其用户账户。这可以确保已离职的用户无法再访问和操作Kafka，提高安全性和合规性。 角色调整或合并：在某些情况下，可能需要对用户角色进行调整或合并。如果某个角色不再需要或与其他角色重复，可以删除相关的用户账户和角色，以简化管理和维护。 用户账户过期或失效：如果用户账户的有效期已过或由于某种原因失效，可以删除该用户账户。这有助于清理无效的用户账户，减少安全风险和资源浪费。 安全审计和合规要求：根据安全审计和合规要求，可能需要删除某些用户账户。例如，当用户账户存在安全风险或违反合规规定时，需要及时删除相关账户以保护系统安全和数据隐私。 数据隔离和资源管理：在多租户环境中，当某个租户不再需要使用Kafka集群时，可以删除其相关的用户账户。这有助于释放资源，提高资源利用率和性能。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“用户管理”后进入应用用户管理页面，点击指定用户其右侧的“删除”按钮。 注意事项 Kafka删除用户时需要注意以下事项： 确认用户身份：在删除用户之前，确保要删除的用户的身份是正确的。验证用户的身份可以防止误删除或删除错误的用户账户。 备份和迁移数据：如果用户账户中存在重要的数据或信息，建议在删除用户之前进行数据备份和迁移。这可以确保数据的安全性和完整性，并防止数据的丢失或泄露。 通知相关人员：在删除用户之前，及时通知相关的管理人员或团队成员。这有助于协调和沟通，确保删除用户的操作得到充分的授权和确认。 关注系统性能：删除用户时，要注意对Kafka集群的性能影响。大规模的用户删除操作可能会对系统造成一定的负载和延迟，因此在合适的时间窗口进行删除操作，以减少对业务的影响。

操作事件 读写类型 创建虚拟主机 写事件 删除虚拟主机 写事件 创建交换器 写事件 删除交换器 写事件 创建队列 写事件 删除队列 写事件 清空队列消息 写事件 队列生产拨测 写事件 队列消费拨测 写事件 新建用户 写事件 删除用户 写事件 创建绑定 写事件 删除绑定 写事件 配置虚拟主机主题权限 写事件 删除虚拟主机主题权限 写事件 配置虚拟主机限制 写事件 删除虚拟主机限制 写事件 配置虚拟主机权限 写事件 删除虚拟主机权限 写事件 插件启停 写事件 更新配置 写事件 实例开通 写事件 实例退订 写事件 实例冻结 写事件 实例注销 写事件 实例按需转包周期 写事件 实例包周期转按需 写事件 实例扩容 写事件 实例缩容 写事件

本节主要介绍分布式消息服务Kafka的删除Topic步骤 场景描述 在以下场景中，可以考虑删除Kafka主题： 主题不再使用：当一个主题不再被使用或者不再需要时，可以选择删除该主题。这可能是因为业务需求变化、数据不再有效或者主题被合并到其他主题中等原因。 数据保留策略变更：Kafka中可以设置数据保留策略，即数据在主题中的保留时间或者大小。当需要更改数据保留策略时，可能需要删除旧的主题并创建一个新的主题来应用新的策略。 清理测试数据：在测试环境中，经常需要清理旧的测试数据，以确保环境的可用空间和性能。当测试数据不再需要时，可以删除相应的主题来释放资源。 主题配置错误：在创建主题时，可能会出现配置错误或者误操作导致主题创建失败或者无法正常使用。在这种情况下，可以删除有问题的主题，并重新创建正确的主题配置。 需要注意的是，在删除主题之前，需要确保主题中的数据已经备份或者不再需要。删除主题将永久删除主题中的所有数据，并且无法恢复。因此，在删除主题之前，建议先进行备份或者确认数据不再需要。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“管理”。 （4）点击“Topic管理”后进入Topic管理页面。 （5）在Topic所在行，点击其右侧的“更多按钮”，再单击“删除”，并选择确定。

名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境：每个云容器集群对应一个独立的容器环境。针对容器环境，Prometheus提供了自动化的监控采集链路，完成探针安装、数据采集、数据加工等工作。 云服务环境：对于常规云服务产品的数据采集，将按照资源池进行划分，为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件，目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏，单击接入中心。 3. 在接入中心页面，单击目标组件卡片接入数据。 4. 在弹出的面板中，在开始接入页签下，选择所属的环境类型。 5. 根据控制台提示配置相应参数，如选择对应的容器集群。 6. 点击确定，等待环境初始化、组件安装以及数据检查完成。 如果一切正常，接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则，也可以探索产生的指标。 如果遇到异常，可根据异常提示进行相应的操作。

介绍分布式消息服务RabbitMQ消息确认机制。 消息确认 RabbitMQ消息确认机制分为发送消息确认和消息接收确认。 发送消息确认 生产者确认，即为生产者发送消息后，等待服务端确认。 以下示例演示在Java客户端配置生产者确认过程： try { channel.confirmSelect(); channel . basicPublish( "testexchange" , " routingKey" , null , "publisher confirm message".getBytes()); if (!channel.waitForConfirms()) { System.out.println( "send message failed") ; // do something else }else{ // do something } } catch (InterruptedException e) { e.printStackTrace() ; } 消息接收确认(ACK) 消费者收到消息后需要对 RabbitMQ Server 进行消息ACK确认，RabbitMQ根据确认信息决定是删除队列中的该信息还是重新发送。 重点在于消费者的下面两个方法 channel.basicAck 消费者签收 channel.basicNAck 消费者拒绝签收 以下示例演示在Java客户端配置生产者确认过程： QueueingConsumer consumer new QueueingConsumer(channel); channel.basicConsume(ConfirmConfig.queueName, false, consumer); QueueingConsumer.Delivery delivery consumer.nextDelivery(); String msg new String(delivery.getBody()); // do something with msg. channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);

为什么可用区不能选择2个？ 所有不同规格的Kafka集群实例都是3个Zookeeper节点，并且是通过Zookeeper集群进行管理配置的，Kafka依赖Zookeeper，如果Zookeeper集群出现问题，Kafka将无法正常运行。 一个Zookeeper集群正常运行，至少需要2个Zookeeper节点正常运行。 假设允许可用区选择2个，可用区1有1个Zookeeper节点，可用区2有2个Zookeeper节点。如果可用区1故障，则集群实例能正常使用；如果可用区2故障，则集群不能正常使用。集群可用的场景只有50%，所以不支持选择2个可用区 如何选择Kafka实例的存储空间？ 存储空间，主要是指用于存储消息所需要的空间，选择时包括选择磁盘规格和大小，磁盘规格，当前支持“超高IO”和“高IO”两种类型。 假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB副本数 + 预留磁盘大小100GB。Kafka集群中，每个Kafka节点会使用33G的磁盘作为日志和Zookeeper数据的存储，因而实际可用存储会小于购买存储。 其中，副本数在创建Topic时可以选择，默认为3副本存储。 Kafka实例的超高IO和高IO如何选择？ 高IO：平均时延13ms，最大带宽150MB/s（读+写）。 超高IO：平均时延1ms，最大带宽350MB/s（读+写）。 建议选择超高IO，云硬盘服务端压力大场景，都不能达到最大带宽，但是超高IO可达到的带宽比高IO高很多。 如何选择Kafka实例存储容量阈值策略？ 当前支持以下两种策略： 生产受限策略 该策略场景下一旦磁盘使用达到容量阈值95%，会导致后续生产失败，但保留了当前磁盘中的数据，直至数据自然老化（Kafka原有的老化机制，数据默认保留3天）。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 自动删除策略 该策略场景下磁盘使用到达容量阈值之后，以一个segment文件为单位（1GB），会自动删除最早的segment文件，保证生产业务能继续正常运行。该场景优先保障业务不中断，数据可能会丢失。 以上两种策略的需要基于业务对数据和业务的可靠性来进行选择，只能作为极端场景下的一个种处理方式。建议业务购买时保证有充足的磁盘容量，避免磁盘的使用达到容量阈值。 Kafka实例的Topic数量是否有限制？ 在Kafka使用过程中，Topic数量本身无限制，但Topic的分区数之和有上限，当达到上限后，会导致用户无法继续创建Topic。

如何为购买的消息队列RocketMQ实例续费？ 为防止资源到期或者浪费，已经购买包月实例的用户，可执行续费操作，延长 RocketMQ实例的有效期，也可以设置到期自动续费的相关操作。 开通的RocketMQ实例资源包何时生效？ 天翼云分布式消息服务RocketMQ资源包在客户支付成功之后，系统经过初始化完成后即可生效使用。

实例的创建和销毁 1.使用CTGFactory进行创建实例【强制规范】。 2.Consumer是重量级的实例，每次创建、销毁都会消耗系统资源，建议系统 启动的时候创建，系统退出的时候关闭，禁止每次消费消息都创建新的实例【强制规范】。 多消费组消费 一个Topic，可以使用多个消费组消费消息，每个消费组将在服务端独立保存进度。 集群消费意味着多个消费者均衡消费Topic的消息，由于经常不同的程序由多个开发者进行研发和调试，如果使用同一个消费组，在调试过程中存在被其他程序消费者消费的可能，因此应该尽量避免多种类型的应用程序使用同一个消费组。 消费位置设置 消费位置重置可通过控制台进行按时间重置，客户端必须离线。 堆积量 不建议高堆积量的消费，为了预防出现高堆积的情况，建议： 1.边生产边消费，如果消费速度跟不上，增加消费者。 2.消费者一直在线，不要等生产了一段时间再开启消费者，这样会造成消费的堆积。 消费并行度 1. 同一个 ConsumerGroup 下，可通过增加 Consumer 实例数量来提高消费的并行度（注意超过主题队列数的 部分Consumer 实例因为分配不到队列而无效），从而提升消费吞吐。 2. 增加单个消费节点的线程数，通过修改Consumer 的参数 consumeThreadMin、consumeThreadMax，增加并发线程个数实现更高的并发度。 3. 批量方式消费，如果业务流程支持批量方式消费处理消息，可设置 consumer的 consumeMessageBatchMaxSize 返回消息个数参数，该参数默认为 1，即一次只消费一条消息。通过调大该参数的值，则可以很大程度上提高消费的吞吐量。

介绍分布式消息服务RabbitMQ连接管理内容。 背景信息 RabbitMQ 连接管理的背景信息如下： 生产者连接管理：在 RabbitMQ 中，生产者负责将消息发送到队列中。在高并发的场景下，可能会有大量的生产者与 RabbitMQ 建立连接。因此，连接管理变得至关重要。在这种场景下，需要确保连接的稳定性和可用性，以确保生产者能够持续地发送消息，并避免连接的过度消耗。 消费者连接管理：消费者负责从队列中接收消息并进行处理。在高负载的情况下，可能会有大量的消费者连接到 RabbitMQ。在这种场景下，需要进行连接的管理和优化，以确保消费者能够高效地处理消息，并避免过多的连接占用资源。 连接池管理：为了更好地管理连接，可以使用连接池来对 RabbitMQ 连接进行复用和管理。连接池可以帮助控制连接的数量，避免频繁地创建和销毁连接，提高系统的性能和资源利用率。通过连接池管理，可以确保连接的可用性，并有效地管理连接的生命周期。 连接超时和重连：在网络不稳定或 RabbitMQ 实例发生故障时，连接可能会中断或超时。在这种情况下，需要实现连接的超时和重连机制，以确保连接能够及时地恢复，并保持与 RabbitMQ 的正常通信。通过合理设置连接超时和重连策略，可以提高系统的可靠性和稳定性。 总之，RabbitMQ 连接管理的场景涉及生产者连接管理、消费者连接管理、连接池管理以及连接超时和重连。通过合理的连接管理和优化，可以提高系统的性能、可用性和稳定性，确保消息的可靠传递和处理。

本文主要介绍探针监控 本章节介绍APM采集的探针监控指标的类别、名称、含义等信息。 表探针监控指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 ::::::: 探针数据（detail，探针数据指标集。） type 数据类型 探针上报的数据类型 ENUM LAST 探针数据（detail，探针数据指标集。） discardBytes 丢弃字节数 该数据类型的丢弃字节数 Byte INT SUM 探针数据（detail，探针数据指标集。） discardCount 丢弃次数 该数据类型的丢弃次数 INT SUM 探针数据（detail，探针数据指标集。） errorBytes 发送失败字节数 该数据类型的发送失败字节数 Byte INT SUM 探针数据（detail，探针数据指标集。） errorCount 发送失败次数 该数据类型的发送失败次数 INT SUM 探针数据（detail，探针数据指标集。） maxBytes 最大字节数 该数据类型的最大发送字节数 Byte INT MAX 探针数据（detail，探针数据指标集。） maxQueueSize 队列最大长度 该数据类型发送队列最大长度 INT MAX 探针数据（detail，探针数据指标集。） sendBytes 发送成功字节数 该数据类型发送成功字节数 Byte INT SUM 探针数据（detail，探针数据指标集。） sendCount 发送成功次数 该数据类型发送成功次数 INT SUM 探针数据（detail，探针数据指标集。） sendTotalTime 总发送时间 该数据类型的总发送时间 ms INT SUM 探针数据（detail，探针数据指标集。） slowTime 最慢发送时间 该数据类型最慢发送时间 ms INT MAX 异常（exception，异常指标集。） causeType 异常类 异常发生类 ENUM LAST 异常（exception，异常指标集。） type 类型 异常类型 ENUM LAST 异常（exception，异常指标集。） count 次数 异常次数 INT SUM 异常（exception，异常指标集。） message 消息 异常消息 STRING LAST 异常（exception，异常指标集。） stackTrace 堆栈 异常堆栈 CLOB LAST 服务端连接监控（transfer，服务端连接监控指标集。） host 主机 主机信息 ENUM LAST 服务端连接监控（transfer，服务端连接监控指标集。） connectIp 连接ip 连接ip STRING LAST 服务端连接监控（transfer，服务端连接监控指标集。） ipList ip列表 所有ip列表 STRING LAST 服务端连接监控（transfer，服务端连接监控指标集。） isConnected 是否连接 是否连接 INT LAST 服务端连接监控（transfer，服务端连接监控指标集。） rt 响应时间 响应时间 INT AVG 队列监控（repository，队列监控指标集。） monitorQueueSize 监控数据队列大小 监控数据队列大小 INT SUM 队列监控（repository，队列监控指标集。） monitorObjectSize 监控数据内存大小 监控数据内存大小 INT SUM 队列监控（repository，队列监控指标集。） traceQueueSize 调用链数据队列大小 调用链数据队列大小 INT SUM 队列监控（repository，队列监控指标集。） traceObjectSize 调用链数据内存大小 调用链数据内存大小 INT SUM

本文主要介绍概述 概述 APM Agent会周期性采集一些性能指标数据，用来衡量应用的总体健康状况。可以采集JVM、GC、服务调用、异常、外部调用、数据库访问以及其他中间件的指标调用等数据，帮助用户全面掌握应用的运行情况。 APM对指标数据的采集有严格的定义，每一种采集的数据类型对应一个采集器，比如采集java应用的JVM数据，那么对应有JVM采集器，一个采集器会采集多个指标集的数据。 采集器被部署到环境后形成监控项，在数据采集的时候监控项决定了采集的数据结构和采集行为。 采集周期：监控项具有数据采集器的周期属性。当前数据采集周期为一分钟，不支持用户调整。 监控项状态：默认为enable状态，用户可以将监控项设置为disable状态，这样Agent就不会拦截该指标数据，也不会上报数据。 采集状态：采集实例和监控项会有一个采集状态信息。如果出现采集错误，可以通过采集状态查看。常见错误是主键太多，导致客户端数据汇聚异常。 监控项类型 Agent会自动发现系统采集的插件类型，并且将采集器实例化，形成监控项。监控项是实例化在一个环境上的。 由于采集器种类较多，会导致用户区分困难。系统后台会定义一些类型，每种采集器都会归到一种类型下，这样方便用户查看数据。 根据采集器的作用可以将监控项分为以下几种类型： 接口调用：是指外部服务调用当前应用的监控类型。 基础监控：是用来监控系统性能的基础监控指标的监控类型。 异常：用来监控应用的异常信息。 外部调用：是指当前应用调用外部服务的监控类型。 数据库：是对数据库的访问进行监控。 缓存：是对Redis等缓存系统的监控，会采集指令级别的细粒度的指标数据。 web容器：是对tomcat等web容器的监控，一般会采集系统总的处理线程数，busy线程数，连接数等；用于衡量系统总的容量。 消息队列：是对kafka、RabbitMq等消息系统的监控，包含发送端和接收端的监控。在接收端的处理函数，可以产生调用链信息。 通信协议：是对websocket等通信协议的监控。

ctyun.dict.DICT.lpush 函数信息详见下表： 项目 描述 语法 length, err DICT:lpush(keyname, value) 作用 消息队列操作：将string或number从头部插入key的列表中，并返回列表元素的个数。若key不存在则先创建key，存在但不是列表返回nil且err为“value not a list”。 入参 keyname：设置内容的键。 value：设置内容的值。 返回值 length：返回列表元素的个数。 err：将错误信息存放在err中。 示例： applescript 假设全局字典名称为cats local cats ctyun.dict.cats local length, err cats:lpush("Marry", 1) ctyun.dict.DICT.rpush 函数信息详见下表： 项目 描述 语法 length, err DICT:rpush(keyname, value) 作用 消息队列操作：与lpush类似，只是元素会从尾部插入。 入参 keyname：设置内容的键。 value：设置内容的值。 返回值 length：返回列表元素的个数。 err：将错误信息存放在err中。 示例： applescript 假设全局字典名称为cats local cats ctyun.dict.cats local length, err cats:rpush("Marry", 1) ctyun.dict.DICT.lpop 函数信息详见下表： 项目 描述 语法 value, err DICT:lpop(keyname) 作用 消息队列操作：移除并返回key列表的第一个值；若key不存在则返回nil，key存在但不是列表则返回nil且err为“value not a list”。 入参 keyname：设置内容的键。 返回值 value：设置内容的值。 err：将错误信息存放在err中。 示例： applescript 假设全局字典名称为cats local cats ctyun.dict.cats local value, err cats:lpop("Marry")