本文介绍节点重启后消费者如何重连，以Java中使用的RabbitMQ客户端amqpclient为例。 amqpclient自带重连机制，但是自带的重连机制只会重试一次，一次连不上后就不会再执行了，这时如果消费者没有做额外的重试机制，那么这个消费者就彻底丧失的消费能力。 amqpclient在节点断连后，根据与通道建立的节点不同，产生不同的错误。 如果通道连接的是队列所在的节点，消费者就会收到一个shutdown信号，这时amqpclient的重连机制就会生效，尝试重新连接服务端。如果连上了，这个通道就会继续连接消费。如果连不上，就会执行channel.close方法，关闭这个通道。 如果通道连接的不是队列所在的节点，消费者不会触发关闭动作，而是由服务端发送的一个取消动作，这个动作对amqpclient来说并不是异常行为，所以日志上不会有明显的报错，但是连接最终还是会关闭。 amqpclient出现上面两种错误时，会分别回调handleShutdownSignal以及handleCancel方法，您可以通过重写这两种方法，在回调时执行重写的重连逻辑，就能在通道关闭后重新创建消费者的新通道继续消费。 以下提供一个简单的代码示例，能够解决上面的两种错误，实现消费者的持续消费。 import com.rabbitmq.client.; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.concurrent.TimeoutException; public class MyRabbitConsumer { public static void main(String... args) throws IOException, TimeoutException { ConnectionFactory factory new ConnectionFactory(); factory.setHost("192.168.x.x"); factory.setPort(5672); factory.setUsername("name"); factory.setPassword("password"); Connection connection factory.newConnection(); createNewConnection(connection); } public static void createNewConnection(Connection connection) { try { Channel channel connection.createChannel(); channel.basicQos(64); channel.basicConsume("queue1", false, new CustomConsumer(channel, connection)); } catch (Exception e) { createNewConnection(connection); } } static class CustomConsumer implements Consumer { private final Channel channel; private final Connection connection; public CustomConsumer(Channel channel, Connection connection) { channel channel; connection connection; } @Override public void handleConsumeOk(String consumerTag) {} @Override public void handleCancelOk(String consumerTag) {} @Override public void handleCancel(String consumerTag) throws IOException { createNewConnection(connection); } @Override public void handleShutdownSignal(String consumerTag, ShutdownSignalException sig) { createNewConnection(connection); } @Override public void handleRecoverOk(String consumerTag) {} @Override public void handleDelivery(String consumerTag, Envelope env, AMQP.BasicProperties prop, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println("收到消息: " + message); channel.basicAck(env.getDeliveryTag(), false); } } }

问题原因 在CDM界面创建迁移作业，配置DLI目的连接参数时，“资源队列”参数错误选成了DLI的“通用队列”，应该选择DLI的“SQL队列”。 解决方案 1.登录DLI管理控制台，选择“队列管理”，在队列管理界面查看是否有“SQL队列”类型的队列。 −是，执行3。 −否，执行2购买“SQL队列”类型的队列。 2.单击“购买队列”创建队列，其中队列类型选择“SQL队列”，选择其他参数后提交创建。 3.在CDM侧重新配置迁移作业的DLI目的连接参数，其中资源队列”参数选择已创建的DLI“SQL队列”。 4.CDM重新提交迁移作业，查看作业执行日志。 SQL作业访问报错：File not Found 问题现象 执行SQL作业访问报错：File not Found。 解决措施 文件报错找不到，一般是读写冲突产生的，建议查询一下SQL查询报错表的时候，是否有作业正在覆盖写对应数据。 SQL作业访问报错：DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错：DLI.0003: AccessControlException XXX。 解决措施 请查看下AccessControlException写的OBS桶，确认当前账号是否有访问桶的权限。 SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on}: status [403] 问题现象 SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403]。 解决措施 当前账号没有访问该外表所在OBS桶的权限，请添加相应OBS权限再执行该查询。 执行SQL语句报错：The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.

创建队列 第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。 1.登录DLI管理控制台。 2.在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 3.单击“队列管理”页面右上角“创建队列”进行创建队列。 4.创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。 5.单击“立即创建”，完成队列创建。 创建程序包 提交Spark作业之前需要创建程序包，例如“sparkexamples.jar”。 1.在管理控制台左侧，单击“数据管理”>“程序包管理”。 2.在“程序包管理”页面，单击右上角“创建”可创建程序包。 3.在“创建程序包”对话框，“包类型”选择“JAR”，“OBS路径”选择步骤2：上传数据至OBS中“sparkexamples.jar”的包路径，“分组设置”参数选择为“不分组”。 4.单击“确定”，完成创建程序包。 程序包创建成功后，您可以在“程序包管理”页面查看和选择使用对应的包。 创建程序包详细介绍请参考《数据湖探索用户指南》>《创建程序包》。 提交Spark作业 1.在DLI管理控制台，单击左侧导航栏中的“作业管理”>“Spark作业”，单击“创建作业”，进入创建Spark作业页面。 2.在Spark作业编辑页面中，“所属队列”选择步骤4：创建队列中创建的队列，“应用程序”选择步骤5：创建程序包创建的程序包。 其他参数请参考《数据湖探索用户指南》>《创建Spark作业》中关于Spark作业编辑页面的说明。 3.单击Spark作业编辑页面右上方“执行”，阅读并同意隐私协议，单击“确定”。提交作业，页面显示“作业提交成功”。 4.（可选）可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。 说明 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，同意确定后，后续操作将不会再提示。

类型 定义 区别 队列 将集群资源划分给队列，提交给队列的任务将使用volcano进行资源调度；同一集群下的队列之间无法相互借用各自的闲置资源 创建队列 1.默认集群自带默认队列，无需用户创建 2.专属集群资源的使用需要用户创建队列 使用队列 1.在默认工作空间内关联队列，关联后，在默认工作空间内作业可以使用队列资源 (仅默认工作空间可使用队列) 支持范围 1.所有资源池都支持 注：后续产品迭代会逐步取消队列，建议使用资源配额 资源配额 将集群资源在逻辑层面进行了资源配额划分，集群资源划分与资源调度进行了解耦，提交给资源配额的任务将通过资源调度层进行资源调度；根据创建资源配额时的设置，同一集群下的资源配额之间可以进行闲置资源借用 创建资源配额 1.专属集群资源的使用需要用户创建资源配额(默认集群无法使用资源配额，只有默认队列) 使用资源配额 1.在非默认工作空间内关联资源配额，关联后，在非默认工作空间内作业可以使用资源配额资源 (仅非默认工作空间可使用资源配额) 支持范围 1.仅杭州7资源池支持

按需计费的DLI队列，如果没有提交作业运行就不计费？ 按需计费的DLI队列（非专属资源）仅在队列运行作业时计费，按队列的实际CU计费，请注意是队列的实际CUs，非作业运行CUs。 以小时为单位进行结算，不足一小时按一小时计费，小时数按整点计算。 按需计费的DLI队列（专属资源），无论是否运行作业，自创建起按自然小时收费。 数据湖队列什么情况下是空闲状态？ 队列空闲状态是指在DLI 作业管理中，该队列下均无SQL 作业运行，或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行，该自然小时为空闲状态。不会进行计费。 通常按需计费的队列，在空闲1h后计算资源会被释放，再次使用时，需要重新分配计算资源，可能会耗费5~10min时间。 按需计费以小时为单位进行结算。不足一小时按一小时计费，小时数按整点计算。 例如 12:10 ~12:30、12:10 ~12:55 期间使用，则收取1个小时的费用。 如何购买30cus规格资源？ 这种情况，请购买2个16cus规格的队列，不会对业务造成影响。 关于如何购买队列，请参考“创建队列”。 怎样查看DLI的数据扫描量？ 1. 登录DLI管理控制台。 2. 选择“作业管理 > SQL作业”。 3. 筛选执行队列为default队列，查看相应的作业。 4. 单击展开作业，查看已扫描的数据。

本章节主要介绍Spark作业相关问题中有关运维指导的问题。 添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARKPYTHONpython3，指定计算集群环境为Python3环境。 目前，新建集群环境均已默认为Python3环境。 为什么Spark jar 作业 一直处于“提交中”？ Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下： 1. 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 2. 计算剩余CU量。 队列剩余CU量队列CU量 队列CU使用量。 当队列剩余CU量小于用户提交的CU量，则需要等待资源，才能提交成功。

CU设置常见问题 当队列的CU总和等于弹性资源池最小CU时，即弹性资源池当前CU等于最小CU时，怎样修改弹性资源池内现有队列的CU最小值？ 解决方案： 1.通过调大现有队列的CU最大值，使弹性资源池当前CU大于等于目标最小CU（目标最小CU即计划调整后的队列最小CU值总和）。 说明 如果弹性资源池最大CU等于最小CU，请先设置增大弹性资源池的最大CU值。 2.设置弹性资源池的最小CU。 3.调整弹性资源池内现有队列的最小CU。 当队列的CU总和等于弹性资源池最小CU时，即弹性资源池当前CU等于最小CU时，怎样在弹性资源池内添加队列？ 解决方案： 1.通过调大现有队列的CU最大值，使弹性资源池当前CU大于等于目标最小CU（目标最小CU即计划调整后的队列最小CU值总和）。 说明 如果弹性资源池最大CU等于最小CU，请先设置增大弹性资源池的最大CU值。 2.设置弹性资源池的最小CU。 3.在资源池内新增队列。 4.复原 ▪第一步：通过调整现有队列的CU最大值，使弹性资...中调整的队列CU最大值。

IP被DDoS封禁后如何通知到我？多长时间解封？我该如何响应封禁事件？ 天翼云对IP执行DDoS封禁后会通过EIP所属账户的站内信、短信、邮箱渠道进行通知，告知封禁信息。除了账户所有人，您还可在天翼云控制台消息中心消息订阅消息管理安全消息处配置多个消息接收人，比如将您业务的多位值班或运维人员配置到联系人中，此时安全消息短信会通知多个人。 通知信息中包含封禁时间，一般为24小时，根据相关风险可能会延迟或提前，到期自动解封。IP的DDoS封禁实际生效位置在资源池网络之上的骨干网络，会将去往目的IP的流量丢弃，骨干网络操作需消耗较多网络资源，运营商对此设置了操作次数和操作频率方面的限制，因此封禁时间目前较长，造成不便敬请谅解。同时，DDoS攻击持续时间不定，如果在攻击未停止的情况下解除DDoS封禁，IP的攻击流量会再次影响资源池稳定，因此DDoS封禁时间需设置的较长。 在您接收到DDoS封禁通知后，您可首先评估自身业务，若业务确有因竞争、高价值等原因遭受DDoS大流量攻击的可能性和防护需求。建议您购买配置DDoS高防产品。天翼云和其他云厂商均提供有DDoS高防产品，一般可提供高防IP隐藏业务IP、大流量攻击防护和攻击源分析能力，您可选择天翼云或其他第三方DDoS高防产品防护自身在天翼云的业务IP免受DDoS攻击。以天翼云举例，如天翼云“DDoS高防IP”、天翼云“DDoS高防（边缘云版）”等。客户业务IP被资源池外的高防IP保护后，高防IP代替业务IP暴露在公网上，攻击者仅能探知到高防IP并发起DDoS攻击，DDoS攻击流量经过高防IP过滤清洗，清洗后的正常流量回注到业务IP，该回注流量一般情况下不会远超IP购买带宽，不会超过服务器和网络的承受能力，因此不会触发DDoS基础防护的临时封禁。同时请注意，若业务IP历史存在攻击，可能已被攻击者获知，即使配置DDoS高防，攻击者有可能绕过高防IP对业务IP发起攻击，若攻击流量过大，仍会超过DDoS防护阈值，触发封禁，因此建议在配置高防的同时，同步更换业务IP并限制仅能被高防IP访问，实现业务IP隐藏。具体购买和配置请咨询DDoS高防产品对应产品方。 在您完成购买配置天翼云或其他第三方DDoS高防产品防护自身在天翼云的业务IP免受DDoS攻击后，您可通过天翼云工单系统提单，申请提前解封。

本章节主要介绍删除工作负载队列。 删除工作负载队列 1. 登录DWS 管理控制台。 2. 在集群列表中单击需要访问“资源管理”页面的集群名称。 3. 切换至“资源管理”页签。 4. 在左侧“资源池”中单击需要删除的资源池名称。 5. 单击右侧的“删除资源池” 说明 删除队列时如果队列中有关联的数据库用户，那么队列删除后这些用户将被关联默认队列。

扩容/缩容代理规格的过程 在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更，具体过程如下（以3个代理为例介绍）： 1. 停止Broker 0的Kafka进程 2. 扩容/缩容Broker 0的规格 3. 重启Broker 0的Kafka进程 4. 重复1~3，扩容/缩容Broker 1的规格。 5. 重复1~3，扩容/缩容Broker 2的规格。 图 扩容/缩容代理规格过程 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在实例所在行，单击“更多 > 变更规格”，进入“分布式消息服务Kafka变更规格”页面。 步骤 5 根据实际情况选择扩容存储空间、代理数量、代理规格、基准带宽，或者缩容代理规格。 老规格实例扩容步骤如下： 扩容基准带宽。 在“规格”中，选择扩容后的带宽，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的带宽大小。 说明 扩容带宽是通过扩容代理实现的，原来代理不受影响，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容基准带宽时，需要为新扩容的代理设置弹性IP地址。 扩容基准带宽，可以扩大总分区数。 扩容存储空间。 在“存储空间”中，选择扩容后的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的存储空间大小。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 新规格实例扩容步骤如下： 扩容存储空间。 在“变更配置”中，选择“存储空间”，在“单个代理存储空间”中，选择扩容后的单个代理的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的总存储空间大小（即扩容后的单个代理的存储空间代理个数）。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 扩容代理数量。 在“变更配置”中，选择“代理数量”，在“代理数量”中，选择扩容后的代理个数，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的代理个数。 说明 扩容代理数量不会影响原来的代理，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容代理数量时，需要为新扩容的代理设置弹性IP地址。 扩容代理数量，可以扩大总分区数。 扩容/缩容代理规格。 在“变更配置”中，选择“代理规格”，在“代理规格”中，选择扩容/缩容后的代理规格，单击“下一步”。确认扩容/缩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容/缩容后的代理规格。 说明 扩容/缩容代理规格的过程中，节点会重启，可能造成闪断，生产客户端需要配置重试机制。 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息。

适用场景 客户在应用托管中部署自研应用/第三方模型，与现有弹性云主机、数据库等云资源联动协同，实现完整复杂业务流程。 产品优势 资源协同，性能高效：共池内网打通，应用托管与弹性云主机、数据库、消息队列等云服务实现低延迟、高带宽内网通信，同时内网访问更具安全保障 业务整合成本低：已有公有云用户可直接复用弹性云主机、数据库等云上资源，无需额外迁移 / 重构，快速搭建完整业务架构，降低整合成本 部署灵活，场景覆盖广：支持自定义模型服务、MCP Server、智能体应用、自定义业务应用等多类型部署，结合丰富的云产品，满足业务的全场景需求 Aone 赋能应用与企业内网网络打通 适用场景 当企业同时使用公有云的应用托管服务和企业内网的各类系统时，需要实现两者之间的安全网络连通 产品优势 网络连通性优势：Aone 打通公有云应用与企业内网网络，保障安全稳定，实现公有云应用本地式访问企业内网资源，破解跨网资源访问壁垒 资源整合优势：整合公有云的应用托管能力和企业内网系统资源，实现资源的高效利用和协同工作，提升企业整体 IT 架构的运行效率：安全性优势 在打通网络的同时，保障了企业内网资源的安全访问，避免了因网络开放带来的安全风险，满足企业对数据和系统安全性的高要求

OpenSearch Dashboards OpenSearch Dashboards提供了直观的可用于创建、共享、交互式的开发、运维数据分析平台。与OpenSearch搭配使用，并提供角色基础访问控制能力。文内或简称为Dashboards。 支持多用户角色的权限管理 支持包括甘特图在内的多种数据呈现方式 支持多种数据统计方式 支持高阶的索引管理能力 支持通知告警功能 支持基于SQL的查询能力 支持CSV、PDF、Excel等文件的报告生成功能 Logstash Logstash是数据管道服务，通过可扩展的输入、过滤和输出体系，实时采集、转换和加载多源异构数据，并灵活对接各类存储与分析平台，是ELK（Elastic Stack）生态的核心组件之一。天翼云提供的全托管的Logstash服务，支持一键部署、可视化管道配置和数据管道集中管理。 支持文件、数据库、消息队列等多种数据源采集 支持灵活的数据处理，如字段提取、数据脱敏等 内置健康检查机制，支持通过API或可视化界面监控数据管道运行状态 Cerebro Cerebro 是一个功能强大且易于使用的云搜索服务管理工具，适合开发、运维和数据分析等多种场景。通过Cerebro可以对实例进行Web可视化管理，如监控实时的磁盘、集群负载、内存使用率等，通过其直观的界面和丰富的功能，用户可以更高效地管理和监控云搜索实例。云搜索服务兼容开源Cerebro，适配0.9.4。 支持可视化数据管理 支持监控实例实时负载

介绍分布式消息服务RabbitMQ删除虚拟主机的操作内容。 场景描述 在RabbitMQ中，删除虚拟主机（Virtual Host）的场景描述如下： 应用迁移或清理：当需要迁移应用或进行系统清理时，可能需要删除不再使用的虚拟主机。例如，如果某个应用已经停用或迁移到其他环境，可以删除相关的虚拟主机，以释放资源和减少管理工作。 安全审计和合规性要求：根据安全审计和合规性要求，可能需要删除不再需要的虚拟主机。例如，当某个虚拟主机涉及敏感数据或权限配置存在问题时，可以选择删除该虚拟主机以避免安全风险。 故障处理和恢复：在某些情况下，当虚拟主机发生故障或出现严重问题时，可能需要删除虚拟主机并重新创建。这可以作为一种故障处理和恢复的手段，以解决虚拟主机相关的问题并恢复正常运行。 系统资源管理和优化：如果虚拟主机过多或占用了过多的系统资源，可能需要删除一些不再使用或不需要的虚拟主机。这有助于优化系统资源的利用和提高整体性能。 需要注意的是，在删除虚拟主机之前，务必确保相关的队列、交换机和绑定等对象已经被删除或迁移。否则，删除虚拟主机可能会导致数据丢失或系统异常。 操作步骤 （1）在虚拟主机管理页面，在目标虚拟主机行点击“删除”，即可删除虚拟主机。 注意事项： 删除虚拟主机会删除该虚拟主机内所有数据且不可恢复，请谨慎操作。

参数 说明 管道名称 自定义管道名称，实例内不可重复 管道描述 作业管道的描述信息，非必填 管道工作线程数 并行执行管道的Filters和Outputs阶段的工作线程数。 管道批处理大小 每个批次处理的最大事件数量 管道批处理延迟 当管道批处理大小不满足时，每个批次最大的等待时间，单位为毫秒 队列类型 用于事件缓冲的排队模型，可选值为： memory：基于内存的队列 persisted：基于磁盘的持久化队列 队列最大字节数 当选择 persisted 队列类型时，队列中可存放的最大字节数量，需确保该值小于实例单节点的磁盘容量 队列检查点写入数 当选择 persisted 队列类型时，在强制执行检查点时已写入的最大的事件数量，若设置为0，则表示无限制

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。

ssl生产消息 plaintext package main import ( "crypto/tls" "crypto/x509" "flag" "fmt" amqp "github.com/rabbitmq/amqp091go" "io/ioutil" "log" ) var ( uri flag.String("uri", "amqps://USERNAME:PASSWORD@10.10.33.196:5671", "AMQP URI") exchangeName flag.String("exchange", "goexchange", "Durable AMQP exchange name") exchangeType flag.String("exchangetype", "direct", "Exchange type directfanouttopicxcustom") routingKey flag.String("key", "testkey", "AMQP routing key") body flag.String("body", "foobar", "Body of message") reliable flag.Bool("reliable", true, "Wait for the publisher confirmation before exiting") ) func init() { flag.Parse() } func main() { if err : publish(uri, exchangeName, exchangeType, routingKey, body, reliable); err ! nil { log.Fatalf("%s", err) } log.Printf("published %dB OK", len(body)) } func publish(amqpsURI, exchange, exchangeType, routingKey, body string, reliable bool) error { caCert, err : ioutil.ReadFile("D:tmphzmqtest0520rabbitmqsslclientcacertificate.pem") if err ! nil { return err } cert, err : tls.LoadX509KeyPair("D:tmphzmqtest0520rabbitmqsslclientclientrabbitmqcertificate.pem", "D:tmphzmqtest0520rabbitmqsslclientclientrabbitmqkey.pem") if err ! nil { return err } rootCAs : x509.NewCertPool() rootCAs.AppendCertsFromPEM(caCert) tlsConf : &tls.Config{ RootCAs: rootCAs, Certificates: []tls.Certificate{cert}, //ServerName: "localhost", // Optional InsecureSkipVerify: true, } connection, err : amqp.DialTLS(amqpsURI, tlsConf) if err ! nil { return fmt.Errorf("Dial: %s", err) } defer connection.Close() log.Printf("got Connection, getting Channel") channel, err : connection.Channel() if err ! nil { return fmt.Errorf("Channel: %s", err) } log.Printf("got Channel, declaring %q Exchange (%q)", exchangeType, exchange) if err : channel.ExchangeDeclare( exchange, // name exchangeType, // type true, // durable false, // autodeleted false, // internal false, // noWait nil, // arguments ); err ! nil { return fmt.Errorf("Exchange Declare: %s", err) } // Reliable publisher confirms require confirm.select support from the // connection. if reliable { log.Printf("enabling publishing confirms.") if err : channel.Confirm(false); err ! nil { return fmt.Errorf("Channel could not be put into confirm mode: %s", err) } confirms : channel.NotifyPublish(make(chan amqp.Confirmation, 1)) defer confirmOne(confirms) } log.Printf("declared Exchange, publishing %dB body (%q)", len(body), body) if err channel.Publish( exchange, // publish to an exchange routingKey, // routing to 0 or more queues false, // mandatory false, // immediate amqp.Publishing{ Headers: amqp.Table{}, ContentType: "text/plain", ContentEncoding: "", Body: []byte(body), DeliveryMode: amqp.Transient, // 1nonpersistent, 2persistent Priority: 0, // 09 }, ); err ! nil { return fmt.Errorf("Exchange Publish: %s", err) } return nil } func confirmOne(confirms

来自：

帮助文档

分布式消息服务RabbitMQ

开发指南

Go

本文为您介绍如何在科研助手中删除队列。 删除步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【资源配额】中的【队列管理】。 3. 选择一个队列，在右边单击【删除】。 4. 在二次确认的弹框输入框中输入“确认删除“，并且点击【确认 】完成删除。队列下没有作业任务和开发机任务时才可删除成功。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常 (exception，RabbitMqConsumer调用的异常信息统计。) exceptionType 异常类型 异常类型 ENUM LAST 异常 (exception，RabbitMqConsumer调用的异常信息统计。) causeType 异常类 发生异常的类 ENUM LAST 异常 (exception，RabbitMqConsumer调用的异常信息统计。) count 次数 该异常的发生次数 INT SUM 异常 (exception，RabbitMqConsumer调用的异常信息统计。) message 异常消息 该异常产生的异常消息 STRING LAST 异常 (exception，RabbitMqConsumer调用的异常信息统计。) stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） pushConsumeIdentifier identifier 推模式消费标识 ENUM LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） concurrentMax 最大并发 消费消息最大并发 INT MAX 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） errorCount 错误次数 消费消息的错误次数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） invokeCount invokeCount Consume调用次数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） consumedMsgCount consumedMsgCount 消费消息数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） consumedBytes 消费字节数 消费字节数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） maxSingleMsgBytes 单次消费最大字节数 单次消费最大字节数 INT MAX 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） manualAckCount ack消息数 ack消息数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） rejectCount reject消息数 reject消息数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） requeueCount requeue消息数 requeue消息数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） lastError 错误信息 消费消息发生错误产生的错误信息 STRING LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） maxTime 最大响应时间 消费消息的最大响应时间 INT MAX 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） runningCount 正在执行数 采集时间点正在执行的消费消息数量 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） totalTime 总响应时间 消费消息的总响应时间 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range5 110s 响应时间在110s范围请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM 推模式消费维度监控（pushConsume，以推模式为维度统计消息消费详情。） unackedMsgCount 未确认消息数(Channel) 该channel中未确认的消息数 INT LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） connection connection consumer连接信息 ENUM LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） connectionCount 当前连接数 当前连接数 INT LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） channelCount 当前Channel数 当前Channel数 INT LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） connectionCreated 创建连接数 创建连接数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） connectionClosed 销毁连接数 销毁连接数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） channelCreated 创建Channel数 创建Channel数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） channelClosed 销毁Channel数 销毁Channel数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） concurrentMax 最大并发 消费消息最大并发 INT MAX connection监控（connectionConsume，以connection为维度统计消息消费详情。） errorCount 错误次数 消费消息的错误次数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） invokeCount invokeCount Consume调用次数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） consumedMsgCount consumedMsgCount 消费消息数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） consumedBytes 消费字节数 消费字节数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） maxSingleMsgBytes 单次消费最大字节数 单次消费最大字节数 INT MAX connection监控（connectionConsume，以connection为维度统计消息消费详情。） manualAckCount ack消息数 ack消息数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） rejectCount reject消息数 reject消息数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） requeueCount requeue消息数 requeue消息数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） lastError 错误信息 消费消息发生错误产生的错误信息 STRING LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） maxTime 最大响应时间 消费消息的最大响应时间 INT MAX connection监控（connectionConsume，以connection为维度统计消息消费详情。） runningCount 正在执行数 采集时间点正在执行的消费消息数量 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST connection监控（connectionConsume，以connection为维度统计消息消费详情。） totalTime 总响应时间 消费消息的总响应时间 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range5 110s 响应时间在110s范围请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM connection监控（connectionConsume，以connection为维度统计消息消费详情。） unackedMsgCount 未确认消息数 该连接中未确认的消息数 INT LAST total监控（total，以客户端为维度统计消息消费详情。） concurrentMax 最大并发 消费消息最大并发 INT MAX total监控（total，以客户端为维度统计消息消费详情。） errorCount 错误次数 消费消息的错误次数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST total监控（total，以客户端为维度统计消息消费详情。） invokeCount invokeCount Consume调用次数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） consumedMsgCount consumedMsgCount 消费消息数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） consumedBytes 消费字节数 消费字节数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） maxSingleMsgBytes 单次消费最大字节数 单次消费最大字节数 INT MAX total监控（total，以客户端为维度统计消息消费详情。） manualAckCount ack消息数 ack消息数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） rejectCount reject消息数 reject消息数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） requeueCount requeue消息数 requeue消息数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） lastError 错误信息 消费消息发生错误产生的错误信息 STRING LAST total监控（total，以客户端为维度统计消息消费详情。） maxTime 最大响应时间 消费消息的最大响应时间 INT MAX total监控（total，以客户端为维度统计消息消费详情。） runningCount 正在执行数 采集时间点正在执行的消费消息数量 INT SUM total监控（total，以客户端为维度统计消息消费详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST total监控（total，以客户端为维度统计消息消费详情。） totalTime 总响应时间 消费消息的总响应时间 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range5 110s 响应时间在110s范围请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM total监控（total，以客户端为维度统计消息消费详情。） unackedMsgCount 未确认消息数 该客户端中未确认的消息数 INT LAST

本章节主要介绍翼MapReduce的动态资源操作。 简介 Yarn是大数据集群中的分布式资源管理服务，大数据集群为Yarn分配资源，资源总量可配置。Yarn内部为任务队列进一步分配和调度计算资源。对于Mapreduce、Spark、Flink和Hive的任务队列，计算资源完全由Yarn来分配和调度。 Yarn任务队列是计算资源分配的基本单位。 对于租户，通过Yarn任务队列申请到的资源是动态资源。用户可以动态创建并修改任务队列的配额，可以查看任务队列的使用状态和使用统计。 资源池 现代企业IT经常会面对纷繁复杂的集群环境和上层需求。例如以下业务场景： 集群异构，集群中各个节点的计算速度、存储容量和网络性能存在差异，需要把复杂应用的所有任务按照需求，合理地分配到各个计算节点上。 计算分离，多个部门需要数据共享，但是需要把计算完全分离在不同的计算节点上。 这就要求对计算资源的节点进一步分区。 资源池用来指定动态资源的配置。Yarn任务队列和资源池关联，可实现资源的分配和调度。 一个租户只能设置一个默认资源池。用户通过绑定租户相关的角色，来使用该租户资源池的资源。若需要使用多个资源池的资源，可通过绑定多个租户相关的角色实现。 调度机制 Yarn动态资源支持标签调度（Label Based Scheduling）策略，此策略通过为计算节点（Yarn NodeManager）创建标签（Label），将具有相同标签的计算节点添加到同一个资源池中，Yarn根据任务队列对资源的需求，将任务队列和有相应标签的资源池动态关联。 例如，集群中有40个以上的节点，根据各节点的硬件和网络配置，分别用Normal、HighCPU、HighMEM、HighIO为四类节点创建标签，添加到四个资源池中，资源池中的各节点性能如下表所示。 不同资源池中的各节点性能 标签名 节点数 硬件和网络配置 添加到 关联 Normal 10 一般 资源池A 普通的任务队列 HighCPU 10 高性能CPU 资源池B 计算密集型的任务队列 HighMEM 10 大量内存 资源池C 内存密集型的任务队列 HighIO 10 高性能网络 资源池D IO密集型的任务队列 任务队列只能使用所关联的资源池里的计算节点。 普通的任务队列关联资源池A，使用硬件和网络配置一般的Normal节点。 计算密集型的任务队列关联资源池B，使用具有高性能CPU的HighCPU节点。 内存密集型的任务队列关联资源池C，使用具有大量内存的HighMEM节点。 IO密集型的任务队列关联资源池D，使用具有高性能网络的HighIO节点。 Yarn任务队列与特定的资源池关联，可以更有效地使用资源，保证节点性能充足且互不影响。 FusionInsight Manager中最多支持添加50个资源池。系统默认包含一个默认资源池。

用户 数据工程师A （游戏数据分析） 数据工程师B （音乐数据分析） 队列 队列A（队列使用权限） 队列B（队列使用权限） 数据（表） gameTable（表管理和使用权限） musicTable（表管理和使用权限） 数据（表） userTable（表管理和使用权限） userTable（表查询权限）

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。

本节介绍分布式消息服务Kafka计费类常见问题 可以购买哪些版本？ 不同资源池可购买的版本、规格不一致，具体请查看产品规格说明 （1）华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 可以选购Kafka引擎，选择主机类型、节点规格、节点数和存储空间。 （2）芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 可以选购高级版和基础版两个版本。 到期后如何续费？ 在集群列表中点击“续费”，进入购买时长页面，购买成功后自动续费。 手动续订：对于包年/包月订购的分布式缓存服务，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 产品订购时可选资源池节点不一致？ 已上线资源池节点的剩余容量达到一定比例后，为确保老客户权益，将不再面向新客户开放，产品订购时的可选资源节点范围以实际为准。

本节介绍分布式消息服务Kafka的产品规格，以便您正确理解和使用。 Kafka实例规格 （1）以下规格适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 节点 注意 通用型规格已调整为白名单特性，如需了解该规格参数请联系技术支持。 单机版实例面向用户体验和业务测试场景，无法保证性能和高可用。如果需要在生产环境使用Kafka实例，建议购买集群版实例。 集群版 Intel计算增强型 实例规格 代理个数 单个代理TPS 单个代理分区上限 单个代理建议主题数 单个代理建议消费组数 单个代理客户端总连接数上限 存储空间范围 单个代理流量规格（MB/S） kafka.2u4g.cluster 350 30000 250 250 20 2000 300500000GB 100 kafka.4u8g.cluster 350 100000 500 500 100 4000 300500000GB 200 kafka.8u16g.cluster 350 150000 1000 1000 150 4000 300500000GB 375 kafka.12u24g.cluster 350 200000 1500 1500 200 4000 300500000GB 625 kafka.16u32g.cluster 350 250000 2000 2000 200 4000 300500000GB 750 kafka.24u48g.cluster 350 250000 2000 2000 200 4000 300500000GB 1125 kafka.32u64g.cluster 350 250000 2000 2000 200 4000 300500000GB 1500 kafka.48u96g.cluster 350 250000 2000 2000 200 4000 300500000GB 2250 kafka.64u128g.cluster 350 250000 2000 2000 200 4000 300500000GB 3000

本文主要介绍 修改配置参数。 操作场景 分布式消息服务Kafka为实例、Topic、消费者提供了几个常用配置参数的默认值，您可以根据实际业务需求，在控制台自行修改参数值。其他在控制台未列出的配置参数，请参考Kafka配置进行修改。 1.1.0版本实例的参数都为静态参数，2.3.0/2.7版本实例的参数分为动态参数和静态参数： 动态参数：动态参数修改成功后，无需重启实例，立即生效。 静态参数：静态参数修改成功后，需要手动重启实例才能生效。 说明 部分老实例不支持修改配置参数，具体以控制台为准，此时请联系客服解决。 前提条件 Kafka实例的状态为“运行中”时，才能修改配置参数。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称，进入实例详情页面。 步骤 5 在“配置参数”页签，在待修改参数所在行，单击“编辑”，修改配置参数。1.1.0版本实例的参数说明如下表所示，2.3.0/2.7版本实例的参数说明如下表所示。 表动态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true 表 静态参数说明（1.1.0版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 表动态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 min.insync.replicas 当producer将acks设置为“all”(或“1”)时，此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度（单位：字节）。 0 ~ 10485760 10485760 auto.create.groups.enable 是否开启自动创建消费组功能。 true/false true max.connections.per.ip 每个IP允许的最大连接数。超过此连接数的连接请求将被丢弃。 100 ~ 20000 1000 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段，即使这样做可能导致数据丢失。 true/false true 表静态参数说明（2.3.0/2.7版本） 参数 参数说明 参数范围 默认值 connections.max.idle.ms 此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 600000 log.retention.hours 日志文件最大保存时间。单位为小时。如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~ 168 72 group.max.session.timeout.ms consumer允许的最大会话超时时间，单位为ms。超时时间越长，consumer就能在心跳探测周期内有更多时间处理消息，但也会使故障检测花费更长时间。 6000 ~ 1800000 1800000 default.replication.factor 自动创建Topic时的默认副本个数。 1 ~ 3 3 num.partitions 自动创建Topic时的默认分区数。 1 ~ 100 3 group.min.session.timeout.ms consumer允许的最小会话超时时间，单位为ms。超时时间越短，consumer的心跳探测越频繁，可以使故障检测更快，但会导致broker被抢占更多的资源。 6000 ~ 300000 6000 说明 如果需要批量修改参数，单击“批量编辑”，可以一次性编辑多个动态参数或静态参数的运行值。 如果需要恢复默认值，在待修改参数后，单击“恢复默认”。 步骤 6 单击“保存”，完成参数的修改。 说明 动态参数修改成功后，无需重启实例，立即生效。 静态参数修改成功后，需要手动重启实例才能生效。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 异常（exception，RabbitMqProducer调用的异常信息统计。） exceptionType 异常类型 异常类型 ENUM LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） causeType 异常类 发生异常的类 ENUM LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） count 次数 该异常的发生次数 INT SUM 异常（exception，RabbitMqProducer调用的异常信息统计。） message 异常消息 该异常产生的异常消息 STRING LAST 异常（exception，RabbitMqProducer调用的异常信息统计。） stackTrace 异常堆栈 该异常产生的堆栈信息 CLOB LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） connection connection producer连接信息 ENUM LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） exchange exchange exchange名 ENUM LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） concurrentMax 最大并发 推送消息最大并发 INT MAX exchange监控（exchangePublish，以exchange为维度统计消息推送详情） errorCount 错误次数 推送消息的错误次数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） invokeCount invokeCount Publish调用次数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） publishedMsgCount publishedMsgCount 推送消息数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） publishedBytes 推送字节数 推送字节数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） maxSingleMsgBytes 单次推送最大字节数 单次推送最大字节数 INT MAX exchange监控（exchangePublish，以exchange为维度统计消息推送详情） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX exchange监控（exchangePublish，以exchange为维度统计消息推送详情） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST exchange监控（exchangePublish，以exchange为维度统计消息推送详情） totalTime 总响应时间 推送消息的总响应时间 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range1 010ms 响应时间在010ms范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range2 10100ms 响应时间在10100ms范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range3 100200ms 响应时间在100200ms范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range5 110s 响应时间在110s范围请求数 INT SUM exchange监控（exchangePublish，以exchange为维度统计消息推送详情） range6 10s以上 响应时间在10s以上请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） connection connection producer连接信息 ENUM LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） connectionCount 当前连接数 当前连接数 INT LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） channelCount 当前Channel数 当前Channel数 INT LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） connectionCreated 创建连接数 创建连接数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） connectionClosed 销毁连接数 销毁连接数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） channelCreated 创建Channel数 创建Channel数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） channelClosed 销毁Channel数 销毁Channel数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX connection监控（connectionPublish，以connection为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） maxSingleMsgBytes 单次推送最大字节数 单次推送最大字节数 INT MAX connection监控（connectionPublish，以connection为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX connection监控（connectionPublish，以connection为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST connection监控（connectionPublish，以connection为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM connection监控（connectionPublish，以connection为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） concurrentMax 最大并发 推送消息最大并发 INT MAX total监控（total，以客户端为维度统计消息推送详情。） errorCount 错误次数 推送消息的错误次数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST total监控（total，以客户端为维度统计消息推送详情。） invokeCount invokeCount Publish调用次数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） publishedMsgCount publishedMsgCount 推送消息数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） publishedBytes 推送字节数 推送字节数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） maxSingleMsgBytes 单次推送最大字节数 单次推送最大字节数 INT MAX total监控（total，以客户端为维度统计消息推送详情。） lastError 错误信息 推送消息发生错误产生的错误信息 STRING LAST total监控（total，以客户端为维度统计消息推送详情。） maxTime 最大响应时间 推送消息的最大响应时间 INT MAX total监控（total，以客户端为维度统计消息推送详情。） runningCount 正在执行数 采集时间点正在执行的推送消息数量 INT SUM total监控（total，以客户端为维度统计消息推送详情。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST total监控（total，以客户端为维度统计消息推送详情。） totalTime 总响应时间 推送消息的总响应时间 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range1 010ms 响应时间在010ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range3 100200ms 响应时间在100200ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range4 2001000ms 响应时间在2001000ms范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range5 110s 响应时间在110s范围请求数 INT SUM total监控（total，以客户端为维度统计消息推送详情。） range6 10s以上 响应时间在10s以上请求数 INT SUM

创建弹性资源池 1.登录DLI管理控制台，在左侧导航栏单击“资源管理 > 弹性资源池”，可进入弹性资源池管理页面。 2.在弹性资源池管理界面，单击界面右上角的“购买弹性资源池”。 3. 在“购买弹性资源池”界面，填写具体的弹性资源池参数，具体参数填写参考如下。 −名称：填写具体的弹性资源池名称。例如设置为：pooltest。 −CU范围：弹性资源池扩缩容的CU范围。 −网段：配置弹性资源池网段。例如当前配置为172.16.0.0/18。 −其他参数根据需要选择和配置。 详细的弹性资源池创建流程可以参考创建弹性资源池。 4.参数填写完成后，单击“立即购买”，确认配置信息无误后，单击“提交”完成弹性资源池创建。 5.弹性资源池创建任务提交后，会在弹性资源池管理界面的“状态”列显示当前资源池的创建状态，当状态显示为“可使用”时表示资源池可以正常使用。 添加队列到弹性资源池 1.在已创建的弹性资源池的“操作”列，单击“添加队列”进入弹性资源池添加的队列的操作界面。 2.首先配置弹性资源池队列的基本信息，具体参数参考如下。 −名称：添加的队列的名称。 −类型：根据作业需要选择队列类型。本示例选择为：通用队列。 SQL队列类型：用于运行Spark SQL和Trino作业。 通用队列类型：用于运行Flink和Spark Jar作业。 −其他参数请根据需要配置。 3.配置完基本参数后，单击“下一步”，在队列的扩缩容策略配置界面，修改扩缩容策略配置：最小CU：64、最大CU：64。 4.单击“确定”完成添加队列操作。

本文主要介绍概述 概述 APM Agent会周期性采集一些性能指标数据，用来衡量应用的总体健康状况。可以采集JVM、GC、服务调用、异常、外部调用、数据库访问以及其他中间件的指标调用等数据，帮助用户全面掌握应用的运行情况。 APM对指标数据的采集有严格的定义，每一种采集的数据类型对应一个采集器，比如采集java应用的JVM数据，那么对应有JVM采集器，一个采集器会采集多个指标集的数据。 采集器被部署到环境后形成监控项，在数据采集的时候监控项决定了采集的数据结构和采集行为。 采集周期：监控项具有数据采集器的周期属性。当前数据采集周期为一分钟，不支持用户调整。 监控项状态：默认为enable状态，用户可以将监控项设置为disable状态，这样Agent就不会拦截该指标数据，也不会上报数据。 采集状态：采集实例和监控项会有一个采集状态信息。如果出现采集错误，可以通过采集状态查看。常见错误是主键太多，导致客户端数据汇聚异常。 监控项类型 Agent会自动发现系统采集的插件类型，并且将采集器实例化，形成监控项。监控项是实例化在一个环境上的。 由于采集器种类较多，会导致用户区分困难。系统后台会定义一些类型，每种采集器都会归到一种类型下，这样方便用户查看数据。 根据采集器的作用可以将监控项分为以下几种类型： 接口调用：是指外部服务调用当前应用的监控类型。 基础监控：是用来监控系统性能的基础监控指标的监控类型。 异常：用来监控应用的异常信息。 外部调用：是指当前应用调用外部服务的监控类型。 数据库：是对数据库的访问进行监控。 缓存：是对Redis等缓存系统的监控，会采集指令级别的细粒度的指标数据。 web容器：是对tomcat等web容器的监控，一般会采集系统总的处理线程数，busy线程数，连接数等；用于衡量系统总的容量。 消息队列：是对kafka、RabbitMq等消息系统的监控，包含发送端和接收端的监控。在接收端的处理函数，可以产生调用链信息。 通信协议：是对websocket等通信协议的监控。

生产者指标 指标名称 指标说明 单位 生产TPS 统计Topic的消息生产速率，计算方式：1分钟内的最大值 条/秒 生产消息量峰值 统计消息生产速率的最大值 条/秒 累计生产消息量 统计所选时间段内所选topic累计生产的消息总量 条 消费者指标 指标名称 指标说明 单位 处理中消息量 计算选定的topic和group当前消费者客户端正在消费但是还没有返回消费成功响应到服务端的消息数。 条 已就绪消息量 计算选定的topic和group当前在服务端已经就绪可以被消费消费的消息总量，这部分消息消费者客户端还没有开始消费。 条 堆积消息量 计算选定topic和group当前消息堆积总量，包括处理中消息和已就绪消息。 条 已就绪消息排队时间 计算选定的topic和group最早一条就绪消息的就绪时间和当前时间差，数值面板展示取选定时间段内统计的最大值展示，曲线面板展示选定时间范围的序列值，当该订阅组没有在线时，该值不显示。该指标可以观测还未被处理的消息的延迟时间大小，适用于对消息延时时间比较敏感的业务场景。 毫秒，但随着数值增大会自适应变换单位 消息消费速率 计算选定topic和Group消费消息的速率。 条/秒 消费者速率峰值 计算所选定topic以及group的消息消费速率的最大值。 条/秒 消费堆积量 包含上面的堆积消息量，处理中消息量，已就绪消息量，以曲线的形式展示。 条 消息消费处理耗时 计算所选topic以及group消费时，从消息开始被消费到消费完成的处理耗时。 毫秒 消息生产速率 top20 topics 展示消息生产速率最高的前20个Topic生产速率曲线。 条/秒 消息消费速率 top20 groups 展示消息消费速率最高的前20个group消费速率曲线。 条/秒 已就绪消息量 top20 Groups 计算已就绪消息量最大的前20个Group。 条 已就绪消息排队时间 top20 Groups 计算已就绪消息量最大的前20个Group。 条 堆积消息量（包含已就绪消息以及处理中消息）top20 group 统计堆积的消息量最多的前20个Group。 条 处理中消息量 top20 Groups 计算处理中的消息量最多的前20个Group。 条 消费处理耗时 top20 Groups 计算消费处理耗时最长的前20个Group。 毫秒

一键自动修复 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 勾选漏洞列表中所有需要修复的漏洞，单击漏洞列表左上角的“批量修复”，一键批量修复漏洞。 4. 在修复对话框中，确认待修复的漏洞数量和影响资产数量、选择修复所需软件源。 您可以在修复对话框中查看修复命令、查看影响服务器数量。软件源支持清华软件源、华为云软件源、阿里云软件源，也可以自配置软件源。若选择自配置软件源，请务必确认已在服务器上配置好对应操作系统发行版的软件源（如 yum、zypper、aptget 或 emerge 等包管理工具对应的软件源）。 5. 单击“确定”，开始自动修复漏洞。 6. 修复完成后，建议您立即重新扫描漏洞，验证修复结果。 手动修复漏洞 您可以参考漏洞详情页面的修复建议，登录服务器手动修复漏洞。 说明 漏洞修复完成后需要手动重启服务器，否则系统仍可能为您推送漏洞消息。 不同的漏洞请根据修复建议依次进行修复。 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 单击“漏洞名称”链接、或操作列的“查看详情”，跳转至漏洞详情页面。 4. 在漏洞详情页面可以看到漏洞修复建议。 5. 登录漏洞影响的服务器，根据修复建议进行修复。 6. 修复完成后，建议您立即重新扫描漏洞，验证修复结果。

参数 类型 默认值 说明 autoReconnect boolean true 连接断开后，是否自动发起重连， 建议值：true pingBeforeActivateConnection boolean true 连接创建后，是否通过ping/pong校验连接可用性， 建议值：true cancelCommandsOnReconnectFailure boolean true 连接重连失败时，是否取消队列中的命令， 建议值：false disconnectedBehavior DisconnectedBehavior DisconnectedBehavior.DEFAULT 连接断开时的行为， 建议值：ACCEPTCOMMANDS DEFAULT：当autoReconnect为true时，允许命令进入队列等待，当autoReconnect为false时，禁止命令进入队列等待 ACCPETCOMMANDS：允许命令进入队列等待 REJECTCOMMANDS：禁止命令进入队列等待 socketOptions SocketOptions 网络配置项

本章节主要介绍翼MR Manager的租户与资源特性。 翼MR Manager提供的租户与资源主要包含：LDAP租户管理、Kerberos安全凭证、YARN队列管理、HBase数据库管理。 前置操作 使用租户与管理功能，需要进入Manager页面，操作步骤如下： 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 租户与资源功能介绍 LDAP租户管理 进入到翼MR Manager以后，点击菜单“租户与资源 > LDAP租户管理”，进入LDAP租户管理页面。如图所示： 支持查看LDAP中的租户和租户组。 支持新增租户、租户组。 支持为租户关联租户组、租户组关联租户以及取消关联关系。 支持以租户为维度的Principal管理以及Keytab的分发。 Kerberos安全凭证 进入到翼MR Manager以后，点击菜单“租户与资源 > Kerberos安全凭证”，进入Kerberos安全凭证页面。如图所示： 支持新建Principal、删除Principal。 支持Keytab分发与下载，并支持查看Keytab的分发记录。 YARN队列管理 进入到翼MR Manager以后，点击菜单“租户与资源 > YARN队列管理”，进入YARN队列管理页面。如图所示: 支持YARN队列新建、编辑与删除。 支持YARN队列启动与停止。 支持YARN队列容量设置和YARN队列授权。 支持YARN队列capacityscheduler.xml的全局属性配置。 支持YARN队列的同步生效并支持查看同步生效记录。

资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant Administrator DLI Service Admin 队列 DROPQUEUE 删除队列 √ × √ √ 队列 SUBMITJOB 提交作业 √ × √ √ 队列 CANCELJOB 终止作业 √ × √ √ 队列 RESTART 重启队列 √ × √ √ 队列 GRANTPRIVILEGE 队列的赋权 √ × √ √ 队列 REVOKEPRIVILEGE 队列权限的回收 √ × √ √ 队列 SHOWPRIVILEGES 查看其他用户具备的队列权限 √ × √ √ 数据库 DROPDATABASE 删除数据库 √ × √ √ 数据库 CREATETABLE 创建表 √ × √ √ 数据库 CREATEVIEW 创建视图 √ × √ √ 数据库 EXPLAIN 将SQL语句解释为执行计划 √ × √ √ 数据库 CREATEROLE 创建角色 √ × √ √ 数据库 DROPROLE 删除角色 √ × √ √ 数据库 SHOWROLES 显示角色 √ × √ √ 数据库 GRANTROLE 绑定角色 √ × √ √ 数据库 REVOKEROLE 解除角色绑定 √ × √ √ 数据库 SHOWUSERS 显示所有角色和用户的绑定关系 √ × √ √ 数据库 GRANTPRIVILEGE 数据库的赋权 √ × √ √ 数据库 REVOKEPRIVILEGE 数据库权限的回收 √ × √ √ 数据库 SHOWPRIVILEGES 查看其他用户具备的数据库权限 √ × √ √ 数据库 DISPLAYALLTABLES 显示数据库中的表信息 √ × √ √ 数据库 DISPLAYDATABASE 显示数据库信息 √ × √ √ 数据库 CREATEFUNCTION 创建函数 √ × √ √ 数据库 DROPFUNCTION 删除函数 √ × √ √ 数据库 SHOWFUNCTIONS 显示所有函数 √ × √ √ 数据库 DESCRIBEFUNCTION 显示函数详情 √ × √ √ 表 DROPTABLE 删除表 √ × √ √ 表 SELECT 查询表 √ × √ √ 表 INSERTINTOTABLE 插入 √ × √ √ 表 ALTERTABLEADDCOLUMNS 添加列 √ × √ √ 表 INSERTOVERWRITETABLE 重写 √ × √ √ 表 ALTERTABLERENAME 重命名表 √ × √ √ 表 ALTERTABLEADDPARTITION 在分区表中添加分区 √ × √ √ 表 ALTERTABLERENAMEPARTITION 重命名表分区 √ × √ √ 表 ALTERTABLEDROPPARTITION 删除分区表的分区 √ × √ √ 表 SHOWPARTITIONS 显示所有分区 √ × √ √ 表 ALTERTABLERECOVERPARTITION 恢复表分区 √ × √ √ 表 ALTERTABLESETLOCATION 设置分区路径 √ × √ √ 表 GRANTPRIVILEGE 表的赋权 √ × √ √ 表 REVOKEPRIVILEGE 表权限的回收 √ × √ √ 表 SHOWPRIVILEGES 查看其他用户具备的表权限 √ × √ √ 表 DISPLAYTABLE 显示表 √ √ √ √ 表 DESCRIBETABLE 显示表信息 √ × √ √