支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型，表示父队列，可以包含子队列。根队列也属于父队列的一种。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型，表示叶子队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。

介绍分布式消息服务RabbitMQ删除虚拟主机的操作内容。 场景描述 在RabbitMQ中，删除虚拟主机（Virtual Host）的场景描述如下： 应用迁移或清理：当需要迁移应用或进行系统清理时，可能需要删除不再使用的虚拟主机。例如，如果某个应用已经停用或迁移到其他环境，可以删除相关的虚拟主机，以释放资源和减少管理工作。 安全审计和合规性要求：根据安全审计和合规性要求，可能需要删除不再需要的虚拟主机。例如，当某个虚拟主机涉及敏感数据或权限配置存在问题时，可以选择删除该虚拟主机以避免安全风险。 故障处理和恢复：在某些情况下，当虚拟主机发生故障或出现严重问题时，可能需要删除虚拟主机并重新创建。这可以作为一种故障处理和恢复的手段，以解决虚拟主机相关的问题并恢复正常运行。 系统资源管理和优化：如果虚拟主机过多或占用了过多的系统资源，可能需要删除一些不再使用或不需要的虚拟主机。这有助于优化系统资源的利用和提高整体性能。 需要注意的是，在删除虚拟主机之前，务必确保相关的队列、交换机和绑定等对象已经被删除或迁移。否则，删除虚拟主机可能会导致数据丢失或系统异常。 操作步骤 （1）在虚拟主机管理页面，在目标虚拟主机行点击“删除”，即可删除虚拟主机。 注意事项： 删除虚拟主机会删除该虚拟主机内所有数据且不可恢复，请谨慎操作。

本章节主要介绍数据湖探索（DLI）的“总览”页面。 数据探索服务控制台总览页为您提供数据湖探索服务使用流程及队列资源使用情况总览。 使用流程简介 数据湖探索服务使用流程简介： 1.创建队列 队列是DLI的计算资源：SQL队列和通用队列。SQL队列支持提交Spark SQL作业，通用队列支持Spark程序、Flink opensource SQL、Flink Jar作业。 2.准备数据 通常在执行Spark SQL作业前，需要创建数据库和表；在执行Spark作业、Flink Jar作业需要上传程序包。 3.编辑提交作业 完成作业参数的编辑后，提交作业。 4.查看作业状态 在作业管理页面可以查看作业的执行状态。 总览队列使用时长 总览页面支持查看队列的使用时长。 查看所有队列的使用时长：总览所有队列资源的使用情况 查看单队列的使用时长：单队列近期的使用情况。

指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） queuecunum 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queuejoblaunchingnum 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queuejobrunningnum 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟 queuejobsucceednum 已完成作业数 展示用户队列中状态为已完成的作业数。 ≥0 队列 5分钟 queuejobfailednum 已失败作业数 展示用户队列中状态为已失败的作业数。 ≥0 队列 5分钟 queuejobcancellednum 已取消作业数 展示用户队列中状态为已取消的作业数。 ≥0 队列 5分钟 queuecpuusage 队列CPU使用率 展示用户队列的CPU使用率。 0~100 队列 5分钟 queuediskusage 队列磁盘使用率 展示用户队列的磁盘使用率。 0~100 队列 5分钟 queuediskused 队列磁盘使用率最大值 展示用户队列的磁盘使用率的最大值。 0~100 队列 5分钟 queuememusage 队列内存使用率 展示用户队列的内存使用率。 0~100 队列 5分钟 queuememused 队列内存使用量 展示用户队列的内存使用量。 ≥0 队列 5分钟 flinkreadrecordspersecond Flink作业数据输入速率 展示用户Flink作业的数据输入速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordspersecond Flink作业数据输出速率 展示用户Flink作业的数据输出速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadrecordstotal Flink作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordstotal Flink作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadbytespersecond Flink作业字节输入速率 展示用户Flink作业每秒输入的字节数。 ≥0 Flink作业 10秒钟 flinkwritebytespersecond Flink作业字节输出速率 展示用户Flink作业每秒输出的字节数。 ≥0 Flink作业 10秒钟 flinkreadbytestotal Flink作业字节输入总数 展示用户Flink作业字节的输入总数。 ≥0 Flink作业 10秒钟 flinkwritebytestotal Flink作业字节输出总数 展示用户Flink作业字节的输出总数。 ≥0 Flink作业 10秒钟 flinkcpuusage Flink作业CPU使用率 展示用户Flink作业的CPU使用率。 0~100 Flink作业 10秒钟 flinkmemusage Flink作业内存使用率 展示用户Flink作业的内存使用率。 0~100 Flink作业 10秒钟 flinkmaxoplatency Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间，单位ms。 ≥0 Flink作业 10秒钟 flinkmaxopbackpressurelevel Flink作业最大算子反压 展示用户Flink作业的最大算子反压值，数值越大，反压越严重。 0：表示OK 50：表示Low 100：表示High 0~100 Flink作业 10秒钟

本章节主要介绍准备Flink作业数据。 创建Flink作业需要输入数据源和数据输出通道，即常说的Source和Sink。用户使用其他服务作为数据源或输出通道时，需要先开通相应服务。 Flink作业支持以下数据源和输出通道： OBS数据源 如果用户作业需要对象存储服务（OBS）作为数据源，则要先开通OBS服务，具体操作请参见对象存储用户指南中的有关开通OBS服务的章节。 开通OBS服务后，用户需要将本地文件通过Internet上传至OBS指定的位置，具体操作请参见对象存储用户指南中的“上传文件”章节。 RDS输出通道 如果用户作业需要RDS作为输出通道，需要创建RDS实例，具体操作请参见对应版本关系数据库产品《用户指南》中“创建实例”章节。 SMN输出通道 如果用户作业需要SMN作为输出通道，需要先在SMN中创建主题，获取URN资源标识，再添加订阅。 Kafka数据源和输出通道 如果用户作业需要Kafka作为数据源和输出通道，则必须要通过创建增强型跨源连接与Kafka进行对接，具体操作请参见增强型跨源连接。 如果Kafka服务端的端口监听在hostname上，则需要将Kafka Broker节点的hostname和ip的对应关系添加到跨源连接中。 CloudTable数据源和输出通道 如果用户作业需要CloudTable作为数据源和输出通道，需要先在CloudTable中创建集群，获取集群ID。 云搜索服务输出通道 如果用户作业需要云搜索服务作为输出通道，需要先在云搜索服务中创建集群，获取集群内网访问地址。具体操作请参见云搜索服务用户指南中的“快速入门”章节。 DCS输出通道 如果用户作业需要DCS作为输出通道，需要先在DCS中创建Redis类型的缓存实例，获取Redis实例连接地址。

维度 原有队列，无弹性资源池时 弹性资源池 扩容时长 手工扩容时间长，扩容时长在分钟级别 不需要手工干预，秒级动态扩容。 资源利用率 不同队列之间资源不能共享。 例如：队列1当前还剩余10CU资源，队列2当前负载高需要扩容时，队列2不能使用队列1中的资源，只能单独对队列1进行扩容。 添加到同一个弹性资源池的多个队列，CU资源可以共享，达到资源的合理利用。 资源利用率 配置跨源时，必须为每个队列分配不重合的网段，占用大量VPC网段。 多队列通过弹性资源池统一进行网段划分，减少跨源配置的复杂度。 资源调配 多个队列同时扩容时不能设置优先级，在资源不够时，会导致部分队列扩容申请失败。 您可以根据当前业务波峰和波谷时间段，设置各队列在弹性资源池中的优先级，保证资源的合理调配。

创建队列 第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。 1.登录DLI管理控制台。 2.在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 3.单击“队列管理”页面右上角“创建队列”进行创建队列。 4.创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。 5.单击“立即创建”，完成队列创建。 创建程序包 提交Spark作业之前需要创建程序包，例如“sparkexamples.jar”。 1.在管理控制台左侧，单击“数据管理”>“程序包管理”。 2.在“程序包管理”页面，单击右上角“创建”可创建程序包。 3.在“创建程序包”对话框，“包类型”选择“JAR”，“OBS路径”选择步骤2：上传数据至OBS中“sparkexamples.jar”的包路径，“分组设置”参数选择为“不分组”。 4.单击“确定”，完成创建程序包。 程序包创建成功后，您可以在“程序包管理”页面查看和选择使用对应的包。 创建程序包详细介绍请参考《数据湖探索用户指南》>《创建程序包》。 提交Spark作业 1.在DLI管理控制台，单击左侧导航栏中的“作业管理”>“Spark作业”，单击“创建作业”，进入创建Spark作业页面。 2.在Spark作业编辑页面中，“所属队列”选择步骤4：创建队列中创建的队列，“应用程序”选择步骤5：创建程序包创建的程序包。 其他参数请参考《数据湖探索用户指南》>《创建Spark作业》中关于Spark作业编辑页面的说明。 3.单击Spark作业编辑页面右上方“执行”，阅读并同意隐私协议，单击“确定”。提交作业，页面显示“作业提交成功”。 4.（可选）可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。 说明 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，同意确定后，后续操作将不会再提示。

触发器名称 调用方式 文档链接 Http触发器 同步调用 定时触发器 同步调用 Kafka触发器 同步/异步调用 RocketMQ触发器 同步/异步调用

安全组 安全组可重复使用，您也可以根据实际情况使用不同的安全组，请根据实际需要进行配置。 创建安全组的操作指导，请参考虚拟私有云创建安全组。 若需要为安全组添加规则，请参考虚拟私有云安全组添加安全组规则。 弹性云主机 用户若需要自己客户应用接入RocketMQ发送、消费消息，需先购买弹性云主机并确保和RocketMQ实例在同一VPC下。创建操作说明请参见创建弹性云主机。 订购实例 实例介绍 RocketMQ实例订购支持用户自定义规格和自定义特性，采用物理隔离的方式部署。租户独占RocketMQ实例，可根据业务需要可定制相应规格的RocketMQ实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富用户选项。 操作步骤 1、在产品详情页点击立即开通按钮，或者进入消息管理控制台创建实例，进入订购分布式消息RocketMQ页面。 2、点击创建实例进入对应页面，左上角选择目标资源池。 1）填写实例名称，系统默认实例名称，用户可直接修改。 2）选择引擎类型，目前默认选择RocketMQ引擎，完全兼容开源客户端的高性能低延时的消息队列。 3）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 4）购买时长按照计费模式选择变化： 计费模式为包年包月，可选择购买时长16个月、1年。该模式提供自动续期功能，勾选后可以自动续期购买时长：16个月、1年。 计费模式为按需计费，则该选项隐藏无需选择。 5）部署方式有单可用区和多可用区两个选项，目前仅支持单可用区和3可用区部署，单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区。 6）设置主备节点对数，可输入1~16。主备节点通常是指主题（Topic）的生产者和消费者之间的角色切换。当主节点发生故障或不可用时，备节点可以自动接管并继续提供服务。这种主备节点的设计可以确保系统的稳定性和可靠性。 7）主机类型为计算增强型。计算增强型云主机独享宿主机的CPU资源，实例间无CPU争抢，并且没有进行资源超配，同时搭载全新网络加速引擎，实现接近物理服务器的强劲稳定性能。 8）选择实例规格，分布式消息服务RocketMQ提供计算增强型2C4G、4C8G等一系列规格，各规格详细说明参见弹性云主机规格。 9）选择存储空间，包括磁盘类型和空间。 磁盘类型提供高IO/超高IO。高IO：适用于主流的高性能、高可靠应用场景。超高IO：适用于超高IOPS、超大带宽需求的读写密集型应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以100G起步，可以以100倍数增加磁盘空间。 10）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 11）选择已有子网，若无子网，点击创建跳转到子网页面新增。 12）选择已有安全组，若无安全组，点击创建跳转到安全组页面新增。 13） 填写完上述信息后，单击“下一步”，进入费用确认页面。 14）确认实例信息无误后，提交请求。 15）在实例列表页面，查看RocketMQ实例是否创建成功。创建实例大约需要3到15分钟，此时实例状态为“创建中”。

OpenSearch Dashboards OpenSearch Dashboards提供了直观的可用于创建、共享、交互式的开发、运维数据分析平台。与OpenSearch搭配使用，并提供角色基础访问控制能力。文内或简称为Dashboards。 支持多用户角色的权限管理 支持包括甘特图在内的多种数据呈现方式 支持多种数据统计方式 支持高阶的索引管理能力 支持通知告警功能 支持基于SQL的查询能力 支持CSV、PDF、Excel等文件的报告生成功能 Logstash Logstash是数据管道服务，通过可扩展的输入、过滤和输出体系，实时采集、转换和加载多源异构数据，并灵活对接各类存储与分析平台，是ELK（Elastic Stack）生态的核心组件之一。天翼云提供的全托管的Logstash服务，支持一键部署、可视化管道配置和数据管道集中管理。 支持文件、数据库、消息队列等多种数据源采集 支持灵活的数据处理，如字段提取、数据脱敏等 内置健康检查机制，支持通过API或可视化界面监控数据管道运行状态 Cerebro Cerebro 是一个功能强大且易于使用的云搜索服务管理工具，适合开发、运维和数据分析等多种场景。通过Cerebro可以对实例进行Web可视化管理，如监控实时的磁盘、集群负载、内存使用率等，通过其直观的界面和丰富的功能，用户可以更高效地管理和监控云搜索实例。云搜索服务兼容开源Cerebro，适配0.9.4。 支持可视化数据管理 支持监控实例实时负载

专属云Kafka包括2个计费项：专属计费资源、专属存储（可选）。

本章节主要介绍Spark作业相关问题中有关运维指导的问题。 添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARKPYTHONpython3，指定计算集群环境为Python3环境。 目前，新建集群环境均已默认为Python3环境。 为什么Spark jar 作业 一直处于“提交中”？ Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下： 1. 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 2. 计算剩余CU量。 队列剩余CU量队列CU量 队列CU使用量。 当队列剩余CU量小于用户提交的CU量，则需要等待资源，才能提交成功。

问题原因 在CDM界面创建迁移作业，配置DLI目的连接参数时，“资源队列”参数错误选成了DLI的“通用队列”，应该选择DLI的“SQL队列”。 解决方案 1.登录DLI管理控制台，选择“队列管理”，在队列管理界面查看是否有“SQL队列”类型的队列。 −是，执行3。 −否，执行2购买“SQL队列”类型的队列。 2.单击“购买队列”创建队列，其中队列类型选择“SQL队列”，选择其他参数后提交创建。 3.在CDM侧重新配置迁移作业的DLI目的连接参数，其中资源队列”参数选择已创建的DLI“SQL队列”。 4.CDM重新提交迁移作业，查看作业执行日志。 SQL作业访问报错：File not Found 问题现象 执行SQL作业访问报错：File not Found。 解决措施 文件报错找不到，一般是读写冲突产生的，建议查询一下SQL查询报错表的时候，是否有作业正在覆盖写对应数据。 SQL作业访问报错：DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错：DLI.0003: AccessControlException XXX。 解决措施 请查看下AccessControlException写的OBS桶，确认当前账号是否有访问桶的权限。 SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on}: status [403] 问题现象 SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403]。 解决措施 当前账号没有访问该外表所在OBS桶的权限，请添加相应OBS权限再执行该查询。 执行SQL语句报错：The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.

本章节主要介绍ALM24005 Flume传输数据异常的告警。 告警解释 告警模块对Flume Channel的容量状态进行监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值后，系统即时上报告警。 默认阈值为10，用户可通过conf目录下的配置文件properties.properties修改阈值：修改对应channel的“channelfullcount”参数。 当Flume Channel空间被释放，且告警处理完成时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24005 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机名。 AgentId 产生告警的Agent id。 部件类型 产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤 检查Flume Sink是否故障 1.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hdfs”关键字确认Flume Sink是否是HDFS类型。 是，执行步骤2。 否，执行步骤3。 2.在FusionInsight Manager的告警列表中查看是否有“HDFS服务不可用”告警产生，服务列表中HDFS是否已停止。 是，如果有告警参考“ALM14000 HDFS服务不可用”的处理步骤处理该故障；如果HDFS已停止，启动HDFS服务，执行步骤7。 否，执行步骤7。 3.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“type hbase”关键字确认Flume Sink是否是HBase类型。 是，执行步骤4。 否，执行步骤5。 4.在FusionInsight Manager的告警列表中，查看是否有“HBase服务不可用”告警产生，服务列表中HBase是否已停止。 是，如果有告警参考“ALM19000 HBase服务不可用”的处理步骤处理该故障，如果HBase已停止，启动HBase服务。执行步骤7。 否，执行步骤7。 5.本地打开用户自定义配置文件properties.properties，搜索配置文件中是否有“org.apache.flume.sink.kafka.KafkaSink”关键字确认Flume Sink是否是Kafka类型。 是，执行步骤6。 否，执行步骤9。 6.在FusionInsight Manager的告警列表中，查看是否有“Kafka服务不可用”告警产生，服务列表中Kafka是否已停止。 是，如果有告警参考“ALM38000 Kafka服务不可用”的处理步骤处理该故障；如果Kafka已停止，启动Kafka服务，执行步骤7。 否，执行步骤7。 7.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”。 8.单击进入故障节点的Flume实例页面，查看指标“Sink速度指标”，检查其速度是否为0。 是，执行步骤13。 否，执行步骤9。

类型 定义 区别 队列 将集群资源划分给队列，提交给队列的任务将使用volcano进行资源调度；同一集群下的队列之间无法相互借用各自的闲置资源 创建队列 1.默认集群自带默认队列，无需用户创建 2.专属集群资源的使用需要用户创建队列 使用队列 1.在默认工作空间内关联队列，关联后，在默认工作空间内作业可以使用队列资源 (仅默认工作空间可使用队列) 支持范围 1.所有资源池都支持 注：后续产品迭代会逐步取消队列，建议使用资源配额 资源配额 将集群资源在逻辑层面进行了资源配额划分，集群资源划分与资源调度进行了解耦，提交给资源配额的任务将通过资源调度层进行资源调度；根据创建资源配额时的设置，同一集群下的资源配额之间可以进行闲置资源借用 创建资源配额 1.专属集群资源的使用需要用户创建资源配额(默认集群无法使用资源配额，只有默认队列) 使用资源配额 1.在非默认工作空间内关联资源配额，关联后，在非默认工作空间内作业可以使用资源配额资源 (仅非默认工作空间可使用资源配额) 支持范围 1.仅杭州7资源池支持

本章节主要介绍删除工作负载队列。 删除工作负载队列 1. 登录DWS 管理控制台。 2. 在集群列表中单击需要访问“资源管理”页面的集群名称。 3. 切换至“资源管理”页签。 4. 在左侧“资源池”中单击需要删除的资源池名称。 5. 单击右侧的“删除资源池” 说明 删除队列时如果队列中有关联的数据库用户，那么队列删除后这些用户将被关联默认队列。

按需计费的DLI队列，如果没有提交作业运行就不计费？ 按需计费的DLI队列（非专属资源）仅在队列运行作业时计费，按队列的实际CU计费，请注意是队列的实际CUs，非作业运行CUs。 以小时为单位进行结算，不足一小时按一小时计费，小时数按整点计算。 按需计费的DLI队列（专属资源），无论是否运行作业，自创建起按自然小时收费。 数据湖队列什么情况下是空闲状态？ 队列空闲状态是指在DLI 作业管理中，该队列下均无SQL 作业运行，或者 Flink 作业运行、Spark 作业运行。 即一个自然小时内无作业运行，该自然小时为空闲状态。不会进行计费。 通常按需计费的队列，在空闲1h后计算资源会被释放，再次使用时，需要重新分配计算资源，可能会耗费5~10min时间。 按需计费以小时为单位进行结算。不足一小时按一小时计费，小时数按整点计算。 例如 12:10 ~12:30、12:10 ~12:55 期间使用，则收取1个小时的费用。 如何购买30cus规格资源？ 这种情况，请购买2个16cus规格的队列，不会对业务造成影响。 关于如何购买队列，请参考“创建队列”。 怎样查看DLI的数据扫描量？ 1. 登录DLI管理控制台。 2. 选择“作业管理 > SQL作业”。 3. 筛选执行队列为default队列，查看相应的作业。 4. 单击展开作业，查看已扫描的数据。

同步方向 数据流向 源数据库 目标数据库 目标库实例类型 入云 MySQL>MySQL 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for MySQL RDS for MySQL 单机实例 主备实例 入云 MySQL>DWS 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for MySQL DWS集群 集群 入云 MySQL>GaussDB(for MySQL) 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for MySQL GaussDB(for MySQL) 主备实例 入云 PostgreSQL>PostgreSQL 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for PostgreSQL RDS for PostgreSQL 单机实例 主备实例 入云 Oracle>DWS 本地自建数据库 ECS自建数据库 DWS集群 集群 入云 Oracle>PostgreSQL 本地自建数据库 ECS自建数据库 RDS for PostgreSQL 单机实例 主备实例 入云 Oracle>MySQL 本地自建数据库 ECS自建数据库 RDS for MySQL 单机实例 主备实例 入云 Oracle>GaussDB(for MySQL) 本地自建数据库 ECS自建数据库 GaussDB(for MySQL) 主备实例 入云 Oracle>DRDS 本地自建数据库 ECS自建数据库 DRDS 入云 DRDS>MySQL DRDS RDS for MySQL 单机实例 主备实例 入云 DRDS>DRDS DRDS DRDS 集群 出云 MySQL>MySQL RDS for MySQL 本地自建数据库 ECS自建数据库 其他云上数据库 RDS for MySQL 出云 DRDS>MySQL DRDS 本地自建数据库 ECS自建数据库 单机实例 主备实例 自建自建 Oracle>Kafka 本地自建数据库 ECS自建数据库 Kafka 集群 单机 自建自建 MySQL>Kafka 本地自建数据库 ECS自建数据库 Kafka 集群 单机

CU设置常见问题 当队列的CU总和等于弹性资源池最小CU时，即弹性资源池当前CU等于最小CU时，怎样修改弹性资源池内现有队列的CU最小值？ 解决方案： 1.通过调大现有队列的CU最大值，使弹性资源池当前CU大于等于目标最小CU（目标最小CU即计划调整后的队列最小CU值总和）。 说明 如果弹性资源池最大CU等于最小CU，请先设置增大弹性资源池的最大CU值。 2.设置弹性资源池的最小CU。 3.调整弹性资源池内现有队列的最小CU。 当队列的CU总和等于弹性资源池最小CU时，即弹性资源池当前CU等于最小CU时，怎样在弹性资源池内添加队列？ 解决方案： 1.通过调大现有队列的CU最大值，使弹性资源池当前CU大于等于目标最小CU（目标最小CU即计划调整后的队列最小CU值总和）。 说明 如果弹性资源池最大CU等于最小CU，请先设置增大弹性资源池的最大CU值。 2.设置弹性资源池的最小CU。 3.在资源池内新增队列。 4.复原 ▪第一步：通过调整现有队列的CU最大值，使弹性资...中调整的队列CU最大值。

本章节主要介绍翼MapReduce的动态资源操作。 简介 Yarn是大数据集群中的分布式资源管理服务，大数据集群为Yarn分配资源，资源总量可配置。Yarn内部为任务队列进一步分配和调度计算资源。对于Mapreduce、Spark、Flink和Hive的任务队列，计算资源完全由Yarn来分配和调度。 Yarn任务队列是计算资源分配的基本单位。 对于租户，通过Yarn任务队列申请到的资源是动态资源。用户可以动态创建并修改任务队列的配额，可以查看任务队列的使用状态和使用统计。 资源池 现代企业IT经常会面对纷繁复杂的集群环境和上层需求。例如以下业务场景： 集群异构，集群中各个节点的计算速度、存储容量和网络性能存在差异，需要把复杂应用的所有任务按照需求，合理地分配到各个计算节点上。 计算分离，多个部门需要数据共享，但是需要把计算完全分离在不同的计算节点上。 这就要求对计算资源的节点进一步分区。 资源池用来指定动态资源的配置。Yarn任务队列和资源池关联，可实现资源的分配和调度。 一个租户只能设置一个默认资源池。用户通过绑定租户相关的角色，来使用该租户资源池的资源。若需要使用多个资源池的资源，可通过绑定多个租户相关的角色实现。 调度机制 Yarn动态资源支持标签调度（Label Based Scheduling）策略，此策略通过为计算节点（Yarn NodeManager）创建标签（Label），将具有相同标签的计算节点添加到同一个资源池中，Yarn根据任务队列对资源的需求，将任务队列和有相应标签的资源池动态关联。 例如，集群中有40个以上的节点，根据各节点的硬件和网络配置，分别用Normal、HighCPU、HighMEM、HighIO为四类节点创建标签，添加到四个资源池中，资源池中的各节点性能如下表所示。 不同资源池中的各节点性能 标签名 节点数 硬件和网络配置 添加到 关联 Normal 10 一般 资源池A 普通的任务队列 HighCPU 10 高性能CPU 资源池B 计算密集型的任务队列 HighMEM 10 大量内存 资源池C 内存密集型的任务队列 HighIO 10 高性能网络 资源池D IO密集型的任务队列 任务队列只能使用所关联的资源池里的计算节点。 普通的任务队列关联资源池A，使用硬件和网络配置一般的Normal节点。 计算密集型的任务队列关联资源池B，使用具有高性能CPU的HighCPU节点。 内存密集型的任务队列关联资源池C，使用具有大量内存的HighMEM节点。 IO密集型的任务队列关联资源池D，使用具有高性能网络的HighIO节点。 Yarn任务队列与特定的资源池关联，可以更有效地使用资源，保证节点性能充足且互不影响。 FusionInsight Manager中最多支持添加50个资源池。系统默认包含一个默认资源池。

云资源集成系统产品使用手册 一、 产品概述 1.1 产品介绍 云资源集成管理系统CRIMS 是一款数据中心资产监测管理软件，旨在帮助数据中 心管理相关人员或资产所有人解决资产管理混乱、资产状态未知、已有资产使用不明确 等问题。 本系统以功能模块做标准版及增购版的区分，标准版含：首页、监测、数据分析、 发现、告警、系统；增购版另有能耗、资产、机房、报修、专线、存储、自动装机、vKVM、 控制管理模块可组合加购。 1.2 产品核心能力 CRIMS 采用领先的带外与带内结合管理技术实现对业务硬件与软件的全方面监控， 可对数据中心 IT 基础设施进行监测、管理运营，为软硬件设备提供全生命周期管理，实 现设备从采购、安装使用，再到运维、报废的全过程服务。并对监测数据进行分析、管 理，为日常运营提供支持。CRIMS 无需在每台服务器上安装代理软件，减少对操作系 统的影响。可以有效帮助用户减少繁琐、重复、费时的各项运维工作，保障数据中心设 备安全、稳定运行，同时降低数据中心运营成本。 1.3 产品优势 CRIMS 硬件监控方面支持各个品牌各个型号的小型机、刀片服务器、刀箱、塔式& 机柜式服务器的硬件状态和各个厂家的高端存储、中端存储、低端存储、虚拟化存储、 虚拟带库、物理带库等存储资源，硬件监控内容包括：电源、风扇、内置磁盘、CPU、 内存、网卡、HBA 卡、拓展模块等服务器各个部件运行状态，配置信息，电源、风扇、 电池、磁盘柜、硬盘、控制器、Array、机械手、磁带机等； CRIMS 软件监控方面支持监控主流操作系统：Linux，Windows，AIX，AS400， ScoUnix，Solaris，HP Unix，国产 UOS 的服务状态；主流云平台：VMWare，Red Hat， FusionCompute，Amazon，阿里云，Docker 的虚 机状态；主流数据库：DB， MySQL,Oracle,Oracle Rac,Oscar,PostgreSQL,SQLServer,SyBase 的库状态,主流应用 程序：AD，Apache，HACMP，IBM MQ，IIS，Nginx，PowerHA，RHCS，Resin， Exchange，JBoss，JBoss EAP，Kafka，Lotus，Memcached，PolyCom，Redis，Tomcat， Tuxedo，Url Recored，WebLogic，Zookeeper 的进程状态，软件监控内容包括：时间 校验，文件数量，进程数量，IO 性能，网络速率，服务状态，Lun，Cache 统计，控制 器，，FC 端口，PCIe 端口，FCoE 端口，NE 节点，异网 IP，文件系统，线程缓存，缓 冲排序，Query 缓存，访问量(QPS)，数据库引擎，主备复制，表空间信息，数据目录等。 更多产品使用具体方法请下载附件查看。 云资源集成系统产品使用手册part1智能运维标准服务.pdf

服务后缀 服务说明 zos dns msgc crs apm lts faas gts 全局事务：该服务由天翼云全局事务服务提供，全局事务服务是一款专为实现分布式环境下高性能事务一致性而设计的服务工具。它可以与MySQL、PostgreSQL等数据源，以及Spring Cloud、Dubbo等RPC框架和消息队列等中间件产品配合混合使用，以支持用户各种分布式数据库事务、多库事务、消息事务和服务链路级事务的组合需要 prome 应用性能监控：Prometheus监控为云上托管Prometheus服务，可为您的容器集群提供多种开箱即用的预置监控大盘与监控规则，实现免搭建的高效运维场景。 ags Agent沙箱：Agent 沙箱提供安全、弹性、可扩展的云端沙箱运行环境。在使用Agent沙箱产品时，通过连接该终端节点服务，可实现在内网调用沙箱服务。

接口功能介绍 查询队列v3 接口约束 无 URI GET /v3/queue/query 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 prodInstId 是 String 实例ID 6b10c8b962244f1f921d1a48d0f15cca vhost 否 String vhost名称 vhost1 name 否 String 队列名称 pageNum 否 Integer 分页的页序号 1 pageSize 否 Integer 分页的大小 100 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池id 6b10c8b962244f1f921d1a48d0f15cca 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 returnObj Object 返回对象 returnObj message String 描述状态 success statusCode String 接口系统层面状态码。成功：800，失败：900 800 error String 错误码，描述错误信息，只有失败才显示 AMQPAMQP 表 returnObj 参数 参数类型 说明 示例 下级对象 data Object 返回数据 data 表 data 参数 参数类型 说明 示例 下级对象 filteredcount Integer 按name过滤后的总队列数 2 itemcount Integer 当前页面上的队列数量 2 items Array of Objects 队列详细信息 items page Integer 当前页数 1 pagecount Integer 总页数 1 pagesize Integer 分页设置的每个页面的最多队列数 100 totalcount Integer 总队列数 2 表 items 参数 参数类型 说明 示例 下级对象 vhost String 虚拟机名称 / durable Boolean 是否持久化，默认持久化 true name String 队列名称 qu1 autodelete Boolean 是否自动删除 false consumers Integer 消费者数量 0

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。

本文介绍如何使用云搜索Elasticsearch、Kibana、Logstash实例搭建日志分析平台。 使用ELK Stack（Elasticsearch、Logstash、Kibana、Beats）进行日志管理是一种流行的开源解决方案，用于集中式日志收集、存储、分析和可视化。ELK Stack可以从分布式系统中采集和聚合日志，帮助运维和开发人员更好地理解系统的运行状态、排查问题并监控关键业务指标。 本文将使用Filebeat、Logstash、Elasticsearch、Kibana搭建一个简单的日志分析平台，其中需要自行部署Filebeat并且打通和天翼云云搜索Elasticsearch、Kibana以及Logstash实例之间的网络。 ELK Stack组件 Elasticsearch 是一个分布式搜索引擎，作为ELK堆栈的核心，它负责存储和索引日志数据。Elasticsearch提供强大的全文搜索、过滤和分析功能，可以快速处理大规模数据并允许实时查询。 Logstash 是一个数据处理管道工具，负责从各种输入源收集数据，进行过滤、处理并将其输出到 Elasticsearch。Logstash 支持多种数据源（如文件、数据库、消息队列），并且能够通过过滤器对数据进行处理，比如解析、格式转换等。 Kibana 是一个数据可视化和分析工具，允许用户在浏览器中直观地查询和展示Elasticsearch 中存储的日志数据。Kibana提供多种图表、仪表盘和地图，可以帮助用户监控系统、分析日志、生成报表等。 Beats是一组轻量级数据收集器，用于将各种类型的数据发送到Elasticsearch或Logstash进行索引和分析。其中Filebeat是 ELK Stack 中的一个轻量级日志数据收集器，用于收集日志文件数据。它监视指定的日志文件或位置，并将其发送到Elasticsearch或Logstash以进行存储和分析。

本文主要介绍节点重启后消费者如何重连分布式消息服务RabbitMQ。 本章节以Java中使用的RabbitMQ客户端amqpclient为例介绍节点重启后消费者如何重连。 amqpclient自带重连机制，但是自带的重连机制只会重试一次，一次连不上后就不会再执行了，这时如果消费者没有做额外的重试机制，那么这个消费者就彻底丧失的消费能力。 amqpclient在节点断连后，根据与通道建立的节点不同，产生不同的错误。 如果通道连接的是队列所在的节点，消费者就会收到一个shutdown信号，这时amqpclient的重连机制就会生效，尝试重新连接服务端。如果连上了，这个通道就会继续连接消费。如果连不上，就会执行channel.close方法，关闭这个通道。 如果通道连接的不是队列所在的节点，消费者不会触发关闭动作，而是由服务端发送的一个取消动作，这个动作对amqpclient来说并不是异常行为，所以日志上不会有明显的报错，但是连接最终还是会关闭。 amqpclient出现上面两种错误时，会分别回调handleShutdownSignal以及handleCancel方法，您可以通过重写这两种方法，在回调时执行重写的重连逻辑，就能在通道关闭后重新创建消费者的新通道继续消费。 以下提供一个简单的代码示例，此示例能够解决上面的两种错误，实现消费者的持续消费。 package rabbitmq; import com.rabbitmq.client.; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.concurrent.TimeoutException; public class RabbitConsumer { public static void main(String... args) throws IOException, TimeoutException { ConnectionFactory factory new ConnectionFactory(); factory.setHost("100.00.000.000"); factory.setPort(5672); factory.setUsername("name"); factory.setPassword("password"); Connection connection factory.newConnection(); createNewConnection(connection); } public static void createNewConnection(Connection connection) { try { Thread.sleep(1000); Channel channel connection.createChannel(); channel.basicQos(64); channel.basicConsume("queue01", false, new CustomConsumer(channel, connection)); } catch (Exception e) { // e.printStackTrace(); createNewConnection(connection); } } static class CustomConsumer implements Consumer { private final Channel channel; private final Connection connection; public CustomConsumer(Channel channel, Connection connection) { channel channel; connection connection; } @Override public void handleConsumeOk(String consumerTag) { } @Override public void handleCancelOk(String consumerTag) { } @Override public void handleCancel(String consumerTag) throws IOException { System.out.println("handleCancel"); System.out.println(consumerTag); createNewConnection(connection); } @Override public void handleShutdownSignal(String consumerTag, ShutdownSignalException sig) { System.out.println("handleShutdownSignal"); System.out.println(consumerTag); System.out.println(sig.getReason()); createNewConnection(connection); } @Override public void handleRecoverOk(String consumerTag) { } @Override public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println(" [x] Received '" + message + "'"); channel.basicAck(envelope.getDeliveryTag(), false); } } }

接口功能介绍 查询队列v3 接口约束 无 URI GET /v3/queue/query 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 prodInstId 是 String 实例ID 6b10c8b962244f1f921d1a48d0f15cca vhost 否 String vhost名称 vhost1 name 否 String 队列名称 pageNum 否 Integer 分页的页序号 1 pageSize 否 Integer 分页的大小 100 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池id 6b10c8b962244f1f921d1a48d0f15cca 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 returnObj Object 返回对象 returnObj message String 描述状态 success statusCode String 接口系统层面状态码。成功：800，失败：900 800 error String 错误码，描述错误信息，只有失败才显示 AMQPAMQP 表 returnObj 参数 参数类型 说明 示例 下级对象 data Object 返回数据 data 表 data 参数 参数类型 说明 示例 下级对象 filteredcount Integer 按name过滤后的总队列数 2 itemcount Integer 当前页面上的队列数量 2 items Array of Objects 队列详细信息 items page Integer 当前页数 1 pagecount Integer 总页数 1 pagesize Integer 分页设置的每个页面的最多队列数 100 totalcount Integer 总队列数 2 表 items 参数 参数类型 说明 示例 下级对象 vhost String 虚拟机名称 / durable Boolean 是否持久化，默认持久化 true name String 队列名称 qu1 autodelete Boolean 是否自动删除 false consumers Integer 消费者数量 0

参数 说明 管道名称 自定义管道名称，实例内不可重复 管道描述 作业管道的描述信息，非必填 管道工作线程数 并行执行管道的Filters和Outputs阶段的工作线程数。 管道批处理大小 每个批次处理的最大事件数量 管道批处理延迟 当管道批处理大小不满足时，每个批次最大的等待时间，单位为毫秒 队列类型 用于事件缓冲的排队模型，可选值为： memory：基于内存的队列 persisted：基于磁盘的持久化队列 队列最大字节数 当选择 persisted 队列类型时，队列中可存放的最大字节数量，需确保该值小于实例单节点的磁盘容量 队列检查点写入数 当选择 persisted 队列类型时，在强制执行检查点时已写入的最大的事件数量，若设置为0，则表示无限制

一键自动修复 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 勾选漏洞列表中所有需要修复的漏洞，单击漏洞列表左上角的“批量修复”，一键批量修复漏洞。 4. 在修复对话框中，确认待修复的漏洞数量和影响资产数量、选择修复所需软件源。 您可以在修复对话框中查看修复命令、查看影响服务器数量。软件源支持清华软件源、华为云软件源、阿里云软件源，也可以自配置软件源。若选择自配置软件源，请务必确认已在服务器上配置好对应操作系统发行版的软件源（如 yum、zypper、aptget 或 emerge 等包管理工具对应的软件源）。 5. 单击“确定”，开始自动修复漏洞。 6. 修复完成后，建议您立即重新扫描漏洞，验证修复结果。 手动修复漏洞 您可以参考漏洞详情页面的修复建议，登录服务器手动修复漏洞。 说明 漏洞修复完成后需要手动重启服务器，否则系统仍可能为您推送漏洞消息。 不同的漏洞请根据修复建议依次进行修复。 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 单击“漏洞名称”链接、或操作列的“查看详情”，跳转至漏洞详情页面。 4. 在漏洞详情页面可以看到漏洞修复建议。 5. 登录漏洞影响的服务器，根据修复建议进行修复。 6. 修复完成后，建议您立即重新扫描漏洞，验证修复结果。

本文为您介绍如何在科研助手中删除队列。 删除步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【资源配额】中的【队列管理】。 3. 选择一个队列，在右边单击【删除】。 4. 在二次确认的弹框输入框中输入“确认删除“，并且点击【确认 】完成删除。队列下没有作业任务和开发机任务时才可删除成功。