本文介绍如何在科研助手中创建队列。 概述 基于资源池/队列的两级资源分配与隔离，其中资源池一般为物理隔离，队列为逻辑隔离；队列提供动态资源上限，为资源利用率和公平性分配自动寻求最优解。 操作步骤 开始创建 1.登录科研助手管理控制台。 2.在控制台左侧导航栏中，选择【资源配额】的【队列管理】。 3.在【队列管理】页面中，点击左上角的【创建队列】按钮。 创建共享资源池队列 在【创建队列】抽屉中，填写基础信息和高级配置内容。 【基础信息】 基础信息参数 说明 是否必选 队列名称 输入作业名称。要求如下： 长度范围为4~50个字符。名称由小写字母、数字、中划线（）组成。 以小写字母开头。以小写字母或数字结尾。 是 资源池 在选择资源池类型后，再选择资源池，如果还未创建资源池，可单击“创建共享资源池”进行创建，具体操作请参见共享资源池。 是 队列描述 选填，输入对该队列的描述。要求如下：由<>以外的字符组成。长度为0~1024个字符组成。 否 高级配置 高级配置参数 说明 是否必选 资源上限 该队列的资源限制，不同的专属资源池中配有不同规格的最大资源上限。可填资源包括“CPU”核心数（核）、内存（GB）和“GPU”数量（块），保留小数点后两位为有效数字。 是

操作场景 分布式消息服务 Kafka 版支持按主题或用户/客户端来配置限流策略，避免因资源消耗过高而影响全量业务。 前提条件 流控管理仅支持集群版实例。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”按钮。 4. 点击“智能运维”、“流控管理”菜单进入流控管理页面。 5. 如需配置主题流控 ，在流控配置页卡的下拉框选择“Topic”选项并点击“创建流控”按钮。 6. 在弹窗填入主题名、生产上限速率、消费上限速率，点击“确定”按钮。 Topic：填入需要限流的主题名 速率范围：1MB/s — 1024MB/s 7. 如需配置用户/客户端流控 ，在流控配置页卡的下拉框选择“User/Client”选项并点击“创建流控”按钮。 8. 在弹窗填入用户名、客户端ID、生产上限速率、消费上限速率，点击“确定”按钮。 用户名：填入需要限流的用户名，与客户端ID不能同时为空 客户端ID：填入需要限流的客户端ID，与用户名不能同时为空 速率范围：1MB/s — 1024MB/s

流水线 规格/特性名称 规格/特性说明 体验版 基础版 专业版 企业版 流水线并发 租户内并发执行的流水线的数量。 1个 5个 10个 20个 流水线执行时长 租户每个月累计流水线任务执行时长 1800分钟/月 不限 不限 不限 资源型任务执行时长 租户内资源消耗类任务每月累计执行总时长。 300分钟/月 1200分钟/月 6000分钟/月 12000分钟/月 流水线管理 流水线编排和执行，结果查看和信息订阅。 √ √ √ √ 微服务变更 DevOps变更模式，按微服务独立开发、测试和发布。 √ √ √ √ 扩展插件 自定义流水线插件。 √ √ √ √ 自定义门禁 自定义门禁策略，对阶段准出自动化拦截。 × √ √ √ 云原生发布 云原生环境变量管理，蓝绿，金丝雀，滚动发布多种发布模式。 √ √ √ √ 代码检查 规格/特性名称 规格/特性说明 体验版 基础版 专业版 企业版 代码检查并发 租户内并发执行的代码检查任务数量。 1个 5个 10个 20个 代码检查执行时长 租户每个月累计代码检查任务执行时长。 1800分钟/月 不限 不限 不限 基础语言支持 Java、C/C++、Python、JavaScript、TypeScript、ArkTs。 √ √ √ √ 进阶语言支持 除基础语言外，支持多种常用开发语言，如C

本章节主要介绍如何配置队列。 操作场景 用户根据业务需求，可以在MRS修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“队列配置”页签。 3.在租户队列表格，指定租户队列的“操作”列，单击“修改”。 说明 说明 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 3.x之前版本： 队列配置参数 参数名 描述 最大应用数量 表示最大应用程序数量。取值范围从“1”到“2147483647”。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 用户资源最小上限百分比(%) 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。最小值为“0”。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 MRS 3.x及之后版本： 队列配置参数 参数名 描述 AM最多占有资源（%） 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数，默认为1，表示取值范围内不限制。 每个YARN容器最大分配内存（MB） 表示当前队列内单个YARN容器可分配的最大内存，默认为1，表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可执行任务。取值范围为1～2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目，默认为1，表示取值范围内不限制（为空意义相同），为0表示不可挂起任务。取值范围为1～2147483647。 资源分配规则 表示单个用户任务间的资源分配规则，包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务，FIFO规则代表一个任务完成后再执行其他任务，按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签（Label）的节点上执行任务。 说明 如果需要使用新的资源池，需要修改默认标签为新的资源池标签。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务，若提交任务，任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态，若提交任务，任务直接会被拒绝。

指标ID 指标名称 指标含义 取值范围 测量对象 监控周期（原始指标） queuecunum 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queuejoblaunchingnum 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queuejobrunningnum 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟 queuejobsucceednum 已完成作业数 展示用户队列中状态为已完成的作业数。 ≥0 队列 5分钟 queuejobfailednum 已失败作业数 展示用户队列中状态为已失败的作业数。 ≥0 队列 5分钟 queuejobcancellednum 已取消作业数 展示用户队列中状态为已取消的作业数。 ≥0 队列 5分钟 queuecpuusage 队列CPU使用率 展示用户队列的CPU使用率。 0~100 队列 5分钟 queuediskusage 队列磁盘使用率 展示用户队列的磁盘使用率。 0~100 队列 5分钟 queuediskused 队列磁盘使用率最大值 展示用户队列的磁盘使用率的最大值。 0~100 队列 5分钟 queuememusage 队列内存使用率 展示用户队列的内存使用率。 0~100 队列 5分钟 queuememused 队列内存使用量 展示用户队列的内存使用量。 ≥0 队列 5分钟 flinkreadrecordspersecond Flink作业数据输入速率 展示用户Flink作业的数据输入速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordspersecond Flink作业数据输出速率 展示用户Flink作业的数据输出速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadrecordstotal Flink作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordstotal Flink作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadbytespersecond Flink作业字节输入速率 展示用户Flink作业每秒输入的字节数。 ≥0 Flink作业 10秒钟 flinkwritebytespersecond Flink作业字节输出速率 展示用户Flink作业每秒输出的字节数。 ≥0 Flink作业 10秒钟 flinkreadbytestotal Flink作业字节输入总数 展示用户Flink作业字节的输入总数。 ≥0 Flink作业 10秒钟 flinkwritebytestotal Flink作业字节输出总数 展示用户Flink作业字节的输出总数。 ≥0 Flink作业 10秒钟 flinkcpuusage Flink作业CPU使用率 展示用户Flink作业的CPU使用率。 0~100 Flink作业 10秒钟 flinkmemusage Flink作业内存使用率 展示用户Flink作业的内存使用率。 0~100 Flink作业 10秒钟 flinkmaxoplatency Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间，单位ms。 ≥0 Flink作业 10秒钟 flinkmaxopbackpressurelevel Flink作业最大算子反压 展示用户Flink作业的最大算子反压值，数值越大，反压越严重。 0：表示OK 50：表示Low 100：表示High 0~100 Flink作业 10秒钟

问题描述 创建跨源并绑定新创建的DLI队列，测试跨源的网络连通性时失败，有如下报错信息： failed to connect to specified address 排查思路 以下排查思路根据原因的出现概率进行排序，建议您从高频率原因往低频率原因排查，从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题，请继续排查其他可能原因。 检查是否在域名或者IP后添加了端口 检查是否连接的是对端VPC和子网 检查队列的网段是否与数据源网段是否重合 检查是否为DLI授权了VPC Administrator权限 检查对端安全组是否放通队列的网段 检查增强型跨源连接对应的对等连接的路由信息 检查VPC网络是否设置了ACL规则限制了网络访问 检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如，测试队列与指定RDS实例连通性，本例RDS实例使用3306端口。 测试连通性如下所示。 检查是否连接的是对端VPC和子网 创建增强型跨源连接时需要填写对端的VPC和子网。 例如，测试队列与指定RDS实例连通性，创建连接时需要填写RDS的VPC和子网信息。 检查队列的网段是否与数据源网段是否重合 绑定跨源的DLI队列网段和数据源网段不能重合。 您可以从连接日志判断是否是队列与数据源网段冲突。 即当前队列A网段与其他队列B网段冲突，且队列B已经建立了与数据源C的增强型跨源连接。因此提示队列A与数据源C的网段冲突，无法建立新的增强型跨源连接。 解决措施：修改队列网段或重建队列。 建议创建队列时就规划好网段划分，否则冲突后只能修改队列网段或重建队列。

创建队列 第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。 1.登录DLI管理控制台。 2.在DLI管理控制台的左侧导航栏中，选择“资源管理 > 队列管理”。 3.单击“队列管理”页面右上角“创建队列”进行创建队列。 4.创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。 5.单击“立即创建”，完成队列创建。 创建程序包 提交Spark作业之前需要创建程序包，例如“sparkexamples.jar”。 1.在管理控制台左侧，单击“数据管理”>“程序包管理”。 2.在“程序包管理”页面，单击右上角“创建”可创建程序包。 3.在“创建程序包”对话框，“包类型”选择“JAR”，“OBS路径”选择步骤2：上传数据至OBS中“sparkexamples.jar”的包路径，“分组设置”参数选择为“不分组”。 4.单击“确定”，完成创建程序包。 程序包创建成功后，您可以在“程序包管理”页面查看和选择使用对应的包。 创建程序包详细介绍请参考《数据湖探索用户指南》>《创建程序包》。 提交Spark作业 1.在DLI管理控制台，单击左侧导航栏中的“作业管理”>“Spark作业”，单击“创建作业”，进入创建Spark作业页面。 2.在Spark作业编辑页面中，“所属队列”选择步骤4：创建队列中创建的队列，“应用程序”选择步骤5：创建程序包创建的程序包。 其他参数请参考《数据湖探索用户指南》>《创建Spark作业》中关于Spark作业编辑页面的说明。 3.单击Spark作业编辑页面右上方“执行”，阅读并同意隐私协议，单击“确定”。提交作业，页面显示“作业提交成功”。 4.（可选）可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。 说明 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，同意确定后，后续操作将不会再提示。

维度 原有队列，无弹性资源池时 弹性资源池 扩容时长 手工扩容时间长，扩容时长在分钟级别 不需要手工干预，秒级动态扩容。 资源利用率 不同队列之间资源不能共享。 例如：队列1当前还剩余10CU资源，队列2当前负载高需要扩容时，队列2不能使用队列1中的资源，只能单独对队列1进行扩容。 添加到同一个弹性资源池的多个队列，CU资源可以共享，达到资源的合理利用。 资源利用率 配置跨源时，必须为每个队列分配不重合的网段，占用大量VPC网段。 多队列通过弹性资源池统一进行网段划分，减少跨源配置的复杂度。 资源调配 多个队列同时扩容时不能设置优先级，在资源不够时，会导致部分队列扩容申请失败。 您可以根据当前业务波峰和波谷时间段，设置各队列在弹性资源池中的优先级，保证资源的合理调配。

支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型，表示父队列，可以包含子队列。根队列也属于父队列的一种。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型，表示叶子队列。 具体权限： “Submit”：表示在队列提交作业的权限。 “Admin”：表示管理当前队列的权限。

产品名称 提供方式 收费方式 产品规格 业务类型 翼建站 镜像 套餐 手机微网站 支持订购、升级、续订、退订 不支持试用 翼建站 镜像 套餐 pc端网站 支持订购、升级、续订、退订 不支持试用 翼建站 镜像 套餐 三端兼容基础版 支持订购、升级、续订、退订 不支持试用 翼建站 镜像 套餐 三端兼容高级版 支持订购、升级、续订、退订 不支持试用

本节主要介绍应用开发类问题 微服务和普通应用有什么不同？ 微服务是一种架构模式，其核心是将一个单体应用分成多个部分进行开发。所以微服务架构的应用程序，其本质上是一个分布式应用。基于微服务架构构建的应用程序，可以让业务变化更快，整体系统可靠性更高。 如何解决微服务注册失败问题（针对java chassis）？ 微服务部署成功后，需要将微服务注册到服务中心和配置中心，才能使用注册发现和微服务治理能力。如果注册失败，可能由于以下因素导致的： AK/SK未配置或者配置不正确。 服务中心或配置中心地址配置不正确。 网络不通。 域名解析失败。 监听端口被占用。 客户端向CSE发送HTTPS消息时，有校验证书吗？使用的根证书在哪里配置？ 当前CSE不会校验微服务的证书。根证书是调用公共组件psm生成的。 如何进行本地开发和测试？ 服务中心是微服务框架中的重要组件，用于服务元数据以及服务实例元数据的管理和处理注册、发现。服务中心与微服务提供/消费者的逻辑关系下图所示： 前提条件 由于启动本地服务中心将会占用此台机器的30100、30110和30103端口，其分别表示服务中心的后台、配置中心的后台和前台服务端口。请确认以上端口未被使用。 使用本地开发工具前，请确认环境是否满足以下要求： 操作系统：Linux/Unix、Windows 64 bit CPU架构：x86/arm 浏览器：Chrome、Safari、Edge

纳管资源 环境创建成功后，需要把相同VPC下的计算资源类型（如云容器引擎CCE）、网络资源类型（如弹性负载均衡ELB、弹性公网EIP等）和中间件资源类型（如分布式缓存DCS、微服务引擎CSE等）纳管到环境下，组合为一个环境。 操作步骤 1、登录ServcieStage控制台，进入“环境管理”，单击待操作环境名称。 2、在“资源配置”下左侧列表，选择“计算”、“网络”或“中间件”资源类型下的资源名称，单击“纳管资源”。 3、在弹出的对话框中，勾选需要纳管的资源，单击“确定”。 说明 “Kubernetes”类型的环境，如果选择的VPC开启了IPv6且纳管了CCE集群资源时，需选择开启了IPv6开关的CCE集群资源。 否则，会导致在该VPC下的开启了安全认证的微服务引擎专享版上注册的Java Chassis微服务在使用IPv6服务注册发现地址时，注册失败。 处理方法，请参考如何处理开启了安全认证的微服务引擎专享版开启IPv6后服务注册失败？。 移除已纳管资源 已纳管到环境下的资源，如果不再使用，可以将其移除。 操作步骤 1、登录ServcieStage控制台，进入“环境管理”，单击待操作环境名称。 2、在“资源配置”下左侧列表，选择“计算”、“网络”或“中间件”资源类型下的资源名称。 3、在右侧已纳管的资源列表中： 批量移除资源：勾选待移除的资源，单击“移除资源”。 移除单个资源：选择待移除的资源，在“操作”列单击“移除”。

关闭IPv4公网访问（不支持修改SASL开关） 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击，选择“应用中间件 > 分布式消息服务Kafka”，进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例的名称，进入实例的“基本信息”页面。 5. 在“公网访问”后，单击，完成公网访问的关闭。 您可以在实例的“后台任务管理”页面，查看当前任务的操作进度。任务状态为“成功”，表示操作成功。 关闭公网访问后，需要设置对应的安全组规则（请见表2），才能通过内网成功连接Kafka。 表2 Kafka实例安全组规则（内网访问） 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（关闭SSL加密）。 入方向 TCP IPv4 9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例（开启SSL加密）。 说明 创建安全组后，系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则，此时使用内网通过同一个VPC访问Kafka实例，无需添加表2的规则。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本章节主要介绍数据湖探索（DLI）的“总览”页面。 数据探索服务控制台总览页为您提供数据湖探索服务使用流程及队列资源使用情况总览。 使用流程简介 数据湖探索服务使用流程简介： 1.创建队列 队列是DLI的计算资源：SQL队列和通用队列。SQL队列支持提交Spark SQL作业，通用队列支持Spark程序、Flink opensource SQL、Flink Jar作业。 2.准备数据 通常在执行Spark SQL作业前，需要创建数据库和表；在执行Spark作业、Flink Jar作业需要上传程序包。 3.编辑提交作业 完成作业参数的编辑后，提交作业。 4.查看作业状态 在作业管理页面可以查看作业的执行状态。 总览队列使用时长 总览页面支持查看队列的使用时长。 查看所有队列的使用时长：总览所有队列资源的使用情况 查看单队列的使用时长：单队列近期的使用情况。

本章节主要介绍Spark作业相关问题中有关运维指导的问题。 添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARKPYTHONpython3，指定计算集群环境为Python3环境。 目前，新建集群环境均已默认为Python3环境。 为什么Spark jar 作业 一直处于“提交中”？ Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下： 1. 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 2. 计算剩余CU量。 队列剩余CU量队列CU量 队列CU使用量。 当队列剩余CU量小于用户提交的CU量，则需要等待资源，才能提交成功。

本章介绍函数工作流如何使用RabbitMQ触发器。 前提条件 已经创建函数。 创建RabbitMQ触发器，必须开启函数工作流VPC访问。 已经创建RabbitMQ实例。 确认实例安全组规则是否配置正确。 在RabbitMQ实例详情页面的“基本信息 > 网络”，单击安全组名称，跳转到安全组页面。 选择“入方向规则”，查看安全组入方向规则。 实例未开启SSL开关 如果是VPC内访问，实例安全组入方向规则，需要允许端口5672的访问。 如果是公网访问，需要允许端口15672的访问。 实例已开启SSL开关 如果是VPC内访问，实例安全组入方向规则，需要允许端口5671的访问。 如果是公网访问，需要运行端口15671的访问。 创建RabbitMQ触发器 1. 登录函数工作流控制台，在左侧的导航栏选择“函数 > 函数列表”。 2. 选择待配置的函数，单击进入函数详情页。 3. 选择“设置 > 触发器”，单击“创建触发器”，弹出“创建触发器”对话框。 4. 设置以下信息。 触发器类型：选择“分布式消息服务RabbitMQ版 (RABBITMQ)”。 实例：选择已创建RabbitMQ实例。 交换机名称：填写用户需要使用的交换机名称。 密码：填写创建RabbitMQ实例的密码。 虚拟机名称：填写用户自定义的vhost。 批处理大小：每次从Topic消费的消息数量。 5. 单击“确定”，完成RabbitMQ触发器的创建。 说明 开启函数流VPC访问后，需要在RabbitMQ服务安全组配置对应子网的权限。

本文介绍节点重启后消费者如何重连，以Java中使用的RabbitMQ客户端amqpclient为例。 amqpclient自带重连机制，但是自带的重连机制只会重试一次，一次连不上后就不会再执行了，这时如果消费者没有做额外的重试机制，那么这个消费者就彻底丧失的消费能力。 amqpclient在节点断连后，根据与通道建立的节点不同，产生不同的错误。 如果通道连接的是队列所在的节点，消费者就会收到一个shutdown信号，这时amqpclient的重连机制就会生效，尝试重新连接服务端。如果连上了，这个通道就会继续连接消费。如果连不上，就会执行channel.close方法，关闭这个通道。 如果通道连接的不是队列所在的节点，消费者不会触发关闭动作，而是由服务端发送的一个取消动作，这个动作对amqpclient来说并不是异常行为，所以日志上不会有明显的报错，但是连接最终还是会关闭。 amqpclient出现上面两种错误时，会分别回调handleShutdownSignal以及handleCancel方法，您可以通过重写这两种方法，在回调时执行重写的重连逻辑，就能在通道关闭后重新创建消费者的新通道继续消费。 以下提供一个简单的代码示例，能够解决上面的两种错误，实现消费者的持续消费。 import com.rabbitmq.client.; import java.io.IOException; import java.nio.charset.StandardCharsets; import java.util.concurrent.TimeoutException; public class MyRabbitConsumer { public static void main(String... args) throws IOException, TimeoutException { ConnectionFactory factory new ConnectionFactory(); factory.setHost("192.168.x.x"); factory.setPort(5672); factory.setUsername("name"); factory.setPassword("password"); Connection connection factory.newConnection(); createNewConnection(connection); } public static void createNewConnection(Connection connection) { try { Channel channel connection.createChannel(); channel.basicQos(64); channel.basicConsume("queue1", false, new CustomConsumer(channel, connection)); } catch (Exception e) { createNewConnection(connection); } } static class CustomConsumer implements Consumer { private final Channel channel; private final Connection connection; public CustomConsumer(Channel channel, Connection connection) { channel channel; connection connection; } @Override public void handleConsumeOk(String consumerTag) {} @Override public void handleCancelOk(String consumerTag) {} @Override public void handleCancel(String consumerTag) throws IOException { createNewConnection(connection); } @Override public void handleShutdownSignal(String consumerTag, ShutdownSignalException sig) { createNewConnection(connection); } @Override public void handleRecoverOk(String consumerTag) {} @Override public void handleDelivery(String consumerTag, Envelope env, AMQP.BasicProperties prop, byte[] body) throws IOException { String message new String(body, StandardCharsets.UTF8); System.out.println("收到消息: " + message); channel.basicAck(env.getDeliveryTag(), false); } } }

介绍分布式消息服务RabbitMQ删除虚拟主机的操作内容。 场景描述 在RabbitMQ中，删除虚拟主机（Virtual Host）的场景描述如下： 应用迁移或清理：当需要迁移应用或进行系统清理时，可能需要删除不再使用的虚拟主机。例如，如果某个应用已经停用或迁移到其他环境，可以删除相关的虚拟主机，以释放资源和减少管理工作。 安全审计和合规性要求：根据安全审计和合规性要求，可能需要删除不再需要的虚拟主机。例如，当某个虚拟主机涉及敏感数据或权限配置存在问题时，可以选择删除该虚拟主机以避免安全风险。 故障处理和恢复：在某些情况下，当虚拟主机发生故障或出现严重问题时，可能需要删除虚拟主机并重新创建。这可以作为一种故障处理和恢复的手段，以解决虚拟主机相关的问题并恢复正常运行。 系统资源管理和优化：如果虚拟主机过多或占用了过多的系统资源，可能需要删除一些不再使用或不需要的虚拟主机。这有助于优化系统资源的利用和提高整体性能。 需要注意的是，在删除虚拟主机之前，务必确保相关的队列、交换机和绑定等对象已经被删除或迁移。否则，删除虚拟主机可能会导致数据丢失或系统异常。 操作步骤 （1）在虚拟主机管理页面，在目标虚拟主机行点击“删除”，即可删除虚拟主机。 注意事项： 删除虚拟主机会删除该虚拟主机内所有数据且不可恢复，请谨慎操作。

本章节主要介绍删除工作负载队列。 删除工作负载队列 1. 登录DWS 管理控制台。 2. 在集群列表中单击需要访问“资源管理”页面的集群名称。 3. 切换至“资源管理”页签。 4. 在左侧“资源池”中单击需要删除的资源池名称。 5. 单击右侧的“删除资源池” 说明 删除队列时如果队列中有关联的数据库用户，那么队列删除后这些用户将被关联默认队列。

本章节介绍微服务引擎MSE的定义 产品定义 微服务引擎 MSE 面向业界主流开源微服务项目，提供注册配置中心、云原生网关、微服务治理能力，助力企业搭建微服务平台，实现微服务应用的快速开发和高可用运维。 MSE产品包含以下子产品：注册配置中心、微服务治理中心、云原生网关。您在构建自己的微服务体系时，既可单独使用某个子产品，也可搭配使用以便获得微服务生态的最佳实践。 子产品 描述 注册配置中心 面向业界主流开源微服务项目，致力于帮助用户发现、配置和管理微服务，实现动态服务发现、服务配置、服务元数据及流量管理等功能。 云原生网关 将传统的流量网关和业务网关合二为一，提供全局性和独立业务域级别的流量管理策略，与后端业务紧耦合策略配置。 微服务治理中心 兼容SpringCloud、Dubbo等开源微服务框架，支持无侵入的接入应用，提供标签路由、灰度发布、无损上下线、服务降级、服务鉴权等服务治理的能力。 产品优势 开源增强 100% 兼容Spring Cloud、Dubbo微服务开源项目，无缝对接K8s，无厂商绑定，并在稳定性、性能、可运维性上提供更强的能力。 低成本 节省自建微服务引擎的人力成本，集成流量网关和微服务网关功能，降低50%资源开销，缩短请求时间，降低运维复杂度。

本节主要介绍功能特性 微服务引擎是微服务应用的云中间件，可为用户提供注册发现、服务治理、配置管理等企业级应用服务能力。 服务注册与发现 微服务引擎的注册发现中心Apache ServiceComb Service Center是一款restful风格的、高可用无状态的服务注册发现中心，提供微服务发现和微服务管理功能。服务提供者可以将自身的实例信息注册到注册发现中心，以供服务消费者发现并使用。 微服务治理 提供熔断、隔离、限流、负载均衡等微服务治理能力。微服务架构存在一些常见的故障模式，通过这些治理能力，能够减少故障对于整体业务的影响，避免产生雪崩效应。 服务配置管理 配置管理可为所有微服务提供统一的配置管理视图，有效降低配置管理的复杂性，搭配服务治理控制台，可在微服务运行态对微服务的行为进行调整，满足不升级应用即可适配业务场景变化的业务诉求。 灰度发布 为保障新特性平稳上线，可以先选择少部分用户试用，待新特性成熟以后，再让所有用户使用。微服务引擎的灰度发布功能可以保证整体系统的稳定，在初始灰度的时候就可以发现、调整问题，降低版本升级风险。 微服务仪表盘 微服务引擎可将有关联的微服务间调用依赖关系进行可视化展现，并提供各微服务实例的接口运行统计，如吞吐量、时延和调用成功率等指标，并集成在实时监控仪表盘中。

本小节介绍微隔离防火墙虚拟中心管理。 虚拟中心用于分租户/部门管理，建立不同虚拟中心后，创建用户时，可限定该用户可以访问的虚拟空间，该租户/部门下设的虚拟机接入到本用户的虚拟中心，只接受本租户/部门管理。 说明 超级管理员可以看到所有虚拟空间。

本章节主要介绍翼MapReduce的动态资源操作。 简介 Yarn是大数据集群中的分布式资源管理服务，大数据集群为Yarn分配资源，资源总量可配置。Yarn内部为任务队列进一步分配和调度计算资源。对于Mapreduce、Spark、Flink和Hive的任务队列，计算资源完全由Yarn来分配和调度。 Yarn任务队列是计算资源分配的基本单位。 对于租户，通过Yarn任务队列申请到的资源是动态资源。用户可以动态创建并修改任务队列的配额，可以查看任务队列的使用状态和使用统计。 资源池 现代企业IT经常会面对纷繁复杂的集群环境和上层需求。例如以下业务场景： 集群异构，集群中各个节点的计算速度、存储容量和网络性能存在差异，需要把复杂应用的所有任务按照需求，合理地分配到各个计算节点上。 计算分离，多个部门需要数据共享，但是需要把计算完全分离在不同的计算节点上。 这就要求对计算资源的节点进一步分区。 资源池用来指定动态资源的配置。Yarn任务队列和资源池关联，可实现资源的分配和调度。 一个租户只能设置一个默认资源池。用户通过绑定租户相关的角色，来使用该租户资源池的资源。若需要使用多个资源池的资源，可通过绑定多个租户相关的角色实现。 调度机制 Yarn动态资源支持标签调度（Label Based Scheduling）策略，此策略通过为计算节点（Yarn NodeManager）创建标签（Label），将具有相同标签的计算节点添加到同一个资源池中，Yarn根据任务队列对资源的需求，将任务队列和有相应标签的资源池动态关联。 例如，集群中有40个以上的节点，根据各节点的硬件和网络配置，分别用Normal、HighCPU、HighMEM、HighIO为四类节点创建标签，添加到四个资源池中，资源池中的各节点性能如下表所示。 不同资源池中的各节点性能 标签名 节点数 硬件和网络配置 添加到 关联 Normal 10 一般 资源池A 普通的任务队列 HighCPU 10 高性能CPU 资源池B 计算密集型的任务队列 HighMEM 10 大量内存 资源池C 内存密集型的任务队列 HighIO 10 高性能网络 资源池D IO密集型的任务队列 任务队列只能使用所关联的资源池里的计算节点。 普通的任务队列关联资源池A，使用硬件和网络配置一般的Normal节点。 计算密集型的任务队列关联资源池B，使用具有高性能CPU的HighCPU节点。 内存密集型的任务队列关联资源池C，使用具有大量内存的HighMEM节点。 IO密集型的任务队列关联资源池D，使用具有高性能网络的HighIO节点。 Yarn任务队列与特定的资源池关联，可以更有效地使用资源，保证节点性能充足且互不影响。 FusionInsight Manager中最多支持添加50个资源池。系统默认包含一个默认资源池。

问题原因 在CDM界面创建迁移作业，配置DLI目的连接参数时，“资源队列”参数错误选成了DLI的“通用队列”，应该选择DLI的“SQL队列”。 解决方案 1.登录DLI管理控制台，选择“队列管理”，在队列管理界面查看是否有“SQL队列”类型的队列。 −是，执行3。 −否，执行2购买“SQL队列”类型的队列。 2.单击“购买队列”创建队列，其中队列类型选择“SQL队列”，选择其他参数后提交创建。 3.在CDM侧重新配置迁移作业的DLI目的连接参数，其中资源队列”参数选择已创建的DLI“SQL队列”。 4.CDM重新提交迁移作业，查看作业执行日志。 SQL作业访问报错：File not Found 问题现象 执行SQL作业访问报错：File not Found。 解决措施 文件报错找不到，一般是读写冲突产生的，建议查询一下SQL查询报错表的时候，是否有作业正在覆盖写对应数据。 SQL作业访问报错：DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错：DLI.0003: AccessControlException XXX。 解决措施 请查看下AccessControlException写的OBS桶，确认当前账号是否有访问桶的权限。 SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on}: status [403] 问题现象 SQL作业访问外表报错：DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403]。 解决措施 当前账号没有访问该外表所在OBS桶的权限，请添加相应OBS权限再执行该查询。 执行SQL语句报错：The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget.

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。

删除组件 1、登录ServiceStage控制台，选择“应用管理 > 应用列表”。 2、选择已经创建的应用，单击应用名称，进入应用“概览”页。 3、单击“组件列表”页签： 单个删除 选择待删除的组件，在“操作”列单击“删除”，在弹出的提示框单击“确定”。 批量删除 勾选待删除的多个组件，单击“批量删除组件”，在弹出的提示框单击“确定”。 创建应用组件流水线 1、登录ServiceStage控制台，选择“应用管理 > 应用列表”。 2、选择已经创建的应用，单击应用名称，进入应用“概览”。 3、在“组件列表”页签，单击组件名称，进入组件“概览”页。 4、选择“流水线 > 创建流水线”，创建流水线。请参考应用组件流水线。 不支持为运行时为Docker的组件创建流水线。 查看应用组件构建 1、登录ServiceStage控制台，选择“应用管理 > 应用列表”。 2、选择已经创建的应用，单击应用名称，进入应用“概览”。 3、在“组件列表”页签，单击组件名称，进入组件“概览”页。 4、单击“构建”页签，可以查看应用组件构建工程的状态，详情请参考应用组件构建。 维护组件实例 1、登录ServiceStage控制台，选择“应用管理 > 应用列表”。 2、选择已经创建的应用，单击应用名称，进入应用“概览”。 3、在“环境视图”页签下，选择“环境”： 可以查看各个环境下该应用组件部署情况。 （可选）选择微服务类型的应用组件版本，单击“微服务管理”，进入微服务控制台进行服务治理。详情请参考服务治理。 选择应用组件版本，单击“运维管理”，可以进入组件实例“概览”页，查看组件实例详情。 选择应用组件版本，单击“操作”，可以选择进行组件升级、伸缩、事件查看、启动/停止、重启、回退、删除等运维操作。详情请参考应用运维。 勾选“全选”或者勾选对应的应用组件，单击“升级组件”，对组件进行版本号、软件包/镜像包的变更操作。

从事件源接收的事件 事件模式 模式过滤后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } plaintext { "id": "f36b49b668914b59b11cbf689xxxx713", "source": "ctyun:rocketmq", "type": "ctyun:rocketmq:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:rocketmq:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } plaintext { "source": [ { "exact": [ "ctyun:kafka", "ctyun:mqtt" ] } ] } plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json; charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } }

类型 定义 区别 队列 将集群资源划分给队列，提交给队列的任务将使用volcano进行资源调度；同一集群下的队列之间无法相互借用各自的闲置资源 创建队列 1.默认集群自带默认队列，无需用户创建 2.专属集群资源的使用需要用户创建队列 使用队列 1.在默认工作空间内关联队列，关联后，在默认工作空间内作业可以使用队列资源 (仅默认工作空间可使用队列) 支持范围 1.所有资源池都支持 注：后续产品迭代会逐步取消队列，建议使用资源配额 资源配额 将集群资源在逻辑层面进行了资源配额划分，集群资源划分与资源调度进行了解耦，提交给资源配额的任务将通过资源调度层进行资源调度；根据创建资源配额时的设置，同一集群下的资源配额之间可以进行闲置资源借用 创建资源配额 1.专属集群资源的使用需要用户创建资源配额(默认集群无法使用资源配额，只有默认队列) 使用资源配额 1.在非默认工作空间内关联资源配额，关联后，在非默认工作空间内作业可以使用资源配额资源 (仅非默认工作空间可使用资源配额) 支持范围 1.仅杭州7资源池支持

类型 微服务 普通应用 开发 每个微服务的体量相对较小，业界的two pizza团队和“2周即可全部重写全部代码”等都可以作为微服务划分的参考。 在开发时期，需注意服务接口的定义以与周边微服务进行配合，“基于契约”的开发方式是非常推荐的。 微服务开发，请参考“帮助中心 > 微服务云应用平台 > 开发指南 > 微服务开发指南 > 开发微服务应用”章节。 普通应用逻辑复杂、模块耦合、代码臃肿、修改难度大、版本迭代效率低下。 部署 微服务组成的应用系统通常比较复杂，在一次性部署的时候，需要进行编排部署。 微服务应用部署，请参考 部署组件 。 普通应用可能会比较大，构建和部署时间也相应地比较长，不利于频繁部署，阻碍持续交付。 在移动应用开发中，这个问题会显得尤为严重。 运维 在原来的指标监控、日志收集之外还非常强调治理。 其核心理念是在运行时期通过对线上系统的各种调整以达到系统整体健康度要求的效果。 应用运维，请参考 应用运维 。 普通应用线上问题修复周期长，任何一个线上问题修复都需要对整个应用系统进行全面升级。

安全组 安全组可重复使用，您也可以根据实际情况使用不同的安全组，请根据实际需要进行配置。 创建安全组的操作指导，请参考虚拟私有云创建安全组。 若需要为安全组添加规则，请参考虚拟私有云安全组添加安全组规则。 弹性云主机 用户若需要自己客户应用接入RocketMQ发送、消费消息，需先购买弹性云主机并确保和RocketMQ实例在同一VPC下。创建操作说明请参见创建弹性云主机。 订购实例 实例介绍 RocketMQ实例订购支持用户自定义规格和自定义特性，采用物理隔离的方式部署。租户独占RocketMQ实例，可根据业务需要可定制相应规格的RocketMQ实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富用户选项。 操作步骤 1、在产品详情页点击立即开通按钮，或者进入消息管理控制台创建实例，进入订购分布式消息RocketMQ页面。 2、点击创建实例进入对应页面，左上角选择目标资源池。 1）填写实例名称，系统默认实例名称，用户可直接修改。 2）选择引擎类型，目前默认选择RocketMQ引擎，完全兼容开源客户端的高性能低延时的消息队列。 3）选择计费模式：包年包月/按需计费，两种模式说明参见计费模式。 4）购买时长按照计费模式选择变化： 计费模式为包年包月，可选择购买时长16个月、1年。该模式提供自动续期功能，勾选后可以自动续期购买时长：16个月、1年。 计费模式为按需计费，则该选项隐藏无需选择。 5）部署方式有单可用区和多可用区两个选项，目前仅支持单可用区和3可用区部署，单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区。 6）设置主备节点对数，可输入1~16。主备节点通常是指主题（Topic）的生产者和消费者之间的角色切换。当主节点发生故障或不可用时，备节点可以自动接管并继续提供服务。这种主备节点的设计可以确保系统的稳定性和可靠性。 7）主机类型为计算增强型。计算增强型云主机独享宿主机的CPU资源，实例间无CPU争抢，并且没有进行资源超配，同时搭载全新网络加速引擎，实现接近物理服务器的强劲稳定性能。 8）选择实例规格，分布式消息服务RocketMQ提供计算增强型2C4G、4C8G等一系列规格，各规格详细说明参见弹性云主机规格。 9）选择存储空间，包括磁盘类型和空间。 磁盘类型提供高IO/超高IO。高IO：适用于主流的高性能、高可靠应用场景。超高IO：适用于超高IOPS、超大带宽需求的读写密集型应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以100G起步，可以以100倍数增加磁盘空间。 10）选择已有虚拟私有云，若无虚拟私有云，点击创建跳转到虚拟私有云页面新增，了解更多内容参见虚拟私有云。 11）选择已有子网，若无子网，点击创建跳转到子网页面新增。 12）选择已有安全组，若无安全组，点击创建跳转到安全组页面新增。 13） 填写完上述信息后，单击“下一步”，进入费用确认页面。 14）确认实例信息无误后，提交请求。 15）在实例列表页面，查看RocketMQ实例是否创建成功。创建实例大约需要3到15分钟，此时实例状态为“创建中”。