爆款云主机低至25.83元/年
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 云聚517 · 好价翼起拼 NEW 爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
Token服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V4-Flash
  • GLM-5.1
  • Qwen3.5-122B-A10B
  • DeepSeek-V3.2(旗舰版)
  • GLM-5(正式版)
智算一体机
  • 智算一体机
智能体引擎
  • 智能体引擎
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      消息队列RabbitMQ版_相关内容
      • 修改Topic分区数
        本文主要介绍修改Topic分区数。 说明 修改分区数,不会影响业务。 修改Topic分区数的方法如下: 方法1:在控制台修改 方法2:在Kafka Manager上修改 方式3:在Kafka客户端上修改 方法1:在控制台修改 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例详情页面。 步骤 5 选择“Topic管理”页签,显示已创建的Topic详情。 步骤 6 通过以下任意一种方法,修改Topic分区数。 勾选Topic名称左侧的方框,可选一个或多个,单击信息栏左上侧的“编辑Topic”。 在待修改分区数的Topic所在行,单击“编辑”。 步骤 7 在“编辑Topic”对话框中,输入分区数,单击“确定”。 说明 分区数只支持增加,不支持减少。 出于性能考虑,Kafka控制台限定单个Topic的分区数上限为100。 所有Topic分区数总和不能超过实例允许的分区上限。 方法2:在Kafka Manager上修改 步骤 1 登录Kafka Manager。 步骤 2 在Kafka Manager中,单击“Topic > List”,进入Topic列表界面。 步骤 3 单击Topic名称,进入Topic详情界面。 步骤 4 单击“Add Partitions”,进入增加分区界面。 图 Topic详情界面 步骤 5 输入分区数,单击“Add Partitions”。 图 增加分区数量 显示“Done”,表示分区增加成功。 图分区增加成功 说明 分区数只支持增加,不支持减少。 所有Topic分区数总和不能超过实例允许的分区上限。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        Topic管理
        修改Topic分区数
      • 弹性扩缩容定时任务
        本章节主要介绍 弹性扩缩容定时任务。 弹性扩缩容定时任务使用场景 通常,用户业务繁忙的场景是有周期性的,在某个周期内,用户需要更多的计算资源来处理业务,过了这个周期,则不需要那么多资源。如果用户购买的队列规格比较小,在业务繁忙时会存在资源不足的情况;而如果购买的队列规格比较大,又可能会存在资源浪费的情况。 基于以上场景,DLI提供了队列弹性扩缩容定时任务功能。用户可以根据自己的业务周期或者使用情况,基于现有队列规格,在不同的时间或者周期内设置不同的队列大小,以满足自己的业务需求,节约成本。 弹性扩缩容定时任务注意事项 新创建的队列需要运行作业后才可进行扩缩容。 目前只支持规格为64CUs以上的队列进行定时弹性扩缩容任务,即队列最小规格为64CUs。 对于每个队列,最多支持创建12个定时任务。 每个定时任务开始时,弹性扩缩容的实际开始的时间有5分钟误差。建议扩容时间定时至少比实际使用队列的时间提前20分钟。 每个定时任务之间需要至少有2小时的间隔。 队列的定时弹性扩缩容属于耗时操作,变更所消耗的时间取决于扩缩容目标规格与当前规格的差值大小,用户在“队列管理”页面中可以查看当前队列的规格。 如果当前队列有作业正在运行时,可能无法缩容到目标CU值,而是缩容到当前队列规格和目标规格中间的某个值,系统将在1小时后继续尝试进行缩容,直至下一个定时任务开始。 当一个定时任务没有扩容或者缩容到目标CU值时,系统会在约15分钟后再次触发扩缩计划,直到下一个定时任务开始。
        来自:
        帮助文档
        数据湖探索
        用户指南
        队列管理
        弹性扩缩容定时任务
      • 配置资源池的队列容量策略
        本章节主要介绍配置资源池的队列容量策略。 操作场景 添加资源池后,需要为YARN任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS Manager配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下,所有队列与“Default”资源池存在关联关系。 操作步骤 在MRS Manager,单击“租户管理”。 1. 单击“动态资源计划”页签。 2. 在“资源池”选择指定的资源池。 “可用资源配额”:表示每个资源池默认所有资源都可分配给队列。 3. 在“资源分配”列表指定队列的“操作”列,单击“修改”。 4. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”:表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”:表示当前租户计算资源使用的最大资源百分比。 5. 单击“确定”保存配置。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        租户管理
        配置资源池的队列容量策略
      • 查看队列列表
        本文介绍如何在科研助手中查询、查看、刷新队列列表及管理队列列表选项显示信息。 查看步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中,选择【资源配额】中的【队列管理】。 【队列列表】展示的字段说明: 参数 说明 搜索框 输入队列名称,支持输入关键字进行检索。 查询按钮 点击”查询“按钮,显示查询结果。 刷新 刷新当前队列列表展示页面。 选项设置 可勾选不同的字段,对列表页面进行筛选。 队列名称 队列的名称。 状态 队列的状态,共有4种,分别为:开启、关闭、关闭中以及未知。 资源池 队列所属的资源池的名称。 资源池类型 队列所属的资源池的类型,共有2种,分别为专属资源池和共享资源池。 实际资源上限(CPU/内存/GPU) 队列在所属资源池中能得到的实际资源上限。 创建时间 队列的创建时间。 查询 输入队列名称,点击”查询“按钮。 刷新 点击”刷新“按钮,系统将刷新队列的最新状态信息。
        来自:
        帮助文档
        科研助手
        用户指南
        资源配额
        队列管理
        查看队列列表
      • 配置资源池的队列容量策略
        本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后,需要为Yarn任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。 管理员可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,Yarn任务队列与资源池形成关联关系。 前提条件 已添加队列,即已创建关联了计算资源的租户。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 动态资源计划”。 默认显示“资源分布策略”。 3. “集群”参数选择待操作的集群名称,然后在“资源池”,选择待操作的资源池。 4. 在“资源分配”表格,指定租户资源名队列的“操作”列,单击“修改”。 5. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量(%)”:表示当前租户计算资源使用的资源百分比。 “最大资源容量(%)”:表示当前租户计算资源使用的最大资源百分比。 6. 单击“确定”保存配置。 说明 删除队列的资源容量值并保存,可以取消队列在此资源池中的资源容量策略,表示解除队列与资源池的关联关系。需要先将队列的默认资源池更改为其他资源池,请参见
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Capacity调度器的租户业务
        管理资源
        配置资源池的队列容量策略
      • 绑定/解绑队列
        解绑队列 不需要使用增强型跨源连接时,可将所绑定的队列进行解绑,释放资源。 方式一 在“增强型跨源”页面,选择一条连接,单击该连接“操作”列中的“更多”>“解绑队列”,在弹出的对话框中,选择要解绑的队列,单击“确定”。 方式二 单击选择的连接名称,进入该连接的“ 详情”页面。选择要解绑的队列,单击该连接“操作”列中的“解绑队列”,在弹出的对话框中,选择要解绑的队列,单击“是”。
        来自:
        帮助文档
        数据湖探索
        用户指南
        增强型跨源连接
        绑定/解绑队列
      • 创建方式简介
        本章节主要介绍创建翼MapReduce服务的方式。 用户可以通过点击翼MapReduce产品页的“立即开通”或翼MR控制台内的“创建集群”进入订购页面,按需完成软件、硬件与基础配置,通过确认订单并支付,完成集群创建。支付后我们将为您尽快拉起集群,您可前往翼MR控制台查看集群的创建进度。 创建数据湖集群:数据湖集群提供更高效、灵活的集群管理,更快地运行大数据的计算引擎,更好地提供数据分析能力,帮助您更加方便快捷的对数据湖的计算、存储资源进行构建和管理。 创建数据分析集群:数据分析集群使用开源的MPP架构的OLAP分析引擎,支持亚秒级的数据查询和多表join,帮助您更加快捷的进行数据分析工作。 创建数据服务集群:数据服务集群提供高度可靠性、可扩展性的数据服务以满足您的数据需求。 创建实时数据流集群:实时数据流集群提供高效的流式计算、消息队列等组件能力,支持实时数据ETL和日志采集分析的业务需求。 创建自定义集群:自定义集群提供丰富灵活的服务搭配,支持自行选择业务所需服务。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        创建方式简介
      • 清除队列配置
        本章节主要介绍如何清除队列配置。 操作场景 当队列不再需要某个资源池的资源,或资源池需要与队列取消关联关系时,用户可以在MRS清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系,该资源池不能作为队列的默认资源池,需要先将队列的默认资源池更改为其他资源池,请参见配置队列。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 4.在“资源分配”列表指定队列的“操作”列,单击“清除”。 在“清除队列设置”中单击“是”,清除队列在当前资源池的配置。 说明 如果用户未配置队列的资源容量策略,则清除功能默认不可用。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        清除队列配置
      • 配置队列
        本章节主要介绍翼MapReduce的配置队列操作。 操作场景 根据业务需求,管理员可以在FusionInsight Manager修改指定租户的队列配置。 前提条件 已添加使用Superior调度器的租户。 操作步骤 1. 在FusionInsight Manager,单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“队列配置”页签。 4. “集群”参数选择待操作的集群名称,然后指定租户资源名的“操作”列,单击“修改”。 说明 l 在“租户资源管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击“队列配置(队列名)”后面的也能打开修改队列配置页面。 l 一个队列只能绑定一个非default资源池。 l 对于“每个YARN容器最多分配核数”、“每个YARN容器最大分配内存(MB)”、“最多运行任务数”、“每个用户最多运行任务数”和“最多挂起任务数”等参数,为便于操作,当子租户值为1时,父租户值可以设置为具体限制值;当父租户设置为具体限制值时,子租户可以设置为1。 l “每个YARN容器最多分配核数”和“每个YARN容器最大分配内存(MB)”需要同时修改为非1的值才会生效。 队列配置参数 参数名 描述 AM最多占有资源(%) 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数,默认为1,表示取值范围内不限制。 每个YARN容器最大分配内存(MB) 表示当前队列内单个YARN容器可分配的最大内存,默认为1,表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目,默认为1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。取值范围为1~2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目,默认为1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。取值范围为1~2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目,默认为1,表示取值范围内不限制(为空意义相同),为0表示不可挂起任务。取值范围为1~2147483647。 资源分配规则 表示单个用户任务间的资源分配规则,包括FIFO和FAIR。一个用户若在当前队列上提交了多个任务,FIFO规则代表一个任务完成后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签(Label)的节点上执行任务。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务,若提交任务,任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态,若提交任务,任务直接会被拒绝。 故障时是否队列迁移 集群开启单集群跨AZ高可用时,如果AZ故障后,需要当该租户正在运行的队列重新提交至其他AZ,可设置“故障时是否队列迁移”参数为“是”。 5. 单击“确定”完成配置。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Superior调度器的租户业务
        管理资源
        配置队列
      • 总览
        本文介绍总览页面内容。 操作步骤 登录科研助手管理控制台, 此处以【专业版】为例,在左侧导航栏单击“总览”。 总览页面分成功能引导 和数据概览。 功能引导 功能引导面向用户提供全流程、场景化的产品使用指引,帮助用户快速上手核心功能、解决操作疑问,降低科研上云的使用门槛。模块内置 AI 助理,提供场景化问题引导 + 自定义提问双模式。 数据概览 数据概览分成资源数据概览、队列概况、开发机运行概况、热门镜像、套餐包使用概况。 资源数据概览帮助用户实时掌握开发机、并行计算、科研服务、科研文件的资源动态。 队列概况展示当前队列的状态、资源使用量及上限等内容。 开发机运行概况指当前待创建、启用中、运行中等开发环境状态对应的开发机数量。 热门镜像展示的是基于用户实际使用行为,点击量与使用率靠前的镜像内容。 套餐包使用概况指当前套餐包GPU、CPU、内存用量情况。
        来自:
        帮助文档
        科研助手
        用户指南
        总览
      • 清除队列容量配置
        本章节主要介绍翼MapReduce的清除队列容量配置操作。 操作场景 当队列不再需要某个资源池的资源,或资源池需要与队列取消关联关系时,管理员可以在FusionInsight Manager清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系,该资源池不能作为队列的默认资源池,需要先将队列的默认资源池更改为其他资源池,请参见配置队列。 操作步骤 1. 登录FusionInsight Manager界面。 2. 选择“租户资源 > 动态资源计划”。 3. “集群”参数选择待操作的集群名称,然后在“资源池”,选择待操作的资源池。 4. 在资源分配表格,指定租户资源名的“操作”列,单击“清除”。 5. 在弹出的对话框中单击“确定”,清除队列在当前资源池的配置。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Superior调度器的租户业务
        管理资源
        清除队列容量配置
      • 应用场景
        本章介绍分布式缓存服务Redis版的典型应用场景。 Redis应用场景 很多大型电商网站、视频直播和游戏应用等,存在 大规模数据访问 ,对 数据查询效率要求高 ,且 数据结构简单 , 不涉及太多关联查询 。这种场景使用Redis,在速度上对传统磁盘数据库有很大优势,能够有效减少数据库磁盘IO,提高数据查询效率,减轻管理维护工作量,降低数据库存储成本。Redis对传统磁盘数据库是一个重要的补充,成为了互联网应用,尤其是支持高并发访问的互联网应用必不可少的基础服务之一。 以下举几个典型样例: 1. (电商网站)秒杀抢购 电商网站的商品类目、推荐系统以及秒杀抢购活动,适宜使用Redis缓存数据库。 例如秒杀抢购活动,并发高,对于传统关系型数据库来说访问压力大,需要较高的硬件配置(如磁盘IO)支撑。Redis数据库,单节点QPS支撑能达到10万,轻松应对秒杀并发。实现秒杀和数据加锁的命令简单,使用SET、GET、DEL、RPUSH等命令即可。 2. (视频直播)消息弹幕 直播间的在线用户列表,礼物排行榜,弹幕消息等信息,都适合使用Redis中的SortedSet结构进行存储。 例如弹幕消息,可使用ZREVRANGEBYSCORE排序返回,在Redis5.0中,新增了zpopmax,zpopmin命令,更加方便消息处理。 3. (游戏应用)游戏排行榜 在线游戏一般涉及排行榜实时展现,比如列出当前得分最高的10个用户。使用Redis的有序集合存储用户排行榜非常合适,有序集合使用非常简单,提供多达20个操作集合的命令。 4. (社交APP)返回最新评论/回复 在web类应用中,常有“最新评论”之类的查询,如果使用关系型数据库,往往涉及到按评论时间逆排序,随着评论越来越多,排序效率越来越低,且并发频繁。 使用Redis的List(链表),例如存储最新1000条评论,当请求的评论数在这个范围,就不需要访问磁盘数据库,直接从缓存中返回,减少数据库压力的同时,提升APP的响应速度。
        来自:
        帮助文档
        分布式缓存服务Redis版
        产品简介
        应用场景
      • 流控管理
        操作场景 分布式消息服务 Kafka 版支持按主题或用户/客户端来配置限流策略,避免因资源消耗过高而影响全量业务。 前提条件 流控管理仅支持集群版实例。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列,目标实例行点击“管理”按钮。 4. 点击“智能运维”、“流控管理”菜单进入流控管理页面。 5. 如需配置主题流控 ,在流控配置页卡的下拉框选择“Topic”选项并点击“创建流控”按钮。 6. 在弹窗填入主题名、生产上限速率、消费上限速率,点击“确定”按钮。 Topic:填入需要限流的主题名 速率范围:1MB/s — 1024MB/s 7. 如需配置用户/客户端流控 ,在流控配置页卡的下拉框选择“User/Client”选项并点击“创建流控”按钮。 8. 在弹窗填入用户名、客户端ID、生产上限速率、消费上限速率,点击“确定”按钮。 用户名:填入需要限流的用户名,与客户端ID不能同时为空 客户端ID:填入需要限流的客户端ID,与用户名不能同时为空 速率范围:1MB/s — 1024MB/s
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        智能运维
        流控管理
      • 关闭Smart Connect
        本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能,您可以关闭Smart Connect,释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后,实例会停止收取用于Smart Connect的代理费用,并自动删除用于Smart Connect的代理。 关闭Smart Connect后,再重新开启Smart Connect,已删除的Smart Connect任务无法找回,需要重新创建。 前提条件 已创建Kafka实例,且实例状态为“运行中”。 关闭Smart Connect前,请先删除所有的Smart Connect任务,否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击,选择Kafka实例所在的区域。 3、在管理控制台左上角单击,选择“应用服务 > 分布式消息服务 Kafka”,进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法,关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行,单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击,将Smart Connect设置为关闭,单击“下一步”。 6、确认“Smart Connect”为关闭状态,单击“提交”。 结束
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        Kafka数据迁移
        使用Smart Connect迁移Kafka数据
        关闭Smart Connect
      • 队列弹性扩缩容
        本章节主要介绍弹性扩缩容。 前提条件 新创建的队列需要运行作业后才可进行弹性扩缩容。 注意事项 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 如果在“弹性扩缩容”页面提示“Status of queue xxx is assigning, which is not available”,表示需要等待队列资源分配完毕才可进行扩缩容。 弹性扩容 当前队列规格不满足业务需要时,可以通过手动变更队列规格来扩容当前队列。 说明 扩容属于耗时操作,在DLI“弹性扩缩容”页面执行扩容操作后,需要等待大约10分钟,具体时长和扩容的CU值有关,等待一段时间后,可以通过刷新“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否扩容成功。或者在“作业管理”页面,查看“SCALEQUEUE”类型SQL作业的状态,如果作业状态为“弹性扩缩容中”,表示队列正在扩容中。 操作步骤如下: 1. 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 2. 选择需要扩容的队列,单击“操作”列“更多”中的“弹性扩缩容”。 3. 在“弹性扩缩容”页面,“变更方式”选择“扩容”,设置扩容的CU值。 4. 确认无误后,单击“确定”。 弹性缩容 当计算业务较小,不需要那么大的队列规格时,可以通过手动变更队列规格来缩容当前队列。 说明 缩容属于耗时操作,在DLI“弹性扩缩容”页面执行缩容操作后,需要等待大约10分钟,具体时长和缩容的CU值有关,等待一段时间后,可以通过刷新“队列管理”页面,对比“规格”和“实际CUs”大小是否一致来判断是否缩容成功。或者在“作业管理”页面,查看“SCALEQUEUE”类型SQL作业的状态,如果作业状态为“弹性扩缩容中”,表示队列正在缩容中。 系统不保证完全缩容到设定的目标大小。如果当前队列正在使用或者队列业务量比较大,会出现缩容不成功,或者缩容一部分规格的情况。 系统默认最小CU值为16CU,即当队列规格为16CUs时,不能进行手动缩容。 操作步骤如下: 1. 在DLI管理控制台左侧,选择“资源管理 >队列管理”。 2. 选择需要扩容的队列,单击“操作”列“更多”中的“弹性扩缩容”。 3. 在“弹性扩缩容”页面,“变更方式”选择“缩容”,设置缩容的CU值。 4. 确认无误后,单击“确定”。
        来自:
        帮助文档
        数据湖探索
        用户指南
        队列管理
        队列弹性扩缩容
      • 查询队列
        接口功能介绍 查询队列v3 接口约束 无 URI GET /v3/queue/query 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 prodInstId 是 String 实例ID 6b10c8b962244f1f921d1a48d0f15cca vhost 否 String vhost名称 vhost1 name 否 String 队列名称 pageNum 否 Integer 分页的页序号 1 pageSize 否 Integer 分页的大小 100 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池id 6b10c8b962244f1f921d1a48d0f15cca 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 returnObj Object 返回对象 returnObj message String 描述状态 success statusCode String 接口系统层面状态码。成功:800,失败:900 800 error String 错误码,描述错误信息,只有失败才显示 AMQPAMQP 表 returnObj 参数 参数类型 说明 示例 下级对象 data Object 返回数据 data 表 data 参数 参数类型 说明 示例 下级对象 filteredcount Integer 按name过滤后的总队列数 2 itemcount Integer 当前页面上的队列数量 2 items Array of Objects 队列详细信息 items page Integer 当前页数 1 pagecount Integer 总页数 1 pagesize Integer 分页设置的每个页面的最多队列数 100 totalcount Integer 总队列数 2 表 items 参数 参数类型 说明 示例 下级对象 vhost String 虚拟机名称 / durable Boolean 是否持久化,默认持久化 true name String 队列名称 qu1 autodelete Boolean 是否自动删除 false consumers Integer 消费者数量 0
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        API参考
        API
        2022-04-06
        队列管理
        查询队列
      • 配置队列
        本章节主要介绍翼MapReduce的配置队列操作。 操作场景 根据业务需要,管理员可以通过FusionInsight Manager修改指定租户的队列配置。 前提条件 已添加使用Capacity调度器的租户。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 动态资源计划”。 默认显示“资源分布策略”。 3. 单击“队列配置”页签。 4. “集群”参数选择待操作的集群名称,然后在指定租户资源名的“操作”列,单击“修改”。 说明 l 在“租户管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击也能打开修改队列配置页面。 l 一个队列只能绑定一个非default资源池。 队列配置参数 参数名 描述 租户资源名(队列) 租户及队列名称。 最大应用数量 表示最大应用程序数量。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。 用户资源最小上限百分比(%) 表示每个用户最低资源保障(百分比)。任何时刻,一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时,每个用户的使用资源量在一个最小值和最大值之间浮动,其中,最小值取决于正在运行的应用程序数目,而最大值则由此参数决定。比如,假设此参数的值设置为25。当两个用户向该队列提交应用程序时,每个用户可使用资源量不能超过50%,如果三个用户提交应用程序,则每个用户可使用资源量不能超多33%,如果四个或者更多用户提交应用程序,则每个用户可用资源量不能超过25%。 用户资源上限因子 表示用户使用的最大资源限制因子,与当前租户在集群中实际资源百分比相乘,可计算出用户使用的最大资源百分比。 状态 表示资源计划当前的状态,“运行”为运行状态,“停止”为停止状态。 默认资源池 表示队列使用的资源池,默认为“default”。如果需要修改为其他资源池,需要先配置队列容量,请参见配置资源池的队列容量策略。 5. 单击“确定”完成配置。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Capacity调度器的租户业务
        管理资源
        配置队列
      • 创建角色
        支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限: “Submit”:表示在队列提交作业的权限。 “Admin”:表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型,表示父队列,可以包含子队列。根队列也属于父队列的一种。 具体权限: “Submit”:表示在队列提交作业的权限。 “Admin”:表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型,表示叶子队列。 具体权限: “Submit”:表示在队列提交作业的权限。 “Admin”:表示管理当前队列的权限。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        权限管理
        创建角色
      • 迁移上云
        分布式消息服务Kafka提供全托管、免运维的迁移上云服务,用于自建实例或跨云云实例与分布式消息服务Kafka实例之间的数据同步。本文介绍迁移上云的源实例类型、使用限制、跨VPC数据同步以及使用流程。 背景信息 迁移上云可以把源云分布式消息服务Kafka集群的元数据(Topic和Group配置信息)、消息数据和点位信息同步到目标集群,迁移完成后目标集群的元数据与原集群的元数据保持一致,并且支持持续更新和完成后自动停止任务。 使用限制 1. 此功能不收费,会占用当前实例的服务器资源,请结合业务流量和服务器资源占用情况,在合理的情况下进行迁移。 2. 单机版不支持迁移。 计费说明 分布式消息服务Kafka的迁移上云组件处于公测阶段,不会在分布式消息服务Kafka侧产生费用。同时,天翼云不承诺迁移的SLA,使用迁移上云所依赖的其他产品的SLA和费用说明请以对应产品为准。 环境要求 如果您需要通过迁移上云功能将公网的自建实例的数据同步到分布式消息服务Kafka或者跨地域将某个VPC内的分布式消息服务Kafka的数据同步到另一个VPC的分布式消息服务Kafka,您需要为该实例绑定弹性IP开启公网访问,然后在公网上进行数据同步。 如果您需要将某个VPC内的数据通过迁移上云功能同步到另一个VPC的分布式消息服务Kafka,需要手动打通VPC。具体步骤,请参见:使用VPCEP实现跨VPC访问Kafka
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        集群迁移
        迁移上云
      • ALM-18022 Yarn队列资源不足
        本章节主要介绍ALM18022 Yarn队列资源不足的告警。 告警解释 告警模块按60秒周期检测Yarn队列资源,当队列可用资源或队列AM(ApplicationMaster)可用资源不足时,产生该告警。 当可用资源充足时,该告警自动消除。 告警属性 告警ID 告警级别 是否自动清除 18022 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小。 AM最大资源百分比设置过小。 处理步骤 检查告警详情 1.在FusionInsight Manager界面,选择“运维 > 告警 > 告警”,弹出告警页面。 2.查看“Yarn队列资源不足”告警详情中的“定位信息”,查看“定位信息”是否为“队列名root;队列指标名Memory”或“队列名root;队列指标名vCores”。 是,执行步骤3。 否,执行步骤4。 3.出现该定位信息表示Yarn集群内存或CPU不足,登录NodeManager节点,分别使用命令free g和 cat /proc/cpuinfo ,查询节点可用内存和可用CPU,据此在FusionInsight Manager界面增大Yarn NodeManager的资源参数“yarn.nodemanager.resource.memorymb”和“yarn.nodemanager.resource.cpuvcores”的值,然后重启NodeManager实例。查看该告警是否消除。 是,处理完毕。 否,执行步骤4。 4.查看“定位信息”为“队列名 ;队列指标名Memory”或“队列名 ;队列指标名vCores”,然后查看“附加信息”是否包含“available Memory ”或“available vCores ”。 是,执行步骤5。 否,执行步骤7。 5.出现该附加信息表示该租户队列内存或者CPU不足,选择“租户资源 > 动态资源计划 > 资源分布策略”,调大“最大资源容量”的值,查看该告警是否消除。 是,处理完毕。 否,执行步骤6。 6.选择“集群 > 待操作集群的名称 > 服务 > Yarn >配置 > 全部配置”,输入搜索关键字“threshold”,单击“ResourceManager”,调整如下参数阈值: 如果“附加信息”中包含“available Memory ”,调整“yarn.queue.memory.alarm.threshold”的阈值使其小于“附加信息”中的“available Memory ”的值。 如果“附加信息”中包含“available vCores ”,调整“yarn.queue.vcore.alarm.threshold”的阈值使其小于“附加信息”中的“available vCores ”的值。 等待5分钟,查看该告警是否消除。 是,处理完毕。 否,执行步骤9。 7.查看“附加信息”包含“available AmMemory ”或“available AmvCores ”,表示该租户队列的ApplicationMaster内存和CPU不足,选择“租户资源 > 动态资源计划 > 队列配置”,增大“AM最大资源百分比”,查看该告警是否消除。 是,处理完毕。 否,执行步骤8。 8.选择“集群 > 待操作集群的名称 >服务 > Yarn > 配置 > 全部配置”,输入搜索关键字“threshold”,单击“ResourceManager”:调整如下参数阈值: 如果“附加信息”包含“available AmMemory ”,调整“yarn.am.memory.alarm.threshold”的阈值使其小于“附加信息”中的“available AmMemory ”的值。 如果“附加信息”包含“available AmvCores ”,调整“yarn.am.vcore.alarm.threshold”的阈值使其小于“附加信息”中的“available AmvCores ”的值。 等待5分钟,查看该告警是否消除。 是,处理完毕。 否,执行步骤9。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-18022 Yarn队列资源不足
      • 配置队列
        本章节主要介绍 配置队列。 操作场景 用户根据业务需求,可以在MRS Manager修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 操作步骤 在MRS Manager,单击“租户管理”。 1. 单击“动态资源计划”页签。 2. 单击“队列配置”页签。 3. 在租户队列表格,指定租户队列的“操作”列,单击“修改”。 说明 在“租户管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击也能打开修改队列配置页面。 队列配置参数 参数名 描述 “最大应用数量” 表示最大应用程序数量。取值范围从“1”到“2147483647”。 “AM最大资源百分比” 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 “用户资源最小上限百分比(%)” 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 “用户资源上限因子” 表示用户使用的最大资源限制因子,与当前租户在集群中实际资源百分比相乘,可计算出用户使用的最大资源百分比。最小值为“0”。 “状态” 表示资源计划当前的状态,“运行”为运行状态,“停止”为停止状态。 “默认资源池” 表示队列使用的资源池。默认为“Default”,如果需要修改为其他资源,需要先配置队列容量,请参见配置资源池的队列容量策略。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        租户管理
        配置队列
      • 配置资源池的队列容量策略
        本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后,需要为Yarn任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。 该任务指导系统管理员通过FusionInsight Manager配置队列策略。使用Superior调度器的租户队列,可以配置使用不同资源池的资源。 前提条件 已登录FusionInsight Manager。 已添加资源池。 任务队列不与其他队列相关联资源池,除了默认资源池。 操作步骤 1. 在FusionInsight Manager,单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“资源分布策略”页签。 4. “集群”参数选择待操作的集群名称,然后在“资源池”选择指定的资源池。 5. 在“资源分配”列表指定队列的“操作”列,单击“修改”。 6. 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。 “权重”:表示租户能获得的资源。其初始值与最小资源百分比值一致。 “最小资源”:表示租户能获得的最少资源。 “最大资源”:表示租户能获得的最多资源。 “预留资源”:表示保留给租户自身队列,且不能借用给其他租户队列的资源。 7. 在“修改资源分配”窗口的“用户策略”页签设置用户策略。 说明 defaultUser(builtin)表示如果一个用户未配置策略,则默认使用defaultUser所指定的策略。该策略不可删除。 单击“添加用户策略”添加用户策略。 − “用户名”:表示用户的名称。 − “权重”:表示用户能获得的资源。 − “最多核数”:表示用户最多可以使用的虚拟核数。 − “最大内存”:表示用户最大可以使用的内存。 单击“操作”列的“修改”修改现有用户策略。 单击“操作”列的“清除”删除现有用户策略。 8. 单击“确定”保存配置。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Superior调度器的租户业务
        管理资源
        配置资源池的队列容量策略
      • 队列管理
        本节介绍队列管理常见问题及其解决办法。 队列中的资源如何分配和使用? 队列可设置CPU、内存、GPU等资源,AI任务会根据队列的优先级进行资源抢占,完成优先级队列调度。
        来自:
        帮助文档
        智算套件
        常见问题
        队列管理
      • 创建实例
        安全组 安全组可重复使用,您也可以根据实际情况使用不同的安全组,请根据实际需要进行配置。 创建安全组的操作指导,请参考虚拟私有云创建安全组。 若需要为安全组添加规则,请参考虚拟私有云安全组添加安全组规则。 弹性云主机 用户若需要自己客户应用接入RocketMQ发送、消费消息,需先购买弹性云主机并确保和RocketMQ实例在同一VPC下。创建操作说明请参见创建弹性云主机。 订购实例 实例介绍 RocketMQ实例订购支持用户自定义规格和自定义特性,采用物理隔离的方式部署。租户独占RocketMQ实例,可根据业务需要可定制相应规格的RocketMQ实例。在新的资源池节点上,还支持选择主机类型和存储规格等丰富用户选项。 操作步骤 1、在产品详情页点击立即开通按钮,或者进入消息管理控制台创建实例,进入订购分布式消息RocketMQ页面。 2、点击创建实例进入对应页面,左上角选择目标资源池。 1)填写实例名称,系统默认实例名称,用户可直接修改。 2)选择引擎类型,目前默认选择RocketMQ引擎,完全兼容开源客户端的高性能低延时的消息队列。 3)选择计费模式:包年包月/按需计费,两种模式说明参见计费模式。 4)购买时长按照计费模式选择变化: 计费模式为包年包月,可选择购买时长16个月、1年。该模式提供自动续期功能,勾选后可以自动续期购买时长:16个月、1年。 计费模式为按需计费,则该选项隐藏无需选择。 5)部署方式有单可用区和多可用区两个选项,目前仅支持单可用区和3可用区部署,单可用区部署请选中任意一个AZ;多可用区部署请选中3个AZ,系统会自动将Broker节点平均分配至各可用区。 6)设置主备节点对数,可输入1~16。主备节点通常是指主题(Topic)的生产者和消费者之间的角色切换。当主节点发生故障或不可用时,备节点可以自动接管并继续提供服务。这种主备节点的设计可以确保系统的稳定性和可靠性。 7)主机类型为计算增强型。计算增强型云主机独享宿主机的CPU资源,实例间无CPU争抢,并且没有进行资源超配,同时搭载全新网络加速引擎,实现接近物理服务器的强劲稳定性能。 8)选择实例规格,分布式消息服务RocketMQ提供计算增强型2C4G、4C8G等一系列规格,各规格详细说明参见弹性云主机规格。 9)选择存储空间,包括磁盘类型和空间。 磁盘类型提供高IO/超高IO。高IO:适用于主流的高性能、高可靠应用场景。超高IO:适用于超高IOPS、超大带宽需求的读写密集型应用场景。了解更多磁盘类型说明参见云硬盘规格。 磁盘空间以100G起步,可以以100倍数增加磁盘空间。 10)选择已有虚拟私有云,若无虚拟私有云,点击创建跳转到虚拟私有云页面新增,了解更多内容参见虚拟私有云。 11)选择已有子网,若无子网,点击创建跳转到子网页面新增。 12)选择已有安全组,若无安全组,点击创建跳转到安全组页面新增。 13) 填写完上述信息后,单击“下一步”,进入费用确认页面。 14)确认实例信息无误后,提交请求。 15)在实例列表页面,查看RocketMQ实例是否创建成功。创建实例大约需要3到15分钟,此时实例状态为“创建中”。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        用户指南
        创建实例
      • 配置Kafka实例的公网访问
        关闭IPv4公网访问(支持修改明文/密文接入) 1. 登录管理控制台。 2. 在管理控制台左上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 3. 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka”,进入分布式消息服务Kafka专享版页面。 4. 单击Kafka实例的名称,进入实例的“基本信息”页面。 5. 关闭公网访问前,需要先关闭公网访问中的“明文接入”和“密文接入”。然后在“公网访问”后,单击,弹出确认关闭对话框。 6. 单击“确认”,跳转到“后台任务管理”页面。当任务状态显示为“成功”时,表示成功关闭公网访问。 关闭公网访问后,需要设置对应的安全组规则,才能成功通过内网连接Kafka。 表4 Kafka实例安全组规则(内网访问) 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例(明文接入)。 入方向 TCP IPv4 9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例(密文接入)。 说明 创建安全组后,系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则,此时使用内网通过同一个VPC访问Kafka实例,无需添加表4的规则。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        连接Kafka实例
        配置Kafka实例的公网访问
      • 创建队列
        本文介绍如何在科研助手中创建队列。 概述 基于资源池/队列的两级资源分配与隔离,其中资源池一般为物理隔离,队列为逻辑隔离;队列提供动态资源上限,为资源利用率和公平性分配自动寻求最优解。 操作步骤 开始创建 1.登录科研助手管理控制台。 2.在控制台左侧导航栏中,选择【资源配额】的【队列管理】。 3.在【队列管理】页面中,点击左上角的【创建队列】按钮。 创建共享资源池队列 在【创建队列】抽屉中,填写基础信息和高级配置内容。 【基础信息】 基础信息参数 说明 是否必选 队列名称 输入作业名称。要求如下: 长度范围为4~50个字符。名称由小写字母、数字、中划线()组成。 以小写字母开头。以小写字母或数字结尾。 是 资源池 在选择资源池类型后,再选择资源池,如果还未创建资源池,可单击“创建共享资源池”进行创建,具体操作请参见共享资源池。 是 队列描述 选填,输入对该队列的描述。要求如下:由<>以外的字符组成。长度为0~1024个字符组成。 否 高级配置 高级配置参数 说明 是否必选 资源上限 该队列的资源限制,不同的专属资源池中配有不同规格的最大资源上限。可填资源包括“CPU”核心数(核)、内存(GB)和“GPU”数量(块),保留小数点后两位为有效数字。 是
        来自:
        帮助文档
        科研助手
        用户指南
        资源配额
        队列管理
        创建队列
      • 配置队列
        本章节主要介绍如何配置队列。 操作场景 用户根据业务需求,可以在MRS修改指定租户的队列配置。 前提条件 已添加关联Yarn并分配了动态资源的租户。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“队列配置”页签。 3.在租户队列表格,指定租户队列的“操作”列,单击“修改”。 说明 说明 在“租户管理”页签左侧租户列表,单击目标的租户,切换到“资源”页签,单击也能打开修改队列配置页面。 一个队列只能绑定一个非default资源池。 MRS 3.x之前版本: 队列配置参数 参数名 描述 最大应用数量 表示最大应用程序数量。取值范围从“1”到“2147483647”。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。取值范围从“0”到“1”。 用户资源最小上限百分比(%) 表示用户使用的最小资源上限百分比。取值范围从“0”到“100”。 用户资源上限因子 表示用户使用的最大资源限制因子,与当前租户在集群中实际资源百分比相乘,可计算出用户使用的最大资源百分比。最小值为“0”。 状态 表示资源计划当前的状态,“运行”为运行状态,“停止”为停止状态。 默认资源池 表示队列使用的资源池。默认为“default”,如果需要修改为其他资源,需要先配置队列容量,请参见配置资源池的队列容量策略。 MRS 3.x及之后版本: 队列配置参数 参数名 描述 AM最多占有资源(%) 表示当前队列内所有Application Master所占的最大资源百分比。 每个YARN容器最多分配核数 表示当前队列内单个YARN容器可分配的最多核数,默认为1,表示取值范围内不限制。 每个YARN容器最大分配内存(MB) 表示当前队列内单个YARN容器可分配的最大内存,默认为1,表示取值范围内不限制。 最多运行任务数 表示当前队列最多同时可执行任务的数目,默认为1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。取值范围为1~2147483647。 每个用户最多运行任务数 表示每个用户在当前队列中最多同时可执行任务的数目,默认为1,表示取值范围内不限制(为空意义相同),为0表示不可执行任务。取值范围为1~2147483647。 最多挂起任务数 表示当前队列最多同时可挂起任务的数目,默认为1,表示取值范围内不限制(为空意义相同),为0表示不可挂起任务。取值范围为1~2147483647。 资源分配规则 表示单个用户任务间的资源分配规则,包括FIFO和FAIR。 一个用户若在当前队列上提交了多个任务,FIFO规则代表一个任务完成后再执行其他任务,按顺序执行。FAIR规则代表各个任务同时获取到资源并平均分配资源。 默认资源标签 表示在指定资源标签(Label)的节点上执行任务。 说明 如果需要使用新的资源池,需要修改默认标签为新的资源池标签。 Active状态 ACTIVE表示当前队列可接受并执行任务。 INACTIVE表示当前队列可接受但不执行任务,若提交任务,任务将处于挂起状态。 Open状态 OPEN表示当前队列处于打开状态。 CLOSED表示当前队列处于关闭状态,若提交任务,任务直接会被拒绝。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        配置队列
      • 数据湖探索监控指标说明及查看指导
        指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) queuecunum 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queuejoblaunchingnum 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列 5分钟 queuejobrunningnum 运行中作业数 展示用户队列中状态为运行中的作业数。 ≥0 队列 5分钟 queuejobsucceednum 已完成作业数 展示用户队列中状态为已完成的作业数。 ≥0 队列 5分钟 queuejobfailednum 已失败作业数 展示用户队列中状态为已失败的作业数。 ≥0 队列 5分钟 queuejobcancellednum 已取消作业数 展示用户队列中状态为已取消的作业数。 ≥0 队列 5分钟 queuecpuusage 队列CPU使用率 展示用户队列的CPU使用率。 0~100 队列 5分钟 queuediskusage 队列磁盘使用率 展示用户队列的磁盘使用率。 0~100 队列 5分钟 queuediskused 队列磁盘使用率最大值 展示用户队列的磁盘使用率的最大值。 0~100 队列 5分钟 queuememusage 队列内存使用率 展示用户队列的内存使用率。 0~100 队列 5分钟 queuememused 队列内存使用量 展示用户队列的内存使用量。 ≥0 队列 5分钟 flinkreadrecordspersecond Flink作业数据输入速率 展示用户Flink作业的数据输入速率,供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordspersecond Flink作业数据输出速率 展示用户Flink作业的数据输出速率,供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadrecordstotal Flink作业数据输入总数 展示用户Flink作业的数据输入总数,供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkwriterecordstotal Flink作业数据输出总数 展示用户Flink作业的数据输出总数,供监控和调试使用。 ≥0 Flink作业 10秒钟 flinkreadbytespersecond Flink作业字节输入速率 展示用户Flink作业每秒输入的字节数。 ≥0 Flink作业 10秒钟 flinkwritebytespersecond Flink作业字节输出速率 展示用户Flink作业每秒输出的字节数。 ≥0 Flink作业 10秒钟 flinkreadbytestotal Flink作业字节输入总数 展示用户Flink作业字节的输入总数。 ≥0 Flink作业 10秒钟 flinkwritebytestotal Flink作业字节输出总数 展示用户Flink作业字节的输出总数。 ≥0 Flink作业 10秒钟 flinkcpuusage Flink作业CPU使用率 展示用户Flink作业的CPU使用率。 0~100 Flink作业 10秒钟 flinkmemusage Flink作业内存使用率 展示用户Flink作业的内存使用率。 0~100 Flink作业 10秒钟 flinkmaxoplatency Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间,单位ms。 ≥0 Flink作业 10秒钟 flinkmaxopbackpressurelevel Flink作业最大算子反压 展示用户Flink作业的最大算子反压值,数值越大,反压越严重。 0:表示OK 50:表示Low 100:表示High 0~100 Flink作业 10秒钟
        来自:
        帮助文档
        数据湖探索
        用户指南
        其他常用操作
        数据湖探索监控指标说明及查看指导
      • 跨源连接问题
        问题描述 创建跨源并绑定新创建的DLI队列,测试跨源的网络连通性时失败,有如下报错信息: failed to connect to specified address 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题的原因。 如果解决完某个可能原因仍未解决问题,请继续排查其他可能原因。 检查是否在域名或者IP后添加了端口 检查是否连接的是对端VPC和子网 检查队列的网段是否与数据源网段是否重合 检查是否为DLI授权了VPC Administrator权限 检查对端安全组是否放通队列的网段 检查增强型跨源连接对应的对等连接的路由信息 检查VPC网络是否设置了ACL规则限制了网络访问 检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如,测试队列与指定RDS实例连通性,本例RDS实例使用3306端口。 测试连通性如下所示。 检查是否连接的是对端VPC和子网 创建增强型跨源连接时需要填写对端的VPC和子网。 例如,测试队列与指定RDS实例连通性,创建连接时需要填写RDS的VPC和子网信息。 检查队列的网段是否与数据源网段是否重合 绑定跨源的DLI队列网段和数据源网段不能重合。 您可以从连接日志判断是否是队列与数据源网段冲突。 即当前队列A网段与其他队列B网段冲突,且队列B已经建立了与数据源C的增强型跨源连接。因此提示队列A与数据源C的网段冲突,无法建立新的增强型跨源连接。 解决措施:修改队列网段或重建队列。 建议创建队列时就规划好网段划分,否则冲突后只能修改队列网段或重建队列。
        来自:
        帮助文档
        数据湖探索
        常见问题
        操作类
        跨源连接相关问题
        跨源连接问题
      • 创建并提交Spark Jar作业
        创建队列 第一次提交Spark作业,需要先创建队列,例如创建名为“sparktest”的队列,队列类型选择为“通用队列”。 1.登录DLI管理控制台。 2.在DLI管理控制台的左侧导航栏中,选择“资源管理 > 队列管理”。 3.单击“队列管理”页面右上角“创建队列”进行创建队列。 4.创建名为“sparktest”的队列,队列类型选择为“通用队列”。创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。 5.单击“立即创建”,完成队列创建。 创建程序包 提交Spark作业之前需要创建程序包,例如“sparkexamples.jar”。 1.在管理控制台左侧,单击“数据管理”>“程序包管理”。 2.在“程序包管理”页面,单击右上角“创建”可创建程序包。 3.在“创建程序包”对话框,“包类型”选择“JAR”,“OBS路径”选择步骤2:上传数据至OBS中“sparkexamples.jar”的包路径,“分组设置”参数选择为“不分组”。 4.单击“确定”,完成创建程序包。 程序包创建成功后,您可以在“程序包管理”页面查看和选择使用对应的包。 创建程序包详细介绍请参考《数据湖探索用户指南》>《创建程序包》。 提交Spark作业 1.在DLI管理控制台,单击左侧导航栏中的“作业管理”>“Spark作业”,单击“创建作业”,进入创建Spark作业页面。 2.在Spark作业编辑页面中,“所属队列”选择步骤4:创建队列中创建的队列,“应用程序”选择步骤5:创建程序包创建的程序包。 其他参数请参考《数据湖探索用户指南》>《创建Spark作业》中关于Spark作业编辑页面的说明。 3.单击Spark作业编辑页面右上方“执行”,阅读并同意隐私协议,单击“确定”。提交作业,页面显示“作业提交成功”。 4.(可选)可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。 说明 在DLI管理控制台第一次单击“执行”操作时,需要阅读隐私协议,同意确定后,后续操作将不会再提示。
        来自:
        帮助文档
        数据湖探索
        快速入门
        创建并提交Spark Jar作业
      • 查询队列(1)
        接口功能介绍 查询队列v3 接口约束 无 URI GET /v3/queue/query 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 prodInstId 是 String 实例ID 6b10c8b962244f1f921d1a48d0f15cca vhost 否 String vhost名称 vhost1 name 否 String 队列名称 pageNum 否 Integer 分页的页序号 1 pageSize 否 Integer 分页的大小 100 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池id 6b10c8b962244f1f921d1a48d0f15cca 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 returnObj Object 返回对象 returnObj message String 描述状态 success statusCode String 接口系统层面状态码。成功:800,失败:900 800 error String 错误码,描述错误信息,只有失败才显示 AMQPAMQP 表 returnObj 参数 参数类型 说明 示例 下级对象 data Object 返回数据 data 表 data 参数 参数类型 说明 示例 下级对象 filteredcount Integer 按name过滤后的总队列数 2 itemcount Integer 当前页面上的队列数量 2 items Array of Objects 队列详细信息 items page Integer 当前页数 1 pagecount Integer 总页数 1 pagesize Integer 分页设置的每个页面的最多队列数 100 totalcount Integer 总队列数 2 表 items 参数 参数类型 说明 示例 下级对象 vhost String 虚拟机名称 / durable Boolean 是否持久化,默认持久化 true name String 队列名称 qu1 autodelete Boolean 是否自动删除 false consumers Integer 消费者数量 0
        来自:
      • 创建角色
        支持权限管理的资源 权限设置说明 “Cluster Admin Operations” 选中时表示授予YARN管理员权限。 “root” YARN的根队列。 具体权限: “Submit”:表示在队列提交作业的权限。 “Admin”:表示管理当前队列的权限。 “Parent Queue” YARN的一种资源类型,表示父队列,可以包含子队列。根队列也属于父队列的一种。 具体权限: “Submit”:表示在队列提交作业的权限。 “Admin”:表示管理当前队列的权限。 “Leaf Queue” YARN的一种资源类型,表示叶子队列。 具体权限: “Submit”:表示在队列提交作业的权限。 “Admin”:表示管理当前队列的权限。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        MRS多用户权限管理
        创建角色
      • 1
      • ...
      • 14
      • 15
      • 16
      • 17
      • 18
      • ...
      • 261
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      云聚517 · 好价翼起拼

      爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      产品推荐

      多活容灾服务 MDR

      GPU云主机

      镜像服务 IMS

      轻量型云主机

      弹性伸缩服务 AS

      弹性高性能计算 E-HPC

      公共算力服务

      应用托管

      科研助手

      推荐文档

      android端

      批量登录主机

      操作指南

      如何充值?

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号