爆款云主机低至25.83元/年
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 云聚517 · 好价翼起拼 NEW 爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
Token服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V4-Flash
  • GLM-5.1
  • Qwen3.5-122B-A10B
  • DeepSeek-V3.2(旗舰版)
  • GLM-5(正式版)
智算一体机
  • 智算一体机
智能体引擎
  • 智能体引擎
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      天翼云门户网址_相关内容
      • 配置资源池的队列容量策略
        本章节主要介绍如何配置资源池的队列容量策略。 操作场景 添加资源池后,需要为YARN任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下,所有队列与“default”资源池存在关联关系。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 “可用资源配额”:表示每个资源池默认所有资源都可分配给队列。 4.在“资源分配”列表指定队列的“操作”列,单击“修改”。 5.在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”:表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”:表示当前租户计算资源使用的最大资源百分比。 6.单击“确定”保存配置。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        配置资源池的队列容量策略
      • 安装客户端
        输入admin用户登录密码(与登录集群的用户密码一致) d.输入klist命令查询并确认权限内容。 Ticket cache: FILE:/tmp/krb5cc0 Default principal: admin@HADOOP.COM Valid starting Expires Service principal 04/09/2021 18:22:35 04/10/2021 18:22:29 krbtgt/HADOOP.COM@HADOOP.COM 说明 使用kinit认证时,票据默认会存放到“/tmp/krb5cc uid ”目录中。 uid表示当前登录操作系统的用户id,例如root用户的uid为0,那么root用户登录系统后使用kinit认证的票据会默认存放在“/tmp/krb5cc0”。 若当前用户对于“/tmp”目录没有读写权限,则会将票据缓存路径修改为“客户端安装目录/tmp/krb5ccuid”,例如客户端安装目录为“/opt/hadoopclient”,则kinit认证的票据会存放在“/opt/hadoopclient/tmp/krb5ccuid”。 使用kinit认证时,如果使用相同的用户登录操作系统,则存在票据相互覆盖的风险。可使用c cachename参数指定票据缓存位置,或者通过设置KRB5CCNAME环境变量避免该问题。 12. 集群重装后,之前安装的客户端将不再可用,需要重新部署客户端。 a.以root用户登录客户端所在节点。 b.使用以下命令查看客户端所在目录(下例中“/opt/hadoopclient”为客户端所在目录)。 ll /opt drwxrx. 6 root root 4096 Dec 11 19:00 hadoopclient drwxrxrx. 3 root root 4096 Dec 9 02:04 godi drwx. 2 root root 16384 Nov 6 01:03 lost+found drwxrxrx. 2 root root 4096 Nov 7 09:49 rh c.使用mv命令移除所有客户端程序所在文件夹内的文件(例如移除“/opt/hadoopclient”文件夹)。 mv /opt/hadoopclient /tmp/clientbackup d.重新安装客户端。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        配置客户端
        安装客户端
      • HDFS客户端对接OBS文件系统
        本章节主要介绍HDFS客户端对接OBS文件系统。 使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。 1. 以客户端安装用户登录安装了HDFS客户端的节点。 2. 执行以下命令,切换到客户端安装目录。 cd ${clienthome} 3. 执行以下命令配置环境变量。 source bigdataenv 4. 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 5. 在hdfs命令行显式添加要访问的OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs ls obs:// OBS 并行文件系统名称 /路径 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。 hdfs dfs put /opt/test.txt obs:// OBS 并行文件系统名称/ 路径 说明 OBS文件系统打印大量日志可能导致读写性能受影响,可通过调整OBS客户端日志级别优化,日志调整方式如下: cd ${clienthome}/HDFS/hadoop/etc/hadoop vi log4j.properties 在文件中添加OBS日志级别配置 log4j.logger.org.apache.hadoop.fs.obsWARN log4j.logger.com.obsWARN
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置存算分离
        使用存算分离集群
        HDFS客户端对接OBS文件系统
      • 使用Kudu客户端
        本章节主要介绍使用Kudu客户端 。 使用Kudu客户端 Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性:可水平扩展,并支持高可用性操作。 前提条件 已安装集群客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 操作步骤 1. 以客户端安装用户,登录安装客户端的节点。 2. 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 运行Kudu命令行工具。 直接执行Kudu组件的命令行工具,查看帮助。 kudu h 回显信息如下: Usage: kudu [ ] can be one of the following: cluster Operate on a Kudu cluster diagnose Diagnostic tools for Kudu servers and clusters fs Operate on a local Kudu filesystem hms Operate on remote Hive Metastores localreplica Operate on local tablet replicas via the local filesystem master Operate on a Kudu Master pbc Operate on PBC (protobuf container) files perf Measure the performance of a Kudu cluster remotereplica Operate on remote tablet replicas on a Kudu Tablet Server table Operate on Kudu tables tablet Operate on remote Kudu tablets test Various test actions tserver Operate on a Kudu Tablet Server wal Operate on WAL (writeahead log) files 说明 kudu命令行工具不提供DDL、DML等操作,但提供针对cluster、master、tserver、fs、table等的细化查询功能。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        各组件客户端使用实践
        使用Kudu客户端
      • 查看事件列表
        常见事件列表 常见事件列表 事件ID 事件名称 12019 停止服务 12020 删除服务 12021 停止实例 12022 删除实例 12023 删除节点 12024 重启服务 12025 重启实例 12026 Manager主备倒换 12065 进程重新启动 12070 作业执行成功 12071 作业执行失败 12072 作业被终止 12086 Agent进程重启 14005 NameNode主备倒换 14028 HDFS磁盘均衡任务 14029 主NameNode进入安全模式并生产新的Fsimage 17001 Oozie工作流执行失败 17002 Oozie定时任务执行失败 18001 ResourceManager主备倒换 18004 JobHistoryServer主备倒换 19001 HMaster主备倒换 20003 Hue发生主备切换 24002 Flume Channel溢出 25001 LdapServer主备倒换 27000 DBServer主备倒换 38003 Topic数据保存周期配置调整 43014 Spark2x数据倾斜 43015 Spark2x SQL超大查询结果 43016 Spark2x SQL执行超时 43024 启动JDBCServer 43025 停止JDBCServer 43026 ZooKeeper连接成功 43027 ZooKeeper连接异常
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        告警管理
        查看事件列表
      • 配置角色实例参数
        本章节主要介绍如何配置角色实例参数。 操作场景 用户可以根据实际业务场景,在MRS中快速查看及修改角色实例默认的配置。支持导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并更新客户端配置文件。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 修改角色实例参数 1.在集群详情页,单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”页签。 6.将页面右侧“基础配置”切换为“全部配置”,界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改,可以单击恢复。 8.单击“保存配置”,勾选“重新启动受影响的服务或实例。”并单击“确定”,重启角色实例。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        配置角色实例参数
      • 同步角色实例配置
        本章节主要介绍如何进行同步角色实例配置。 操作场景 当用户发现角色实例的“配置状态”为“配置超期”或“配置失败”时,可以在MRS尝试使用同步配置功能,同步角色实例的配置数据与后台配置数据,以恢复配置状态。 对系统的影响 同步配置角色实例后需要重启配置过期的角色实例。重启时对应的角色实例不可用。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“组件管理”。 2.选择服务名称。 3.单击“实例”页签。 4.在角色实例列表中,单击指定角色实例名称。 5.在角色实例状态及指标信息上方,选择“更多 > 同步配置”。 6.在弹出窗口勾选“重启配置过期的服务”,并单击“是”重启角色实例。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        同步角色实例配置
      • MapReduce对接OBS文件系统
        本章节主要介绍MapReduce对接OBS文件系统 。 使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。 1. 登录MRS管理控制台,单击集群名称进入集群详情页面。 2. 选择“组件管理 > Mapreduce”,进入Mapreduce服务“全部配置”页面,在左侧的导航列表中选择“Mapreduce>自定义”。在自定义配置项中,给参数文件“coresite.xml”添加配置项“mapreduce.jobhistory.alwaysscanuserdir”,设置值为“true”。 3. 保存配置,并重启Mapreduce服务。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置存算分离
        使用存算分离集群
        MapReduce对接OBS文件系统
      • 开源组件Web站点
        本章主要介绍开源组件Web站点 。 场景介绍 MRS集群默认在集群的Master节点或Core节点创建并托管了不同组件的Web站点,用户可以通过这些Web站点查看组件相关信息。 访问开源组件Web站点步骤: 1. 配置访问方式。 MRS提供如下访问开源组件Web站点的方式: 通过弹性公网IP访问:推荐使用该方式,为集群绑定弹性公网IP,简便易操作。 通过Windows弹性云主机访问:需要创建单独的ECS并进行相关配置。 创建连接MRS集群的SSH隧道并配置浏览器:当用户和MRS集群处于不同的网络中时可以使用该方式访问。 2. 访问站点。请参考下表的地址进行访问。 Web站点一览 说明 对于开启Kerberos认证的集群,admin用户不具备各组件的管理权限,如需正常访问各组件的Web UI界面,请提前创建具有对应组件管理权限的用户。 详见下表: 开源组件Web站点地址 集群类型 站点类型 站点地址 全部类型 MRS Manager 适用于所有版本集群 说明 1. 确保本地机器与MRS集群网络互通。 2. 远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示MRS Manager浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到MRS Manager的浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 MRS 3.x之前版本集群 具体请参见访问MRS Manager(MRS 2.x及之前版本)。 MRS 3.x及以后版本请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 分析集群 HDFS NameNode MRS 3.x之前版本集群,在集群详情页选择“组件管理> HDFS > NameNode WebUI > NameNode (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> HDFS > NameNode WebUI > NameNode ( 主机名称 ,主)” HBase HMaster MRS 3.x之前版本集群,在集群详情页选择“组件管理> HBase > HMaster WebUI > HMaster (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> HBase > HMaster WebUI > HMaster ( 主机名称 ,主)” MapReduce JobHistoryServer MRS 3.x之前版本集群,在集群详情页选择“组件管理> Mapreduce > JobHistoryServer WebUI > JobHistoryServer” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Mapreduce > JobHistoryServer WebUI > JobHistoryServer ( 主机名称 ,主)” YARN ResourceManager MRS 3.x之前版本集群,在集群详情页选择“组件管理> Yarn > ResourceManager WebUI > ResourceManager (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Yarn > ResourceManager WebUI > ResourceManager ( 主机名称 ,主)” Spark JobHistory MRS 3.x之前版本集群,在集群详情页选择“组件管理> Spark > Spark WebUI > JobHistory” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Spark2x > Spark2x WebUI > JobHistory2x ( 主机名称 )” Hue MRS 3.x之前版本集群,在集群详情页选择“组件管理> Hue > Hue WebUI > Hue (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Hue > Hue WebUI > Hue (主机名称 ,主)” Loader页面是基于开放源代码Sqoop WebUI的图形化数据迁移管理工具,由Hue WebUI承载。 Tez MRS 3.x之前版本集群,在集群详情页选择“组件管理> Tez > Tez WebUI > TezUI” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Tez > Tez WebUI > TezUI ( 主机名称 )” Presto MRS 3.x之前版本集群,在集群详情页选择“组件管理> Presto > Presto WebUI > Coordinator (主)” 在Manager页面选择“集群>服务> Presto > Coordinator WebUI > Coordinator(Coordinator)” Ranger MRS 3.x之前版本集群,在集群详情页选择“组件管理> Ranger > Ranger WebUI > RangerAdmin (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Ranger > Ranger WebUI > RangerAdmin” 流处理集群 Storm MRS 3.x之前版本集群,在集群详情页选择“组件管理> Storm > Storm WebUI > UI” 在Manager页面选择“集群>服务> Storm > Storm WebUI > UI (主机名称 )”
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问MRS集群上托管的开源组件Web页面
        开源组件Web站点
      • 快速创建ClickHouse集群
        本章节主要介绍如何快速创建ClickHouse集群。 本章节为您介绍如何快速创建一个ClickHouse集群,ClickHouse是一个用于联机分析的列式数据库管理系统,具有极致压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 ClickHouse集群包含的组件: MRS 3.1.0版本:ClickHouse 21.3.4.25、ZooKeeper 3.5.6。 CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 快速创建ClickHouse集群 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。 3.在创建集群页面,选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群。 区域:默认即可。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs20201121”。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。 组件选择:选择“ClickHouse集群”。 可用区:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        快速创建集群
        快速创建ClickHouse集群
      • 删除引导操作
        本章节主要介绍如何删除引导操作。 操作场景 该任务指导用户通过MRS删除已有引导操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 3.在集群基本信息页,单击“引导操作”。 4.在列表中勾选需要修改的列表项,单击“删除”。 5.单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        删除引导操作
      • 查看执行记录
        本章节主要介绍如何查看执行记录。 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 1.登录MRS管理控制台。 2.在“集群列表 > 现有集群”中单击需要查询的集群名称。 系统跳转至该集群详情页面。 3.在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息。 说明 可以通过选择右上角的“组件首次启动前”或者“组件首次启动后”查询相关的引导操作信息。 这里列出的是上次执行结果。对于新创建的集群,则列出的是创建时执行引导操作的记录;如果集群被扩容了,则列出的是上次扩容对新增节点执行引导操作的记录。 查看执行日志 如果需要查看引导操作的执行日志,请在添加引导操作时将“失败操作”配置为“继续”,然后登录到各个节点上查看运行日志,运行日志在/var/log/Bootstrap目录下。如果您对组件启动前后都添加了引导操作,可通过时间戳前后关系来区分两个阶段引导操作的日志。 建议您在脚本中尽量详细地打印日志,以方便查看运行结果。MRS将脚本的标准输出和错误输出都重定向到了引导操作日志目录下。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        查看执行记录
      • 删除资源池
        本章节主要介绍如何删除资源池。 操作场景 该任务指导用户通过MRS删除已有资源池。 前提条件 集群中任何一个队列不能使用待删除资源池为默认资源池,删除资源池前需要先取消默认资源池,请参见配置队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略,删除资源池前需要先清除策略,请参见清除队列配置。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源池”页签。 3.在资源池列表指定资源池所在行的“操作”列,单击“删除”。 在弹出窗口中单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        删除资源池
      • 准备引导操作脚本
        本章节主要介绍如何准备引导操作脚本。 引导操作目前仅支持linux shell脚本,脚本文件需以.sh结尾。 上传所需安装包等文件至OBS文件系统 正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同region的OBS文件系统中。因为不同region间有网络隔离,MRS虚拟机无法下载其他region上的OBS文件。 脚本中如何从OBS文件系统下载文件 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop fs下载,下面的例子会将 obs://yourbucket/myfile.tar.gz 这个文件下载到本地,并解压到 /yourdir 目录下: !/bin/bash source /opt/Bigdata/client/bigdataenv;hadoop fs D fs.obs.endpoint D fs.obs.access.key D fs.obs.secret.key copyToLocal obs://yourbucket/myfile.tar.gz ./ mkdir p / tar zxvf myfile.tar.gz C / 说明 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”,MRS 3.x之前版本为“/opt/client”。具体以实际为准。 Hadoop客户端已预安装在MRS节点上,hadoop fs命令可对OBS做下载、上传等操作。 各region下obsendpoint请向管理员获取。 上传脚本至OBS文件系统 脚本完成后上传到同region的OBS文件系统中。在您选定的时机,集群各节点会从OBS将脚本下载下来并以root用户执行。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        准备引导操作脚本
      • 删除租户
        本章节主要介绍如何删除租户。 操作场景 当租户需要根据业务需求,将当前不再使用的租户删除时,可以在MRS完成操作。 前提条件 已添加租户。 检查待删除的租户是否存在子租户,如果存在,需要先删除全部子租户,否则无法删除当前租户。 待删除租户的角色,不能与任何一个用户或者用户组存在关联关系。该任务对应取消角色与用户的绑定,请参见修改用户信息。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表,将光标移动到需要删除的租户节点上,单击“删除”。 界面显示删除租户对话框。根据业务需求,需要保留租户已有的数据时请同时勾选“保留该租户的数据”,否则将自动删除租户对应的存储空间。 3.单击“是”,删除租户。 保存配置需要等待一段时间,租户成功删除。租户对应的角色、存储空间将删除。 说明 租户删除后,Yarn中对应的租户任务队列不会被删除。 删除父租户时选择不保留数据,如果存在子租户且子租户使用了存储资源,则子租户的数据也会被删除。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        删除租户
      • 引导操作简介
        本章节主要对引导操作进行简介。 引导操作是指启动集群组件前(或后)在指定的节点上执行脚本。您可以通过引导操作来完成安装其他第三方软件,修改集群运行环境等自定义操作。 如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。如果集群开启弹性伸缩功能,可以在配置资源计划的同时添加自动化脚本,则自动化脚本会在弹性伸缩的节点上执行,实现用户自定义操作。 MRS会使用root用户执行您指定的脚本,脚本内部您可以通过su XXX命令切换用户。 说明 引导操作脚本以root身份执行,使用不当可能会对集群可用性造成影响,请谨慎操作。 MRS通过引导操作脚本返回码来判断结果,如果返回零,则代表脚本执行成功,非零代表执行失败。一个节点上执行某个引导脚本失败,则会导致相应引导脚本失败,您可以通过“失败后操作”来选择是否继续执行后续脚本。举例1:创建集群指定所有脚本的“失败后操作”都选择“继续”,则不管这些脚本实际执行成功或失败,都会全部执行,并完成启动流程。举例2:如果一个脚本执行失败,且“失败后操作”选择“终止”,则不会执行后续脚本,集群创建或扩容也随之失败。 您最多可以添加18个引导操作,它们会按照您指定的顺序在集群组件启动前(或后)执行。组件启动前(或后)执行的引导操作,必须在60分钟内完成,否则会引起集群创建或扩容失败。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        引导操作简介
      • 恢复租户数据
        本章节主要介绍如何恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据,在组件故障恢复或者卸载重新安装的场景下,所有租户的部分配置数据可能状态不正常,需要手动恢复。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表,单击某个租户节点。 3.检查租户数据状态。 a.在“概述”,查看“基本信息”左侧的圆圈,绿色表示租户可用,灰色表示租户不可用。 b.单击“资源”,查看“Yarn”或者“HDFS 存储”左侧的圆圈,绿色表示资源可用,灰色表示资源不可用。 c.单击“服务关联”,查看关联的服务表格的“状态”列,“良好”表示组件可正常为关联的租户提供服务,“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常,需要恢复租户数据,请执行步骤4。 4.单击“恢复租户数据”。 5.在“恢复租户数据”窗口,选择一个或多个需要恢复数据的组件,单击“确定”,等待系统自动恢复租户数据。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        恢复租户数据
      • 查看与手动清除告警
        导出告警 1.选择“集群列表 > 现有集群”,单击集群名称进入集群详情页面。 2.单击“告警管理 > 告警”。 3.单击“全部导出”。 4.在弹框内选择“保存类型”,单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        告警管理
        查看与手动清除告警
      • 导出集群的配置数据
        本章节主要介绍如何导出集群的配置数据。 操作场景 为了满足实际业务的需求,用户可以在MRS中将集群所有配置数据导出,导出文件用于快速更新服务配置。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 在集群详情页,单击页面右上角“配置 > 导出集群配置”。 导出文件用于更新服务配置,请参见配置服务参数中 导入服务配置参数 。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        导出集群的配置数据
      • 同步服务配置
        本章节主要介绍如何同步服务配置。 操作场景 当用户发现部分服务的“配置状态”为“配置超期”或“配置失败”时,您可以尝试使用同步配置功能,以恢复配置状态。或者集群中所有服务的配置状态为“失败”时,同步指定服务的配置数据与后台配置数据。 对系统的影响 同步服务配置后,需要重启配置过期的服务。重启时对应的服务不可用。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“组件管理”。 2.在服务列表中,单击指定服务名称。 3.在服务状态页签,选择“更多 > 同步配置”。 4.在弹出窗口勾选“重启配置过期的服务”,并单击“是”重启配置过期的服务。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        同步服务配置
      • 查看配置
        本章节主要介绍如何查看配置。 用户可以在MRS上查看服务(含角色)和角色实例的配置。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 查看服务的配置。 1.在集群详情页,单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“服务配置”。 4.将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 5.在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 在服务节点下的参数属于服务配置参数,在角色节点下的参数是角色配置参数。 6.在“——请选择——”选项中选择“非默认”,界面上显示参数值为非默认值的参数(MRS 3.x之前版本存在此选项)。 查看角色实例的配置。 1.在集群详情页,单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”。 6.将页面右侧“基础配置”切换为“全部配置”,界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 8.在“——请选择——”选项中选择“非默认”,界面上显示参数值为非默认值的参数(MRS 3.x之前版本存在此选项)。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        查看配置
      • 运行MapReduce作业
        参数 参数说明 取值样例 fs.obs.access.key 访问OBS的密钥ID。 fs.obs.secret.key 访问OBS与密钥ID对应的密钥。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        运行MapReduce作业
      • 删除作业
        本章节主要介绍如何如何删除MRS作业。 背景信息 支持删除单个作业和批量删除作业。作业删除后不可恢复,请谨慎操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.在需要删除作业对应的“操作”列中,选择“更多 > 删除”。 此处只能删除单个作业。 5.勾选多个作业,单击作业列表左上方的“删除”。 可以删除一个、多个或者全部作业。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        删除作业
      • 查看作业配置信息和日志
        本章节主要介绍如何查看作业配置信息和日志。 背景信息 支持查看所有作业的配置信息。 只有运行中的作业才能查看运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,运行中的Spark SQL和Distcp作业不能查看运行日志信息。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。 3.选择“作业管理”。 4.在需要查看作业对应的“操作”列中,单击“查看详情”。 弹出“查看详情”窗口,显示该作业的配置信息。 5.选择一个运行中的作业,在作业对应的“操作”列中,单击“查看日志”。 弹出一个新页面,显示作业执行的实时日志信息。 每个租户并发提交作业和查看日志的个数均为10。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        查看作业配置信息和日志
      • 删除集群
        本章节主要介绍如何删除集群。 如果作业执行结束后不需要集群, 可以删除MRS集群。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时,集群会被自动删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.在需要删除的集群对应的“操作”列中,单击“删除”。 集群状态由“运行中”更新为“删除中”,待集群删除成功后,集群状态更新为“已删除”,并且显示在“历史集群”中。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群运维
        删除集群
      • 查看集群补丁信息
        本章节主要介绍如何查看集群补丁信息。 查看集群组件的补丁信息。如果集群组件,如Hadoop或Spark等出现了异常,可下载补丁版本,选择“集群列表 > 现有集群”,选中一集群并单击集群名,进入集群详情页面升级组件,修复问题。 说明 MRS 3.x版本无补丁版本信息,不涉及此章节。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群概览
        查看集群补丁信息
      • 快速创建Kafka流式集群
        本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群,Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量,可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。 3.在创建集群页面,选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群。 区域:默认即可。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs20200321”。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:不同版本集群提供的组件有所不同,请根据需要选择集群版本。 组件选择:选择“Kafka流式集群”。 可用区:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用:默认即可。MRS 3.x版本暂时不支持该参数。 LVM:默认即可。MRS 3.x版本暂时不支持该参数。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        快速创建集群
        快速创建Kafka流式集群
      • 快速创建Hadoop分析集群
        本章节主要介绍如何快速创建Hadoop分析集群。 本章节为您介绍如何快速创建一个Hadoop分析集群,Hadoop完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框架等Hadoop生态圈的组件,进行海量数据分析与查询。 快速创建Hadoop分析集群 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。 3.在创建集群页面,选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群。 区域:默认即可。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs20180321”。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。 组件选择:选择“Hadoop分析集群”。 可用区:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用:默认即可。MRS 3.x版本暂时不支持该参数。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        快速创建集群
        快速创建Hadoop分析集群
      • 1
      • 2
      • ...
      • 271
      • 272
      • 273
      • 274
      • 275
      • 276
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      云聚517 · 好价翼起拼

      爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      产品推荐

      物理机 DPS

      弹性伸缩服务 AS

      训推服务

      Token服务

      人脸检测

      人脸活体检测

      动作活体识别

      通用型OCR

      车牌识别

      推荐文档

      全面了解天翼云⑥:网站无法访问预处理

      开通备案

      拍照核验相关问题

      续订

      慢查询日志

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号