云主机开年特惠28.8元/年,0元秒杀等你来抢!
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 天翼云新春焕新季 NEW 云主机开年特惠28.8元/年,0元秒杀等你来抢!
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      天翼云云网关_相关内容
      • 安装客户端(3.x及之后版本)
        本章节主要介绍安装客户端(3.x及之后版本)。 操作场景 该操作指导安装工程师安装MRS集群所有服务(不包含Flume)的客户端。Flume客户端安装请参见“组件操作指南 > 使用Flume > 安装Flume客户端”。 客户端可以安装集群内节点,也可以安装在集群外节点,本章节以安装目录“/opt/client”为例进行介绍,请以实际集群版本为准。 在集群外节点安装客户端前提条件 已准备一个Linux弹性云主机,主机操作系统及版本建议参见下表。 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12 SP4(SUSE 12.4) RedHat RedHat7.5x8664(RedHat 7.5) CentOS CentOS7.6版本(CentOS 7.6) 鲲鹏计算(ARM) Euler EulerOS 2.8 CentOS CentOS7.6版本(CentOS 7.6) 同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云主机的VPC需要与MRS集群在同一个VPC中。 弹性云主机的安全组需要和MRS集群Master节点的安全组相同。 弹性云主机操作系统已安装NTP服务,且NTP服务运行正常。 若未安装,在配置了yum 源的情况下,可执行yum install ntp y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云主机(SSH方式)。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        安装客户端
        安装客户端(3.x及之后版本)
      • 安装客户端(3.x之前版本)
        操作系统 支持的版本号 Euler 可用:Euler OS 2.2 可用:Euler OS 2.3 可用:Euler OS 2.5
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        安装客户端
        安装客户端(3.x之前版本)
      • 添加引导操作
        本章节主要介绍如何添加引导操作。 该操作适用于MRS 3.x之前版本集群。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 3.在集群基本信息页,单击“引导操作”。 4.单击“添加”,根据界面信息填写对应参数。 参数描述 参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明 同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以s3a://开头,以.sh结尾。例如:s3a://mrssamples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。 说明 同一集群内,不允许配置相同的路径。不同集群之间,可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后,是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”,无论此引导操作是否执行成功,则集群都能继续创建。 5.单击“确定”保存添加的引导操作。 6.单击“是”即可添加成功。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        添加引导操作
      • 删除引导操作
        本章节主要介绍如何删除引导操作。 操作场景 该任务指导用户通过MRS删除已有引导操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 3.在集群基本信息页,单击“引导操作”。 4.在列表中勾选需要修改的列表项,单击“删除”。 5.单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        删除引导操作
      • 创建自定义集群
        参数 参数说明 可用区 选择集群工作区域下关联的可用区。 可用区是使用独立电源和网络资源的物理区域。通过内部网络互联,再以物理方式进行隔离,提高了应用程序的可用性。建议您在不同的可用区下创建集群。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 选择需要创建集群的子网,单击“查看子网”可查看所选子网的详细信息,若VPC下未创建子网,请在VPC服务控制台单击“创建子网”进行创建。网络ACL出规则配置请参考 说明 创建MRS集群需要的IP数量和集群节点和组件个数相关,集群类型不影响IP数量。 MRS集群部署默认需要的IP数量为:集群节点数量+2(Manager+DB),如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto组件,则每一个组件需要再加一个IP。若单独创建ClickHouse集群则需要的IP数量为:集群节点数量+1(Manager)。 安全组 安全组是一组对弹性云主机的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云主机提供访问策略。 用户创建集群时,可自动创建安全组,也可选择下拉框中已有的安全组。 说明 选择用户自己创建的安全组时,请确保入方向规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则,源地址请勿使用0.0.0.0/0,否则会有安全风险。若用户不清楚可信任的IP访问范围,请选择自动创建。 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 用户创建集群时,可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“管理弹性公网IP”进入弹性公网IP服务进行创建。 说明 弹性公网IP必须和集群在同一区域。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        创建自定义集群
      • 查看执行记录
        本章节主要介绍如何查看执行记录。 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 1.登录MRS管理控制台。 2.在“集群列表 > 现有集群”中单击需要查询的集群名称。 系统跳转至该集群详情页面。 3.在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息。 说明 可以通过选择右上角的“组件首次启动前”或者“组件首次启动后”查询相关的引导操作信息。 这里列出的是上次执行结果。对于新创建的集群,则列出的是创建时执行引导操作的记录;如果集群被扩容了,则列出的是上次扩容对新增节点执行引导操作的记录。 查看执行日志 如果需要查看引导操作的执行日志,请在添加引导操作时将“失败操作”配置为“继续”,然后登录到各个节点上查看运行日志,运行日志在/var/log/Bootstrap目录下。如果您对组件启动前后都添加了引导操作,可通过时间戳前后关系来区分两个阶段引导操作的日志。 建议您在脚本中尽量详细地打印日志,以方便查看运行结果。MRS将脚本的标准输出和错误输出都重定向到了引导操作日志目录下。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        查看执行记录
      • 删除资源池
        本章节主要介绍如何删除资源池。 操作场景 该任务指导用户通过MRS删除已有资源池。 前提条件 集群中任何一个队列不能使用待删除资源池为默认资源池,删除资源池前需要先取消默认资源池,请参见配置队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略,删除资源池前需要先清除策略,请参见清除队列配置。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源池”页签。 3.在资源池列表指定资源池所在行的“操作”列,单击“删除”。 在弹出窗口中单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        删除资源池
      • 准备引导操作脚本
        本章节主要介绍如何准备引导操作脚本。 引导操作目前仅支持linux shell脚本,脚本文件需以.sh结尾。 上传所需安装包等文件至OBS文件系统 正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同region的OBS文件系统中。因为不同region间有网络隔离,MRS虚拟机无法下载其他region上的OBS文件。 脚本中如何从OBS文件系统下载文件 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop fs下载,下面的例子会将 obs://yourbucket/myfile.tar.gz 这个文件下载到本地,并解压到 /yourdir 目录下: !/bin/bash source /opt/Bigdata/client/bigdataenv;hadoop fs D fs.obs.endpoint D fs.obs.access.key D fs.obs.secret.key copyToLocal obs://yourbucket/myfile.tar.gz ./ mkdir p / tar zxvf myfile.tar.gz C / 说明 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”,MRS 3.x之前版本为“/opt/client”。具体以实际为准。 Hadoop客户端已预安装在MRS节点上,hadoop fs命令可对OBS做下载、上传等操作。 各region下obsendpoint请向管理员获取。 上传脚本至OBS文件系统 脚本完成后上传到同region的OBS文件系统中。在您选定的时机,集群各节点会从OBS将脚本下载下来并以root用户执行。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        准备引导操作脚本
      • 删除租户
        本章节主要介绍如何删除租户。 操作场景 当租户需要根据业务需求,将当前不再使用的租户删除时,可以在MRS完成操作。 前提条件 已添加租户。 检查待删除的租户是否存在子租户,如果存在,需要先删除全部子租户,否则无法删除当前租户。 待删除租户的角色,不能与任何一个用户或者用户组存在关联关系。该任务对应取消角色与用户的绑定,请参见修改用户信息。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表,将光标移动到需要删除的租户节点上,单击“删除”。 界面显示删除租户对话框。根据业务需求,需要保留租户已有的数据时请同时勾选“保留该租户的数据”,否则将自动删除租户对应的存储空间。 3.单击“是”,删除租户。 保存配置需要等待一段时间,租户成功删除。租户对应的角色、存储空间将删除。 说明 租户删除后,Yarn中对应的租户任务队列不会被删除。 删除父租户时选择不保留数据,如果存在子租户且子租户使用了存储资源,则子租户的数据也会被删除。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        删除租户
      • 引导操作简介
        本章节主要对引导操作进行简介。 引导操作是指启动集群组件前(或后)在指定的节点上执行脚本。您可以通过引导操作来完成安装其他第三方软件,修改集群运行环境等自定义操作。 如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。如果集群开启弹性伸缩功能,可以在配置资源计划的同时添加自动化脚本,则自动化脚本会在弹性伸缩的节点上执行,实现用户自定义操作。 MRS会使用root用户执行您指定的脚本,脚本内部您可以通过su XXX命令切换用户。 说明 引导操作脚本以root身份执行,使用不当可能会对集群可用性造成影响,请谨慎操作。 MRS通过引导操作脚本返回码来判断结果,如果返回零,则代表脚本执行成功,非零代表执行失败。一个节点上执行某个引导脚本失败,则会导致相应引导脚本失败,您可以通过“失败后操作”来选择是否继续执行后续脚本。举例1:创建集群指定所有脚本的“失败后操作”都选择“继续”,则不管这些脚本实际执行成功或失败,都会全部执行,并完成启动流程。举例2:如果一个脚本执行失败,且“失败后操作”选择“终止”,则不会执行后续脚本,集群创建或扩容也随之失败。 您最多可以添加18个引导操作,它们会按照您指定的顺序在集群组件启动前(或后)执行。组件启动前(或后)执行的引导操作,必须在60分钟内完成,否则会引起集群创建或扩容失败。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        引导操作简介
      • 恢复租户数据
        本章节主要介绍如何恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据,在组件故障恢复或者卸载重新安装的场景下,所有租户的部分配置数据可能状态不正常,需要手动恢复。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表,单击某个租户节点。 3.检查租户数据状态。 a.在“概述”,查看“基本信息”左侧的圆圈,绿色表示租户可用,灰色表示租户不可用。 b.单击“资源”,查看“Yarn”或者“HDFS 存储”左侧的圆圈,绿色表示资源可用,灰色表示资源不可用。 c.单击“服务关联”,查看关联的服务表格的“状态”列,“良好”表示组件可正常为关联的租户提供服务,“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常,需要恢复租户数据,请执行步骤4。 4.单击“恢复租户数据”。 5.在“恢复租户数据”窗口,选择一个或多个需要恢复数据的组件,单击“确定”,等待系统自动恢复租户数据。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        恢复租户数据
      • 支持滚动重启
        典型场景操作步骤 1.选择“集群列表 > 现有集群”,单击集群名称进入集群详情页面。 2.单击“组件管理”,选择HBase,进入HBase服务页面。 3.单击“服务配置”页签,修改HBase某个参数并保存配置,根据界面提示进行保存。 说明 MRS 3.x之前版本存在“重新启动受影响的服务或实例”参数,请勿勾选,该处重启是普通重启方式,会并发重启所有服务或实例,引起业务断服。 4.保存配置完成后,单击“完成”。 5.选择“服务状态”页签。 6.在“服务状态”页签单击“更多”,选择“滚动重启服务”。 7.弹出“滚动重启服务”页面,勾选“仅重启配置过期的实例”,单击确定,开始滚动重启。 8.滚动重启任务完成后,单击“完成”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        支持滚动重启
      • 查看与手动清除告警
        导出告警 1.选择“集群列表 > 现有集群”,单击集群名称进入集群详情页面。 2.单击“告警管理 > 告警”。 3.单击“全部导出”。 4.在弹框内选择“保存类型”,单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        告警管理
        查看与手动清除告警
      • 添加租户
        相关任务 查看已添加的租户 1.在集群详情页,单击“租户管理”。 2.在左侧租户列表,单击已添加租户的名称。 默认在右侧显示“概述”页签。 3.查看当前租户的“基本信息”、“资源配额”和“统计”。 如果HDFS处于“已停止”状态,“资源配额”中“Space”的“可用”和“已使用”会显示为“unknown”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        添加租户
      • 管理租户目录
        本章节主要介绍如何管理租户目录。 操作场景 用户根据业务需求,可以在MRS对指定租户使用的HDFS存储目录,进行管理操作。支持用户对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加关联了HDFS存储资源的租户。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 查看租户目录 1. 在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2. 在左侧租户列表,单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS 存储”表格。 指定租户目录的“文件/目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额”列表示租户目录的存储空间大小。 添加租户目录 1. 在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2. 在左侧租户列表,单击需要添加HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS 存储”表格,单击“添加目录”。 “路径”填写租户目录的路径。 说明 如果当前租户不是子租户,新路径将在HDFS的根目录下创建。 如果当前租户是一个子租户,新路径将在指定的目录下创建。 完整的HDFS存储目录最多包含1023个字符。HDFS目录名称包含数字、大小写字母、空格和下划线。空格只能在HDFS目录名称的中间使用。 “文件/目录数上限”填写文件和目录数量配额。 “文件/目录数上限”为可选参数,取值范围从1到9223372036854775806。 “存储空间配额 ”填写租户目录的存储空间大小。 “存储空间配额 ”的取值范围从1到8796093022208。 说明 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间所有副本文件在HDFS中占用磁盘空间大小总和。例如“存储空间配额”设置为“500”,则实际只能保存约500/2250MB大小的文件。 5. 单击“确定”完成租户目录添加,系统将在HDFS根目录下创建租户的目录。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        管理租户目录
      • 导出集群的配置数据
        本章节主要介绍如何导出集群的配置数据。 操作场景 为了满足实际业务的需求,用户可以在MRS中将集群所有配置数据导出,导出文件用于快速更新服务配置。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 在集群详情页,单击页面右上角“配置 > 导出集群配置”。 导出文件用于更新服务配置,请参见配置服务参数中 导入服务配置参数 。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        导出集群的配置数据
      • 同步服务配置
        本章节主要介绍如何同步服务配置。 操作场景 当用户发现部分服务的“配置状态”为“配置超期”或“配置失败”时,您可以尝试使用同步配置功能,以恢复配置状态。或者集群中所有服务的配置状态为“失败”时,同步指定服务的配置数据与后台配置数据。 对系统的影响 同步服务配置后,需要重启配置过期的服务。重启时对应的服务不可用。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“组件管理”。 2.在服务列表中,单击指定服务名称。 3.在服务状态页签,选择“更多 > 同步配置”。 4.在弹出窗口勾选“重启配置过期的服务”,并单击“是”重启配置过期的服务。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        同步服务配置
      • 运行SparkSql作业
        通过后台提交作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”,MRS 3.x之前版本为“/opt/client”。具体以实际为准。 1.参考创建用户页面,创建一个用于提交作业的用户。 本示例创建一个用户开发场景使用的机机用户,并分配了正确的用户组(hadoop、supergroup)、主组(supergroup)和角色权限(Systemadministrator、default)。 2.下载认证凭据。 对于MRS 3.x及之后版本集群,请登录FusionInsight Manager页面选择“系统 > 权限 > 用户”,在新增用户的操作列单击“更多 > 下载认证凭据”。 对于MRS 3.x之前版本集群,请登录MRS Manager页面选择“系统设置 > 用户管理”,在新增用户的操作列单击“更多 > 下载认证凭据”。 3.登录Spark客户端所在节点,上传2创建的用户认证凭据到集群的“/opt”目录下,并执行如下命令解压: tar –xvfMRSTestxxxxxxkeytab.tar 得到user.keytab和krb5.conf两个文件。 4.在对集群操作之前首先需要执行: source /opt/Bigdata/client/bigdataenv cd $SPARKHOME 5.打开sparksql命令行,进入sparksql命令行后可执行SQL语句,执行命令如下: ./bin/sparksqlconf spark.yarn.principalMRSTest conf spark.yarn.keytab/opt/user.keytab 若需要执行SQL文件,需要上传SQL文件(如上传到“/opt/”目录),上传文件后执行命令如下: ./bin/sparksqlconf spark.yarn.principalMRSTest conf spark.yarn.keytab/opt/user.keytabf /opt/script.sql
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        运行SparkSql作业
      • 管理服务操作
        说明 在Console上添加服务会自动同步到Manager页面。 删除服务 MRS 3.1.2LTS.3及之后版本支持添加和删除服务。 步骤 1 在集群详情页,单击“组件管理”。 步骤 2 在指定服务所在行,单击“删除”操作。  如果需要删除的服务存在上层依赖,则不可删除,每次只能删除一个服务。  不支持删除Hadoop(HDFS、Yarn、MapReduce)、Ranger、DBService、KrbServer、LdapServer和meta服务,其他已安装服务可删除。 步骤 3 在弹出的对话框中单击“是”,删除该服务。 注意  在Console上删除服务会自动同步到Manager页面。  删除服务前,请先备份该服务的数据,避免数据丢失。 启动、停止和重启服务 步骤 1 在集群详情页,单击“组件管理”。 步骤 2 在指定服务所在行,单击“启动”、“停止”和“重启”执行启动、停止和重启操作。 服务之间存在依赖关系。对某服务执行启动、停止和重启操作时,与该服务存在依赖关系的服务将受到影响。 具体影响如下: 启动某服务,该服务依赖的下层服务需先启动,服务功能才可生效。 停止某服务,依赖该服务的上层服务将无法提供功能。 重启某服务,依赖该服务且启动的上层服务需重启后才可生效。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        管理服务操作
      • 启动及停止集群
        本章节主要介绍如何启动及停止集群。 集群是包含着服务组件的集合。用户可以启动或者停止集群中所有服务。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 启动及停止集群 在集群详情页,单击页面右上角“管理操作 > 启动所有组件”或“停止所有组件”执行相应的操作。
        来自:
      • 运行Flink作业
        参数 参数说明 作业名称 作业名称,只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。 说明 建议不同的作业设置不同的名称。 执行程序路径 待执行程序包地址,需要满足如下要求: 最多为1023字符,不能包含;l&>,<'$特殊字符,且不可为空或全空格。 执行程序路径可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS:以“obs://”开头。示例: obs://wordcount/program/xxx.jar。 HDFS:以“/user”开头。数据导入HDFS请参考 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 常用运行程序参数如下表“运行程序参数”。 执行程序参数 可选参数,程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。多个参数间使用空格隔开。 最多为150000字符,不能包含不能包含;;&><'$特殊字符,可为空。 注意 若输入带有敏感信息(如登录密码)的参数可能在作业详情展示和日志打印中存在暴露的风险,请谨慎操作。 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。该参数的修改仅适用于本次执行的作业,如需对集群永久生效,请参考 增加,如需删除参数,请单击右侧“删除”。 常用服务配置参数如下表“服务配置参数”。 命令参考 用于展示提交作业时提交到后台执行的命令。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        运行Flink作业
      • 使用OBS加密数据运行作业
        方式一:通过界面配置。 1.登录MRS控制台,在左侧导航栏选择“集群列表 > 现有集群” ,单击集群名称。 2.选择“组件管理 > Spark > 服务配置”。 3.将“基础配置”切换为“全部配置”,搜索并配置如下参数: 数据加密参数 参数 取值 说明 fs.obs.serversideencryptiontype SSEKMS SSEKMS:表示使用KMS秘钥的加解密方式。 NONE:表示关闭加密功能。 fs.obs.serversideencryptionkey 表示用来加密的KMS密钥ID。该参数可不配置。 当参数“fs.obs.serversideencryptiontype”配置为“SSEKMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。 fs.obs.connection.ssl.enabled true 标识是否与OBS建立安全连接。 true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。 false:关闭安全连接。 4.单击“保存配置”,勾选“重新启动受影响的服务或实例。”并单击“确定”。 5.以root用户登录Master节点,密码为用户创建集群时设置的root密码(若集群存在多个Master节点,请分别登录每个Master节点进行步骤5~步骤7的操作)。 6.执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 ​​cd /opt/Bigdata/client 7.执行以下命令更新客户端配置,并输入用户名和密码,用户名为admin,密码为用户创建集群时设置的admin密码。 ​​./autoRefreshConfig.sh 方式二:通过客户端配置文件配置。 在Master节点上的客户端配置文件(例如“/opt/Bigdata/client/Spark/spark/conf/coresite.xml”)中的增加如下参数配置(若集群存在多个Master节点,请分别登录每个Master节点进行该操作)。 数据加密参数 参数 取值 说明 fs.obs.serversideencryptiontype SSEKMS l SSEKMS:表示使用KMS秘钥的加解密方式。 NONE:表示关闭加密功能。 fs.obs.serversideencryptionkey 表示用来加密的KMS密钥ID。该参数可不配置。 当参数“fs.obs.serversideencryptiontype”配置为“SSEKMS”且该参数未配置时,OBS会使用OBS服务的默认KMS密钥完成加密。 fs.obs.connection.ssl.enabled true 标识是否与OBS建立安全连接。 true:开启安全连接,当需要使用OBS加解密功能时该参数必须配置为“true”。 false:关闭安全连接。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        使用OBS加密数据运行作业
      • 查看配置
        本章节主要介绍如何查看配置。 用户可以在MRS上查看服务(含角色)和角色实例的配置。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 查看服务的配置。 1.在集群详情页,单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“服务配置”。 4.将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 5.在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 在服务节点下的参数属于服务配置参数,在角色节点下的参数是角色配置参数。 6.在“——请选择——”选项中选择“非默认”,界面上显示参数值为非默认值的参数(MRS 3.x之前版本存在此选项)。 查看角色实例的配置。 1.在集群详情页,单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”。 6.将页面右侧“基础配置”切换为“全部配置”,界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 8.在“——请选择——”选项中选择“非默认”,界面上显示参数值为非默认值的参数(MRS 3.x之前版本存在此选项)。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        查看配置
      • 运行MapReduce作业
        参数 参数说明 取值样例 fs.obs.access.key 访问OBS的密钥ID。 fs.obs.secret.key 访问OBS与密钥ID对应的密钥。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        运行MapReduce作业
      • 删除作业
        本章节主要介绍如何如何删除MRS作业。 背景信息 支持删除单个作业和批量删除作业。作业删除后不可恢复,请谨慎操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名。 进入集群基本信息页面。 3.选择“作业管理”。 4.在需要删除作业对应的“操作”列中,选择“更多 > 删除”。 此处只能删除单个作业。 5.勾选多个作业,单击作业列表左上方的“删除”。 可以删除一个、多个或者全部作业。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        删除作业
      • 运行HiveSql作业
        参数 参数说明 作业名称 作业名称,只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。 说明 建议不同的作业设置不同的名称。 SQL类型 SQL查询语句提交类型。 SQL Script SQL语句 “SQL类型”参数为“SQL”时参数有效,请输入待运行的SQL语句,然后单击“检查”来检查SQL语句的正确性,确保输入语句正确。如果同时需要提交多条语句并执行,使用“;”分隔不同语句。 SQL文件 “SQL类型”参数为“Script”时参数有效,待执行SQL文件的路径,需要满足以下要求。 最多为1023字符,不能包含;l&>,<'$特殊字符,且不可为空或全空格。 执行程序路径可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS:以“obs://”开头。示例: obs://wordcount/program/xxx.jar。 HDFS:以“/user”开头。数据导入HDFS请参考 说明 存储在OBS上的文件路径支持以“obs://”开头格式。如需使用该格式提交作业,访问OBS需要配置对应权限。 创建集群时开启“OBS权限控制”功能时,可直接使用“obs://”路径,无需单独配置。 创建集群时未开启或不支持“OBS权限控制”功能时,请参考 运行程序参数 可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 常用运行程序参数如下表“运行程序参数”。 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。该参数的修改仅适用于本次执行的作业,如需对集群永久生效,请参考 增加,如需删除参数,请单击右侧“删除”。 常用服务配置参数如下表“服务配置参数”。 命令参考 用于展示提交作业时提交到后台执行的命令。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        运行HiveSql作业
      • 查看作业配置信息和日志
        本章节主要介绍如何查看作业配置信息和日志。 背景信息 支持查看所有作业的配置信息。 只有运行中的作业才能查看运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,运行中的Spark SQL和Distcp作业不能查看运行日志信息。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。 3.选择“作业管理”。 4.在需要查看作业对应的“操作”列中,单击“查看详情”。 弹出“查看详情”窗口,显示该作业的配置信息。 5.选择一个运行中的作业,在作业对应的“操作”列中,单击“查看日志”。 弹出一个新页面,显示作业执行的实时日志信息。 每个租户并发提交作业和查看日志的个数均为10。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        查看作业配置信息和日志
      • 运行SparkSubmit作业
        通过后台提交作业 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”,MRS 3.x之前版本为“/opt/client”。具体以实际为准。 1.参考创建用户页面,创建一个用于提交作业的用户。 本示例创建一个用户开发场景使用的机机用户,并分配了正确的用户组(hadoop、supergroup)、主组(supergroup)和角色权限(Systemadministrator、default)。 2.下载认证凭据。 对于MRS 3.x及之后版本集群,请登录FusionInsight Manager页面选择“系统 > 权限 > 用户”,在新增用户的操作列单击“更多 > 下载认证凭据”。 对于MRS 3.x之前版本集群,请登录MRS Manager页面选择“系统设置 > 用户管理”,在新增用户的操作列单击“更多 > 下载认证凭据”。 3.将与作业相关的jar包上传到集群中,本示例使用Spark自带的样例jar包,位置在“$SPARKHOME/examples/jars”下。 4.上传步骤2创建的用户认证凭据到集群的“/opt”目录下,并执行如下命令解压。 tar –xvfMRSTestxxxxxxkeytab.tar 您将会得到user.keytab和krb5.conf两个文件。 5.在对集群操作之前首先需要执行: source /opt/Bigdata/client/bigdataenv cd $SPARKHOME 6.提交spark作业,使用的命令如下: ./bin/sparksubmitmaster yarn deploymode client conf spark.yarn.principalMRSTest conf spark.yarn.keytab/opt/user.keytab class org.apache.spark.examples.SparkPi examples/jars/sparkexamples2.112.3.2mrs2.0.jar 10 参数解释: 1.yarn的计算能力,指定使用client模式提交该作业。 2.Spark作业的配置项,这里是传入了认证文件和用户名。 3.spark.yarn.principal 第一步创建的用户。 4.spark.yarn.keytab 认证使用的keytab文件。 5.xx.jar 作业的使用的jar。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        运行SparkSubmit作业
      • 查看MRS服务操作日志
        参数 参数说明 操作类型 记录执行的操作类型,包括: 集群操作 作业操作 数据操作 操作IP 记录执行操作的IP地址。 说明 当MRS集群部署失败时,集群会被自动删除,并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 操作内容 记录实际操作内容,不超过2048字符。 时间 记录操作的时间。对于已删除的集群,界面只显示6个月内的日志信息,若需要查看6个月之前的日志信息,请联系支持人员。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群运维
        查看MRS服务操作日志
      • 删除集群
        本章节主要介绍如何删除集群。 如果作业执行结束后不需要集群, 可以删除MRS集群。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时,集群会被自动删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.在需要删除的集群对应的“操作”列中,单击“删除”。 集群状态由“运行中”更新为“删除中”,待集群删除成功后,集群状态更新为“已删除”,并且显示在“历史集群”中。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群运维
        删除集群
      • 管理组件和主机监控
        状态 描述 正常 主机及主机上的服务角色正常运行。 已隔离 主机被用户隔离,主机上的服务角色停止运行。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群概览
        管理组件和主机监控
      • 切换集群子网
        本章节主要介绍如何切换集群子网。 MRS支持当子网IP不足时,切换子网到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考下方如何配置网络ACL出规则。 未关联网络ACL时切换子网 1.登录MRS控制台。 2.单击集群名称进入集群详情页。 3.在“默认生效子网”右侧单击“切换子网”。 4.选择待切换子网,并单击“确定”完成切换。 若没有可用子网,请单击“创建子网”进入VPC控制台创建子网后,再在此处引用。 关联网络ACL时切换子网 1.登录MRS控制台,单击集群名称进入集群详情页。 2.MRS集群详情页,查看“虚拟私有云”。 3.进入VPC控制台,在左侧导航处选择“虚拟私有云”,获取步骤2中查询的“虚拟私有云”对应的“IPv4网段”。 4.在VPC控制台左侧导航处选择“访问控制 > 网络ACL”,单击MRS集群默认生效子网和切换后子网关联的网络ACL名称,选择“入方向规则”页签。 说明 若集群的默认生效子网和切换后子网均关联网络ACL,则两个子网关联的网络ACL中均需参考步骤5步骤7增加入方向规则。 详见下图: 网络ACL 5.在第一条规则的“操作”列,选择“更多 > 向前插规则”。 6.添加网络ACL规则,其中“策略”选择“允许”,“源地址”填入步骤3中获取的“虚拟私有云”对应的“IPv4网段”,其他值保持默认即可。 7.单击“确定”完成网络ACL规则添加。 说明 如果您不想放开VPC对应的全部IPv4网段的规则,请参考步骤8步骤12添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加,则无需执行步骤8步骤12的操作。 8.登录MRS控制台。 9.单击集群名称进入集群详情页。 10.在“默认生效子网”右侧单击“切换子网”。 11.获取“默认生效子网”和待切换子网对应的IPv4网段。 须知 此时请勿单击切换子网的“确定”按钮,否则默认生效子网将更新为切换后的子网,切换前的子网不易查询,请谨慎操作。 12.参考步骤4步骤7添加“默认生效子网”和待切换子网的IPv4网段地址到切换前后子网绑定的网络ACL入方向规则中。 13.登录MRS控制台。 14.单击集群名称进入集群详情页。 15.在“默认生效子网”右侧单击“切换子网”。 16.选择待切换子网,并单击“确定”完成切换。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群运维
        切换集群子网
      • 1
      • ...
      • 279
      • 280
      • 281
      • 282
      • 283
      • ...
      • 286
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      天翼云新春焕新季

      云主机开年特惠28.8元/年,0元秒杀等你来抢!

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      多活容灾服务

      GPU云主机

      轻量型云主机

      弹性伸缩服务 AS

      训推服务

      AI Store

      公共算力服务

      智算一体机

      知识库问答

      推荐文档

      常见问题

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号