云主机开年特惠28.8元/年,0元秒杀等你来抢!
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 天翼云新春焕新季 NEW 云主机开年特惠28.8元/年,0元秒杀等你来抢!
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      天翼云云办公_相关内容
      • 配置角色实例参数
        本章节主要介绍如何配置角色实例参数。 操作场景 用户可以根据实际业务场景,在MRS中快速查看及修改角色实例默认的配置。支持导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并更新客户端配置文件。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 修改角色实例参数 1.在集群详情页,单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”页签。 6.将页面右侧“基础配置”切换为“全部配置”,界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改,可以单击恢复。 8.单击“保存配置”,勾选“重新启动受影响的服务或实例。”并单击“确定”,重启角色实例。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        配置角色实例参数
      • 配置服务自定义参数
        任务示例 配置Hive自定义参数 Hive依赖于HDFS,默认情况下Hive访问HDFS时是HDFS的客户端,生效的配置参数统一由HDFS控制。例如HDFS参数“ipc.client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间,如果用户需要单独修改Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“coresite.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。 1.在集群详情页,单击“组件管理”。 2.选择 “Hive > 服务配置”。 3.将页面右侧“基础配置”切换为“全部配置”。 4.在左侧导航栏选择Hive服务级别“自定义”,MRS将显示Hive支持的服务级别自定义参数。 5.在“coresite.xml”对应参数“core.site.customized.configs”的“参数”输入“ipc.client.rpc.timeout”,“值”输入新的参数值,例如“150000”。单位为毫秒。 6.单击“保存配置”,勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。 界面提示“操作成功。”,单击“完成”,服务成功启动。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        配置服务自定义参数
      • 同步角色实例配置
        本章节主要介绍如何进行同步角色实例配置。 操作场景 当用户发现角色实例的“配置状态”为“配置超期”或“配置失败”时,可以在MRS尝试使用同步配置功能,同步角色实例的配置数据与后台配置数据,以恢复配置状态。 对系统的影响 同步配置角色实例后需要重启配置过期的角色实例。重启时对应的角色实例不可用。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“组件管理”。 2.选择服务名称。 3.单击“实例”页签。 4.在角色实例列表中,单击指定角色实例名称。 5.在角色实例状态及指标信息上方,选择“更多 > 同步配置”。 6.在弹出窗口勾选“重启配置过期的服务”,并单击“是”重启角色实例。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        同步角色实例配置
      • 扩容集群
        本章节主要介绍如何扩容集群。 MRS的扩容不论在存储还是计算能力上,都可以简单地通过增加Core节点或者Task节点来完成,不需要修改系统架构,降低运维成本。集群Core节点不仅可以处理数据,也可以存储数据。可以在集群中添加Core节点,通过增加节点数量处理峰值负载。集群Task节点主要用于处理数据,不存放持久数据。 背景信息 MRS集群支持Core与Task节点总数最大为500个。如果用户需要的Core/Task节点数大于500,可以联系支持人员或者调用后台接口修改数据库。 目前支持扩容Core节点和Task节点,不支持扩容Master节点。此处扩容的最大Core/Task节点数为(500 集群Core/Task节点数)。例如:当前集群Core节点数为3,此处扩容的Core节点数必须小于等于497。如果集群扩容失败,用户可重新进行扩容操作。 如果在创建集群时,没有扩容节点,用户可以在扩容时添加节点个数,但不能指定具体节点扩容。 选择的版本不同,扩容集群的操作也不同。 操作步骤 1.登录MRS管理控制台。 2.选择 “集群列表 > 现有集群” ,选中一个运行中的集群并单击集群名称,进入集群信息页面。 3.选择“节点管理”页签,在需要扩容的节点组的“操作”列单击“扩容”,进入扩容集群页面。 只有运行中的集群才能进行扩容操作。 4.设置“扩容节点数量”、“启动组件”和“执行引导操作”参数,并单击“确定”。 说明 若集群中没有Task节点组,请参考添加Task节点配置Task节点。 如果创建集群时添加了引导操作,则“执行引导操作”参数有效,开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。 如果“新节点规格”参数有效,则表示与原有节点相同的规格已售罄或已下架,新扩容的节点将按照“新节点规格”增加。 扩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。 5.进入“扩容节点”窗口,单击“确定”。 6.弹出扩容节点提交成功提示框。 集群扩容过程说明如下: 扩容中:集群正在扩容时集群状态为“扩容中”。已提交的作业会继续执行,也可以提交新的作业,但不允许继续扩容和删除集群,也不建议重启集群和修改集群配置。 扩容成功:集群扩容成功后集群状态为“运行中”。 扩容失败:集群扩容失败时集群状态为“运行中”。用户可以执行作业,也可以重新进行扩容操作。 扩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        节点管理
        扩容集群
      • 配置阈值
        参数名 参数解释 参数值 规则名称 规则名称 CPUMAX(举例) 告警级别 告警级别 l 紧急 l 重要 l 次要 l 提示 l 紧急 l 重要 l 次要 l 提示 阈值类型 选择某指标的最大值或最小值,类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警,类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 l 最大值 l 最小值 日期 设置规则生效的日期,即哪一天运行规则。 l 每天 l 每周 l 其他 添加日期 仅在“日期”模式为“其他”时可见,设置规则运行的自定义日期,支持多选。 0930 阈值设置 设置规则运行的具体时间范围。 起止时间:00:008:30 阈值设置 设置规则监控指标的阈值 阈值:10
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        运维
        告警
        配置阈值
      • 通过Windows弹性云主机访问
        本章节主要介绍通过Windows弹性云主机访问。 MRS支持通过Windows弹性云主机访问开源组件Web站点。该方式操作较为复杂,推荐不支持EIP功能的MRS集群使用。 1. 在MRS管理控制台,单击“集群列表”。 2. 在 “现有集群” 列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群控制台地址”、“安全组”。 说明 集群控制台地址获取方式:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示集群控制台地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到集群控制台地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 3. 在ECS管理控制台,创建一个新的弹性云主机。 弹性云主机的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如,选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息,请参见“弹性云主机 > 用户指南 > 快速入门 > 创建并登录Windows弹性云主机”。 说明 如果ECS的安全组和MRS集群的“安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为MRS集群的安全组,请参见“ 用户指南 > 安全组 > 更改安全组”。 在集群Master节点和Core节点的安全组中添加两条安全组规则使ECS可以访问集群,“协议”需选择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见“虚拟私有云 > 用户指南 > 安全性 > 安全组 > 添加安全组规则”。 4. 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见“虚拟私有云>用户指南 > 弹性公网IP > 为弹性云主机申请和绑定弹性公网IP”。 5. 登录弹性云主机。 登录ECS需要Windows系统的帐号、密码,弹性IP地址以及配置安全组规则。具体请参见“弹性云主机> 用户指南 > 实例 > 登录弹性云主机 > 登录Windows弹性云主机”。 6. 在Windows的远程桌面中,打开浏览器访问Manager。 例如Windows 2012操作系统可以使用Internet Explorer 11。 Manager访问地址形式为 https:// 集群控制台地址 :28443/web 。访问时需要输入MRS集群的用户名和密码,例如“admin”用户。 说明 集群控制台地址:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示集群控制台地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到集群控制台地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 如果使用其他MRS集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 7. 请参考开源组件Web站点页面提供的站点地址访问开源组件Web站点。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问MRS集群上托管的开源组件Web页面
        通过Windows弹性云主机访问
      • 访问MRS Manager(MRS 2.x及之前版本)
        为集群更换弹性公网IP 1.在MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。 2.查看“弹性公网IP”。 3.登录“虚拟私有云 VPC”管理控制台。 4.选择“弹性公网IP和带宽 > 弹性公网IP”。 5.查找MRS集群所绑定的弹性公网IP,并在“操作”列单击“解绑”解绑MRS集群绑定的弹性公网IP。 6.登录MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。 此时,集群详情页面“弹性公网IP”显示“暂未绑定”。 7.单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中“访问方式”选择“EIP访问”。 8.在弹性公网IP下拉框中选择新的弹性公网IP并配置他参数,具体请参考通过弹性公网IP访问Manager。 为其他用户开通访问MRS Manager的权限 1.在MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。 2.单击弹性公网IP后边的“添加安全组规则”。 3.进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围,禁止使用0.0.0.0/0,否则会有安全风险。” 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需开放多个IP段为可信范围,请重复执行14。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 4.单击“确定”完成安全组规则添加。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问集群Manager
        访问MRS Manager(MRS 2.x及之前版本)
      • MRS集群节点简介
        本章节主要介绍MRS集群节点。 介绍远程登录的概念、MRS集群的节点类型和节点功能。 MRS集群节点支持用户远程登录,远程登录包含界面登录和SSH登录两种方式: 界面登录:直接通过弹性云主机管理控制台提供的远程登录功能,登录到集群Master节点的Linux界面。 SSH登录:仅适用于Linux弹性云主机。您可以使用远程登录工具(例如PuTTY),登录弹性云主机。此时,需要该弹性云主机绑定弹性IP地址。 Master节点申请和绑定弹性IP,请参见“《虚拟私有云》帮助文档”,为弹性云主机申请和绑定弹性公网IP。 可以使用密钥方式也可以使用密码方式登录Linux弹性云主机。 须知 当您使用密钥方式访问集群节点,需要以root用户登录,详细步骤请参见 登录集群节点章节登录弹性云主机(SSH密钥方式)。 当您使用密码方式访问集群节点,详细步骤请参见 登录集群节点章节登录弹性云主机(SSH密码方式)。 MRS集群中每个节点即为一台弹性云主机,节点类型及节点功能如下表所示。 集群节点分类 节点类型 功能 Master节点 MRS集群管理节点,负责管理和监控集群。在MRS管理控制台选择“集群列表>现有集群”,选中一个运行中的集群并单击集群名,进入集群信息页面。在“节点管理”中查看节点名称,名称中包含“master1”的节点为Master1节点,名称中包含“master2”的节点为Master2节点。 Master节点可以通过弹性云主机界面的VNC方式登录,也可以通过SSH方式登录,并且Master节点可以免密码登录到Core节点。 系统自动将Master节点标记为主备管理节点,并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务,则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点,请参见如何确认Manager的主备管理节点。 Core节点 MRS集群工作节点,负责处理和分析数据,并存储过程数据。 Task节点 计算节点,用于弹性伸缩,集群计算资源不足时扩容至集群中。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        登录集群
        MRS集群节点简介
      • 查看集群基本信息
        本章节主要介绍如何查看集群基本信息。 集群创建完成后,可对集群进行监控和管理。选择“集群列表 > 现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、部署的节点信息。 说明 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。 在集群详情页面选择“概览”,参考下表查看集群详情概览信息参数说明。 集群基本信息 参数 参数说明 集群名称 集群的名称,创建集群时设置。单击可对集群名称进行修改。 当MRS集群为MRS 3.x之前版本时,修改集群名称后仅MRS管理控制台界面显示的集群名称修改,MRS Manager中集群名称不会同步修改。 集群状态 集群状态信息,请参见集群列表简介章节中的表:集群状态说明。 集群管理页面 Manager页面入口。 针对MRS 3.x及以后版本,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 针对MRS 3.x之前版本,需要根据提示绑定弹性公网IP及添加安全组规则后才能进入MRS Manager页面,具体请参见访问MRS Manager(MRS 2.x及之前版本)。 具体操作请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 集群版本 MRS版本信息。 集群类型 支持以下集群类型: 分析集群:用来做离线数据分析,提供的是Hadoop体系的组件。 流式集群:用来做流处理任务,提供的是流式处理组件。 混合集群:既可以用来做离线数据分析,也可以用来做流处理任务,提供的是Hadoop体系的组件和流式处理组件。 自定义:全量自定义组件组合的MRS集群,MRS 3.x及之后版本支持此类型。 集群ID 集群的唯一标识,创建集群时系统自动赋值,不需要用户设置。 创建时间 显示集群创建的时间。 可用区 集群工作区域下的可用区,创建集群时设置。 默认生效子网 子网信息,创建集群时所选。 当子网IP不足时,单击“切换子网”切换到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 OBS权限控制 单击“单击管理”,修改MRS用户与OBS权限的映射关系,具体请参考配置MRS多用户访问OBS细粒度权限。 数据连接 单击“单击管理”,查看集群关联的数据连接类型,具体请参考配置数据连接。 委托 单击“管理委托”,为集群绑定或修改委托。 通过绑定委托,您可以将部分资源共享给ECS或BMS云服务来管理,例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置存算分离集群(委托方式)。MRSECSDEFAULTAGENCY委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。 密钥对 密钥对名称,创建集群时设置。 如果创建集群时设置的登录方式为密码,则不显示。 Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。 日志记录 用于收集集群创建失败及扩缩容失败的日志。 安全组 集群的安全组名称。 数据盘密钥名称 用于加密数据盘的密钥名称。如需对已使用的密钥进行管理,请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 IAM用户同步 可以将IAM侧用户信息同步至MRS集群,用于集群管理。具体请参见统一身份认证用户指南中有关同步MRS说明的章节。 说明 集群详情页的“组件管理”、“租户管理”和“备份恢复”页签需要同步用户后方可使用。MRS 3.x版本集群同步后可使用“组件管理”。 通讯安全授权 展示安全授权状态,通过可关闭和开启安全授权。关闭安全授权属于高危操作,请谨慎处理。详细信息请参考授权安全通信。 组件版本 参数 参数说明 Hadoop版本 显示Hadoop组件的版本信息。 Spark版本 显示Spark组件的版本信息,MRS 3.x之前版本集群支持。 HBase版本 显示HBase组件的版本信息。 Hive版本 显示Hive组件的版本信息。 Hue版本 显示Hue组件的版本信息。 Loader版本 显示Loader组件的版本信息。 Kafka版本 显示Kafka组件的版本信息。 Storm版本 显示Storm组件的版本信息。 Flume版本 显示Flume组件的版本信息。 Tez版本 显示Tez组件的版本信息。 Presto版本 显示Presto组件的版本信息。 KafkaManager版本 显示KafkaManager组件的版本信息。 Flink版本 显示Flink组件的版本信息。 Ranger版本 显示Ranger组件的版本信息。 Spark2x版本 显示Spark2x组件的版本信息。仅MRS 3.x及之后版本集群支持。 Oozie版本 显示Oozie组件的版本信息。仅MRS 3.x及之后版本集群支持。 ClickHouse版本 显示ClickHouse组件的版本信息。仅MRS 3.x及之后版本集群支持。 在集群详情页面选择“节点管理”,参考下表查看集群节点信息参数说明。 节点信息 参数 参数说明 配置Task节点 用于增加Task节点,请参见添加Task节点的相关任务。 对于3.x及之后版本,该操作仅适用于分析集群、流试集群和混合集群。 新增节点组 仅适用于3.x及之后版本,用于增加节点组,请参见添加节点组,仅适用自定义集群。 节点组名称 集群节点组名称。 节点类型 节点类型: Master:集群主节点,负责管理集群,协调将MapReduce可执行文件分配到核心节点。此外,还会跟踪每个作业的执行状态,监控DataNode的运行状况。 Task类型节点组是指仅部署了不存储数据的数据角色的节点组,主要包含:NodeManager、ThriftServer、Thrift1Server、RESTServer、Supervisor、Logviewer、HBaseIndexer、TagSync。 如果节点组内除以上角色外还部署了其他角色,则该节点组为Core类型节点组。 单击节点组名称前方的,显示该节点组包含的节点,单击节点名称,使用创建集群时配置的密码或者密钥对远程登录弹性云主机。节点参数说明请参见管理组件和主机监控。 节点数 对应节点组中包含的节点数量。 操作 扩容:请参见扩容集群。 缩容:请参见缩容集群。 弹性伸缩:请参见配置弹性伸缩规则。 查看角色信息:可查看所在节点组部署的角色信息。仅适用于3.x及之后版本的自定义集群。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群概览
        查看集群基本信息
      • 开源组件端口列表
        配置参数 默认端口 端口说明 hbase.master.port 16000 HMaster RPC端口。该端口用于HBase客户端连接到HMaster。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.master.info.port 16010 HMaster HTTPS端口。该端口用于远程Web客户端连接到HMaster UI。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.regionserver.port 16020 RS (RegoinServer) RPC端口。该端口用于HBase客户端连接到RegionServer。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.regionserver.info.port 16030 Region server HTTPS端口。该端口用于远程Web客户端连接到RegionServer UI。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.thrift.info.port 9095 Thrift Server的Thrift Server侦听端口。 该端口用于: 客户端链接时使用该端口侦听。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.regionserver.thrift.port 9090 RegionServer的Thrift Server侦听端口 。 该端口用于: 客户端链接RegionServer时使用该端口侦听。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.rest.info.port 8085 RegionServer RESTServer原生Web界面的端口。 21309 RegionServer RESTServer的REST端口。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问MRS集群上托管的开源组件Web页面
        开源组件端口列表
      • 配置Hive数据连接
        参数 说明 组件名称 Hive 模块类型 Hive元数据 连接类型 RDS服务MySQL数据库 本地数据库 连接实例 当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称,该连接必须先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        管理数据连接
        配置Hive数据连接
      • MapReduce对接OBS文件系统
        本章节主要介绍MapReduce对接OBS文件系统 。 使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。 1. 登录MRS管理控制台,单击集群名称进入集群详情页面。 2. 选择“组件管理 > Mapreduce”,进入Mapreduce服务“全部配置”页面,在左侧的导航列表中选择“Mapreduce>自定义”。在自定义配置项中,给参数文件“coresite.xml”添加配置项“mapreduce.jobhistory.alwaysscanuserdir”,设置值为“true”。 3. 保存配置,并重启Mapreduce服务。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置存算分离
        使用存算分离集群
        MapReduce对接OBS文件系统
      • Flume对接OBS文件系统
        本章节主要介绍 Flume对接OBS文件系统 。 本章节适用于MRS 3.x及之后的版本。 使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。 1.配置委托。 a.登录MRS控制台,在左侧导航栏选择“集群列表 > 现有集群”。 b.单击集群名称,进入集群详情页面。 c.在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 d.单击委托右侧的“管理委托”,选择需要绑定的委托并单击“确定”进行绑定。 2.创建OBS文件系统用于存放数据。 a.登录OBS控制台。 b.单击“并行文件系统”进入并行文件系统页面,单击“创建并行文件系统”。 c.填写文件系统名称,例如“esdkctestpfs1”,其他参数请根据需要填写。单击“立即创建”等待创建完成。 d.在OBS控制台并行文件系统列表中,单击已新建的文件系统名称进入详情页面。 e.在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。 3.准备properties.properties文件并将上传至“/opt/flumeInput”目录。 a.在本地准备“properties.properties”文件,文件内容如下: source server.sources r1 channels server.channels c1 sink server.sinks obssink define net source server.sources.r1.type seq server.sources.r1.spooldir /opt/flumeInput
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置存算分离
        使用存算分离集群
        Flume对接OBS文件系统
      • 开源组件Web站点
        本章主要介绍开源组件Web站点 。 场景介绍 MRS集群默认在集群的Master节点或Core节点创建并托管了不同组件的Web站点,用户可以通过这些Web站点查看组件相关信息。 访问开源组件Web站点步骤: 1. 配置访问方式。 MRS提供如下访问开源组件Web站点的方式: 通过弹性公网IP访问:推荐使用该方式,为集群绑定弹性公网IP,简便易操作。 通过Windows弹性云主机访问:需要创建单独的ECS并进行相关配置。 创建连接MRS集群的SSH隧道并配置浏览器:当用户和MRS集群处于不同的网络中时可以使用该方式访问。 2. 访问站点。请参考下表的地址进行访问。 Web站点一览 说明 对于开启Kerberos认证的集群,admin用户不具备各组件的管理权限,如需正常访问各组件的Web UI界面,请提前创建具有对应组件管理权限的用户。 详见下表: 开源组件Web站点地址 集群类型 站点类型 站点地址 全部类型 MRS Manager 适用于所有版本集群 说明 1. 确保本地机器与MRS集群网络互通。 2. 远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示MRS Manager浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到MRS Manager的浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 MRS 3.x之前版本集群 具体请参见访问MRS Manager(MRS 2.x及之前版本)。 MRS 3.x及以后版本请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 分析集群 HDFS NameNode MRS 3.x之前版本集群,在集群详情页选择“组件管理> HDFS > NameNode WebUI > NameNode (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> HDFS > NameNode WebUI > NameNode ( 主机名称 ,主)” HBase HMaster MRS 3.x之前版本集群,在集群详情页选择“组件管理> HBase > HMaster WebUI > HMaster (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> HBase > HMaster WebUI > HMaster ( 主机名称 ,主)” MapReduce JobHistoryServer MRS 3.x之前版本集群,在集群详情页选择“组件管理> Mapreduce > JobHistoryServer WebUI > JobHistoryServer” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Mapreduce > JobHistoryServer WebUI > JobHistoryServer ( 主机名称 ,主)” YARN ResourceManager MRS 3.x之前版本集群,在集群详情页选择“组件管理> Yarn > ResourceManager WebUI > ResourceManager (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Yarn > ResourceManager WebUI > ResourceManager ( 主机名称 ,主)” Spark JobHistory MRS 3.x之前版本集群,在集群详情页选择“组件管理> Spark > Spark WebUI > JobHistory” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Spark2x > Spark2x WebUI > JobHistory2x ( 主机名称 )” Hue MRS 3.x之前版本集群,在集群详情页选择“组件管理> Hue > Hue WebUI > Hue (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Hue > Hue WebUI > Hue (主机名称 ,主)” Loader页面是基于开放源代码Sqoop WebUI的图形化数据迁移管理工具,由Hue WebUI承载。 Tez MRS 3.x之前版本集群,在集群详情页选择“组件管理> Tez > Tez WebUI > TezUI” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Tez > Tez WebUI > TezUI ( 主机名称 )” Presto MRS 3.x之前版本集群,在集群详情页选择“组件管理> Presto > Presto WebUI > Coordinator (主)” 在Manager页面选择“集群>服务> Presto > Coordinator WebUI > Coordinator(Coordinator)” Ranger MRS 3.x之前版本集群,在集群详情页选择“组件管理> Ranger > Ranger WebUI > RangerAdmin (主)” MRS 3.x及以后版本集群,在Manager页面选择“集群>服务> Ranger > Ranger WebUI > RangerAdmin” 流处理集群 Storm MRS 3.x之前版本集群,在集群详情页选择“组件管理> Storm > Storm WebUI > UI” 在Manager页面选择“集群>服务> Storm > Storm WebUI > UI (主机名称 )”
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问MRS集群上托管的开源组件Web页面
        开源组件Web站点
      • Spark2x对接OBS文件系统
        本章节主要介绍Spark2x对接OBS文件系统。 MRS集群支持Spark2x在集群安装完成后对接OBS文件系统。 使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。 集群安装后使用spark beeline 1.登录FusionInsight Manager,选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在左侧的导航列表中选择“JDBCServer2x>自定义”。在参数“spark.hdfssite.customized.configs”中添加配置项“dfs.namenode.acls.enabled”,值为“false”。 2.在搜索框中搜索参数“spark.sql.statistics.fallBackToHdfs”,修改该参数值为“false”。 3.保存配置并重启JDBCServer2x实例。 4.使用安装客户端用户登录客户端安装节点。 5.配置环境变量。 source ${clienthome}/bigdataenv 6.如果是安全集群,使用以下命令用户进行用户认证,如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 用户名 7.在sparkbeeline中访问OBS,例如在“obs://mrsword001/table/”目录中创建表“test”。 create table test(id int) location ' obs://mrsword001/table/ '; 8.执行如下命令查询所有表,返回结果中存在表test,即表示访问OBS成功。 show tables; 详见下图:Spark2x验证返回已创建的表名 9.使用“Ctrl + C”退出spark beeline。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置存算分离
        使用存算分离集群
        Spark2x对接OBS文件系统
      • 快速创建ClickHouse集群
        本章节主要介绍如何快速创建ClickHouse集群。 本章节为您介绍如何快速创建一个ClickHouse集群,ClickHouse是一个用于联机分析的列式数据库管理系统,具有极致压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 ClickHouse集群包含的组件: MRS 3.1.0版本:ClickHouse 21.3.4.25、ZooKeeper 3.5.6。 CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 快速创建ClickHouse集群 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。 3.在创建集群页面,选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群。 区域:默认即可。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs20201121”。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。 组件选择:选择“ClickHouse集群”。 可用区:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        快速创建集群
        快速创建ClickHouse集群
      • 使用HDFS客户端
        客户端常见使用问题 1. 当执行HDFS客户端命令时,客户端程序异常退出,报“java.lang.OutOfMemoryError”的错误。 这个问题是由于HDFS客户端运行时的所需的内存超过了HDFS客户端设置的内存上限(默认为128MB)。可以通过修改“ /HDFS/componentenv”中的“CLIENTGCOPTS”来修改HDFS客户端的内存上限。例如,需要设置该内存上限为1GB,则设置: CLIENTGCOPTS"Xmx1G" 在修改完后,使用如下命令刷新客户端配置,使之生效: source /bigdataenv 2. 如何设置HDFS客户端运行时的日志级别? HDFS客户端运行时的日志是默认输出到Console控制台的,其级别默认是INFO级别。有的时候为了定位问题,需要开启DEBUG级别日志,可以通过导出一个环境变量来设置,命令如下: export HADOOPROOTLOGGERDEBUG,console 在执行完上面命令后,再执行HDFS Shell命令时,即可打印出DEBUG级别日志。 如果想恢复INFO级别日志,可执行如下命令: export HADOOPROOTLOGGERINFO,console 3. 如何彻底删除HDFS文件? 由于HDFS的回收站机制,一般删除HDFS文件后,文件会移动到HDFS的回收站中。如果确认文件不再需要并且需要立马释放存储空间,可以继续清理对应的回收站目录(例如:hdfs://hacluster/user/ xxx /.Trash/Current/ xxx )。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        各组件客户端使用实践
        使用HDFS客户端
      • 使用Hive客户端
        本章节主要介绍使用Hive客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端 前提条件 已安装客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Hive客户端(MRS 3.x之前版本) 1.以客户端安装用户,登录安装客户端的节点。 2.执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 3.执行以下命令配置环境变量。 source bigdataenv 4.根据集群认证模式,完成Hive客户端登录。 安全模式,则执行以下命令,完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式,则执行以下命令,登录Hive客户端,如果不指定组件业务用户,则会以当前操作系统用户登录。 beeline n 组件业务用户 说明 进行beeline连接后,可以编写并提交HQL语句执行相关任务。如需执行Catalog客户端命令,需要先执行!q命令退出beeline环境。 5. 使用以下命令,执行HCatalog的客户端命令。 hcat e "cmd" 其中 "cmd" 必须为Hive DDL语句,如 hcat e "show tables" 。 说明 若要使用HCatalog客户端,必须从“组件管理”页面单击“下载客户端”,下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容,使用HCatalog客户端创建的表,在HiveServer客户端中不能访问,但可以使用WebHCat客户端访问。 在普通模式下使用HCatalog客户端,系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用!q命令,不要使用“Ctrl + c”。否则会导致连接生成的临时文件无法删除,长期会累积产生大量的垃圾文件。 在使用beeline客户端时,如果需要在一行中输入多条语句,语句之间以“;”分隔,需要将“entireLineAsCommand”的值设置为“false”。 设置方法:如果未启动beeline,则执行beelineentireLineAsCommandfalse命令;如果已启动beeline,则在beeline中执行!set entireLineAsCommand false命令。 设置完成后,如果语句中含有不是表示语句结束的“;”,需要进行转义,例如 select concatws(';',collectset(col1)) from tbl 。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        各组件客户端使用实践
        使用Hive客户端
      • 使用Flume客户端
        client.sources staticlogsource client.channels staticlogchannel client.sinks kafkasink LOGTOHDFSONLINE1 client.sources.staticlogsource.type spooldir client.sources.staticlogsource.spoolDir 监控目录 client.sources.staticlogsource.fileSuffix .COMPLETED client.sources.staticlogsource.ignorePattern ^$ client.sources.staticlogsource.trackerDir 传输过程中元数据存储路径 client.sources.staticlogsource.maxBlobLength 16384 client.sources.staticlogsource.batchSize 51200 client.sources.staticlogsource.inputCharset UTF8 client.sources.staticlogsource.deserializer LINE client.sources.staticlogsource.selector.type replicating client.sources.staticlogsource.fileHeaderKey file client.sources.staticlogsource.fileHeader false client.sources.staticlogsource.basenameHeader true client.sources.staticlogsource.basenameHeaderKey basename client.sources.staticlogsource.deletePolicy never client.channels.staticlogchannel.type file client.channels.staticlogchannel.dataDirs 数据缓存路径,设置多个路径可提升性能,中间用逗号分开 client.channels.staticlogchannel.checkpointDir 检查点存放路径 client.channels.staticlogchannel.maxFileSize 2146435071 client.channels.staticlogchannel.capacity 1000000 client.channels.staticlogchannel.transactionCapacity 612000 client.channels.staticlogchannel.minimumRequiredSpace 524288000 client.sinks.kafkasink.type org.apache.flume.sink.kafka.KafkaSink client.sinks.kafkasink.kafka.topic 数据写入的topic ,如flumetest client.sinks.kafkasink.kafka.bootstrap.servers XXX . XXX . XXX . XXX :kafka 端口号 , XXX . XXX . XXX . XXX :kafka 端口号 , XXX . XXX . XXX . XXX :kafka端口号 client.sinks.kafkasink.flumeBatchSize 1000 client.sinks.kafkasink.kafka.producer.type sync client.sinks.kafkasink.kafka.security.protocol SASLPLAINTEXT client.sinks.kafkasink.kafka.kerberos.domain.name Kafka Domain名称,安全集群必填,如hadoop.xxx.1com client.sinks.kafkasink.requiredAcks 0 client.sources.staticlogsource.channels staticlogchannel client.sinks.kafkasink.channel staticlogchannel 说明 client.sinks.kafkasink.kafka.topic:数据写入的topic。若kafka中该topic不存在,默认情况下会自动创建该topic。 client.sinks.kafkasink.kafka.bootstrap.servers:Kafkabrokers列表,多个用英文逗号分隔。默认情况下,安全集群端口21007,普通集群对应端口9092。 client.sinks.kafkasink.kafka.security.protocol:安全集群为SASLPLAINTEXT,普通集群为PLAINTEXT。 client.sinks.kafkasink.kafka.kerberos.domain.name: 普通集群无需配置此参数。安全集群对应此参数的值为Kafka集群中“kerberos.domain.name”对应的值。 具体可到Broker实例所在节点上查看${BIGDATAHOME}/MRSCurrent/1 X Broker/etc/server.properties。 其中X为随机生成的数字,请根据实际情况修改。同时文件需要以Flume客户端安装用户身份保存,例如root用户。 具体可到Broker实例所在节点上查看“${BIGDATAHOME}/FusionInsightCurrent/1XBroker/etc/server.properties”。 9. 参数配置并保存后,Flume客户端将自动加载“properties.properties”中配置的内容。当spoolDir生成新的日志文件,文件内容将发送到Kafka生产者,并支持Kafka消费者消费。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        各组件客户端使用实践
        使用Flume客户端
      • 安装客户端(3.x及之后版本)
        本章节主要介绍安装客户端(3.x及之后版本)。 操作场景 该操作指导安装工程师安装MRS集群所有服务(不包含Flume)的客户端。Flume客户端安装请参见“组件操作指南 > 使用Flume > 安装Flume客户端”。 客户端可以安装集群内节点,也可以安装在集群外节点,本章节以安装目录“/opt/client”为例进行介绍,请以实际集群版本为准。 在集群外节点安装客户端前提条件 已准备一个Linux弹性云主机,主机操作系统及版本建议参见下表。 CPU架构 操作系统 支持的版本号 x86计算 Euler EulerOS 2.5 SUSE SUSE Linux Enterprise Server 12 SP4(SUSE 12.4) RedHat RedHat7.5x8664(RedHat 7.5) CentOS CentOS7.6版本(CentOS 7.6) 鲲鹏计算(ARM) Euler EulerOS 2.8 CentOS CentOS7.6版本(CentOS 7.6) 同时为弹性云服务分配足够的磁盘空间,例如“40GB”。 弹性云主机的VPC需要与MRS集群在同一个VPC中。 弹性云主机的安全组需要和MRS集群Master节点的安全组相同。 弹性云主机操作系统已安装NTP服务,且NTP服务运行正常。 若未安装,在配置了yum 源的情况下,可执行yum install ntp y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云主机(SSH方式)。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        安装客户端
        安装客户端(3.x及之后版本)
      • 安装客户端(3.x之前版本)
        操作系统 支持的版本号 Euler 可用:Euler OS 2.2 可用:Euler OS 2.3 可用:Euler OS 2.5
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        安装客户端
        安装客户端(3.x之前版本)
      • 添加引导操作
        本章节主要介绍如何添加引导操作。 该操作适用于MRS 3.x之前版本集群。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 3.在集群基本信息页,单击“引导操作”。 4.单击“添加”,根据界面信息填写对应参数。 参数描述 参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明 同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以s3a://开头,以.sh结尾。例如:s3a://mrssamples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。 说明 同一集群内,不允许配置相同的路径。不同集群之间,可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后,是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”,无论此引导操作是否执行成功,则集群都能继续创建。 5.单击“确定”保存添加的引导操作。 6.单击“是”即可添加成功。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        添加引导操作
      • 删除引导操作
        本章节主要介绍如何删除引导操作。 操作场景 该任务指导用户通过MRS删除已有引导操作。 操作步骤 1.登录MRS管理控制台。 2.选择“集群列表 > 现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 3.在集群基本信息页,单击“引导操作”。 4.在列表中勾选需要修改的列表项,单击“删除”。 5.单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        删除引导操作
      • 创建自定义集群
        参数 参数说明 可用区 选择集群工作区域下关联的可用区。 可用区是使用独立电源和网络资源的物理区域。通过内部网络互联,再以物理方式进行隔离,提高了应用程序的可用性。建议您在不同的可用区下创建集群。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 选择需要创建集群的子网,单击“查看子网”可查看所选子网的详细信息,若VPC下未创建子网,请在VPC服务控制台单击“创建子网”进行创建。网络ACL出规则配置请参考 说明 创建MRS集群需要的IP数量和集群节点和组件个数相关,集群类型不影响IP数量。 MRS集群部署默认需要的IP数量为:集群节点数量+2(Manager+DB),如果部署集群时选择Hadoop、Hue、Sqoop或Loader、Presto组件,则每一个组件需要再加一个IP。若单独创建ClickHouse集群则需要的IP数量为:集群节点数量+1(Manager)。 安全组 安全组是一组对弹性云主机的访问规则的集合,为同一个VPC内具有相同安全保护需求并相互信任的弹性云主机提供访问策略。 用户创建集群时,可自动创建安全组,也可选择下拉框中已有的安全组。 说明 选择用户自己创建的安全组时,请确保入方向规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则,源地址请勿使用0.0.0.0/0,否则会有安全风险。若用户不清楚可信任的IP访问范围,请选择自动创建。 弹性公网IP 通过将弹性公网IP与MRS集群绑定,实现使用弹性公网IP访问Manager的目的。 用户创建集群时,可选择下拉框中已有的弹性公网IP进行绑定。若下拉框中没有可选的弹性公网IP,可以单击“管理弹性公网IP”进入弹性公网IP服务进行创建。 说明 弹性公网IP必须和集群在同一区域。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        创建自定义集群
      • 查看执行记录
        本章节主要介绍如何查看执行记录。 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 1.登录MRS管理控制台。 2.在“集群列表 > 现有集群”中单击需要查询的集群名称。 系统跳转至该集群详情页面。 3.在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息。 说明 可以通过选择右上角的“组件首次启动前”或者“组件首次启动后”查询相关的引导操作信息。 这里列出的是上次执行结果。对于新创建的集群,则列出的是创建时执行引导操作的记录;如果集群被扩容了,则列出的是上次扩容对新增节点执行引导操作的记录。 查看执行日志 如果需要查看引导操作的执行日志,请在添加引导操作时将“失败操作”配置为“继续”,然后登录到各个节点上查看运行日志,运行日志在/var/log/Bootstrap目录下。如果您对组件启动前后都添加了引导操作,可通过时间戳前后关系来区分两个阶段引导操作的日志。 建议您在脚本中尽量详细地打印日志,以方便查看运行结果。MRS将脚本的标准输出和错误输出都重定向到了引导操作日志目录下。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        查看执行记录
      • 删除资源池
        本章节主要介绍如何删除资源池。 操作场景 该任务指导用户通过MRS删除已有资源池。 前提条件 集群中任何一个队列不能使用待删除资源池为默认资源池,删除资源池前需要先取消默认资源池,请参见配置队列。 集群中任何一个队列不能在待删除资源池中配置过资源分布策略,删除资源池前需要先清除策略,请参见清除队列配置。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源池”页签。 3.在资源池列表指定资源池所在行的“操作”列,单击“删除”。 在弹出窗口中单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        删除资源池
      • 准备引导操作脚本
        本章节主要介绍如何准备引导操作脚本。 引导操作目前仅支持linux shell脚本,脚本文件需以.sh结尾。 上传所需安装包等文件至OBS文件系统 正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同region的OBS文件系统中。因为不同region间有网络隔离,MRS虚拟机无法下载其他region上的OBS文件。 脚本中如何从OBS文件系统下载文件 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop fs下载,下面的例子会将 obs://yourbucket/myfile.tar.gz 这个文件下载到本地,并解压到 /yourdir 目录下: !/bin/bash source /opt/Bigdata/client/bigdataenv;hadoop fs D fs.obs.endpoint D fs.obs.access.key D fs.obs.secret.key copyToLocal obs://yourbucket/myfile.tar.gz ./ mkdir p / tar zxvf myfile.tar.gz C / 说明 MRS 3.x及之后版本客户端默认安装路径为“/opt/Bigdata/client”,MRS 3.x之前版本为“/opt/client”。具体以实际为准。 Hadoop客户端已预安装在MRS节点上,hadoop fs命令可对OBS做下载、上传等操作。 各region下obsendpoint请向管理员获取。 上传脚本至OBS文件系统 脚本完成后上传到同region的OBS文件系统中。在您选定的时机,集群各节点会从OBS将脚本下载下来并以root用户执行。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        准备引导操作脚本
      • 删除租户
        本章节主要介绍如何删除租户。 操作场景 当租户需要根据业务需求,将当前不再使用的租户删除时,可以在MRS完成操作。 前提条件 已添加租户。 检查待删除的租户是否存在子租户,如果存在,需要先删除全部子租户,否则无法删除当前租户。 待删除租户的角色,不能与任何一个用户或者用户组存在关联关系。该任务对应取消角色与用户的绑定,请参见修改用户信息。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表,将光标移动到需要删除的租户节点上,单击“删除”。 界面显示删除租户对话框。根据业务需求,需要保留租户已有的数据时请同时勾选“保留该租户的数据”,否则将自动删除租户对应的存储空间。 3.单击“是”,删除租户。 保存配置需要等待一段时间,租户成功删除。租户对应的角色、存储空间将删除。 说明 租户删除后,Yarn中对应的租户任务队列不会被删除。 删除父租户时选择不保留数据,如果存在子租户且子租户使用了存储资源,则子租户的数据也会被删除。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        删除租户
      • 引导操作简介
        本章节主要对引导操作进行简介。 引导操作是指启动集群组件前(或后)在指定的节点上执行脚本。您可以通过引导操作来完成安装其他第三方软件,修改集群运行环境等自定义操作。 如果集群扩容,选择执行引导操作,则引导操作也会以相同方式在新增节点上执行。如果集群开启弹性伸缩功能,可以在配置资源计划的同时添加自动化脚本,则自动化脚本会在弹性伸缩的节点上执行,实现用户自定义操作。 MRS会使用root用户执行您指定的脚本,脚本内部您可以通过su XXX命令切换用户。 说明 引导操作脚本以root身份执行,使用不当可能会对集群可用性造成影响,请谨慎操作。 MRS通过引导操作脚本返回码来判断结果,如果返回零,则代表脚本执行成功,非零代表执行失败。一个节点上执行某个引导脚本失败,则会导致相应引导脚本失败,您可以通过“失败后操作”来选择是否继续执行后续脚本。举例1:创建集群指定所有脚本的“失败后操作”都选择“继续”,则不管这些脚本实际执行成功或失败,都会全部执行,并完成启动流程。举例2:如果一个脚本执行失败,且“失败后操作”选择“终止”,则不会执行后续脚本,集群创建或扩容也随之失败。 您最多可以添加18个引导操作,它们会按照您指定的顺序在集群组件启动前(或后)执行。组件启动前(或后)执行的引导操作,必须在60分钟内完成,否则会引起集群创建或扩容失败。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        引导操作
        引导操作简介
      • 恢复租户数据
        本章节主要介绍如何恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据,在组件故障恢复或者卸载重新安装的场景下,所有租户的部分配置数据可能状态不正常,需要手动恢复。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表,单击某个租户节点。 3.检查租户数据状态。 a.在“概述”,查看“基本信息”左侧的圆圈,绿色表示租户可用,灰色表示租户不可用。 b.单击“资源”,查看“Yarn”或者“HDFS 存储”左侧的圆圈,绿色表示资源可用,灰色表示资源不可用。 c.单击“服务关联”,查看关联的服务表格的“状态”列,“良好”表示组件可正常为关联的租户提供服务,“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常,需要恢复租户数据,请执行步骤4。 4.单击“恢复租户数据”。 5.在“恢复租户数据”窗口,选择一个或多个需要恢复数据的组件,单击“确定”,等待系统自动恢复租户数据。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        恢复租户数据
      • 支持滚动重启
        典型场景操作步骤 1.选择“集群列表 > 现有集群”,单击集群名称进入集群详情页面。 2.单击“组件管理”,选择HBase,进入HBase服务页面。 3.单击“服务配置”页签,修改HBase某个参数并保存配置,根据界面提示进行保存。 说明 MRS 3.x之前版本存在“重新启动受影响的服务或实例”参数,请勿勾选,该处重启是普通重启方式,会并发重启所有服务或实例,引起业务断服。 4.保存配置完成后,单击“完成”。 5.选择“服务状态”页签。 6.在“服务状态”页签单击“更多”,选择“滚动重启服务”。 7.弹出“滚动重启服务”页面,勾选“仅重启配置过期的实例”,单击确定,开始滚动重启。 8.滚动重启任务完成后,单击“完成”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        支持滚动重启
      • 查看与手动清除告警
        导出告警 1.选择“集群列表 > 现有集群”,单击集群名称进入集群详情页面。 2.单击“告警管理 > 告警”。 3.单击“全部导出”。 4.在弹框内选择“保存类型”,单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        告警管理
        查看与手动清除告警
      • 1
      • ...
      • 259
      • 260
      • 261
      • 262
      • 263
      • ...
      • 265
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      天翼云新春焕新季

      云主机开年特惠28.8元/年,0元秒杀等你来抢!

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      多活容灾服务

      GPU云主机

      镜像服务 IMS

      轻量型云主机

      弹性伸缩服务 AS

      天翼云CTyunOS系统

      训推服务

      模型推理服务

      推荐文档

      Redis集群管理

      客户端下载

      玩转天翼云②:linux系统攻击基本排查方法

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号