云主机开年特惠28.8元/年,0元秒杀等你来抢!
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 天翼云新春焕新季 NEW 云主机开年特惠28.8元/年,0元秒杀等你来抢!
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      天翼云云市场_相关内容
      • 删除集群
        本章节主要介绍如何删除集群。 如果作业执行结束后不需要集群, 可以删除MRS集群。 背景信息 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除操作。当MRS集群部署失败时,集群会被自动删除。 操作步骤 1.登录MRS管理控制台。 2.在左侧导航栏中选择“集群列表 > 现有集群”。 3.在需要删除的集群对应的“操作”列中,单击“删除”。 集群状态由“运行中”更新为“删除中”,待集群删除成功后,集群状态更新为“已删除”,并且显示在“历史集群”中。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群运维
        删除集群
      • 管理组件和主机监控
        状态 描述 正常 主机及主机上的服务角色正常运行。 已隔离 主机被用户隔离,主机上的服务角色停止运行。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群概览
        管理组件和主机监控
      • 切换集群子网
        本章节主要介绍如何切换集群子网。 MRS支持当子网IP不足时,切换子网到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考下方如何配置网络ACL出规则。 未关联网络ACL时切换子网 1.登录MRS控制台。 2.单击集群名称进入集群详情页。 3.在“默认生效子网”右侧单击“切换子网”。 4.选择待切换子网,并单击“确定”完成切换。 若没有可用子网,请单击“创建子网”进入VPC控制台创建子网后,再在此处引用。 关联网络ACL时切换子网 1.登录MRS控制台,单击集群名称进入集群详情页。 2.MRS集群详情页,查看“虚拟私有云”。 3.进入VPC控制台,在左侧导航处选择“虚拟私有云”,获取步骤2中查询的“虚拟私有云”对应的“IPv4网段”。 4.在VPC控制台左侧导航处选择“访问控制 > 网络ACL”,单击MRS集群默认生效子网和切换后子网关联的网络ACL名称,选择“入方向规则”页签。 说明 若集群的默认生效子网和切换后子网均关联网络ACL,则两个子网关联的网络ACL中均需参考步骤5步骤7增加入方向规则。 详见下图: 网络ACL 5.在第一条规则的“操作”列,选择“更多 > 向前插规则”。 6.添加网络ACL规则,其中“策略”选择“允许”,“源地址”填入步骤3中获取的“虚拟私有云”对应的“IPv4网段”,其他值保持默认即可。 7.单击“确定”完成网络ACL规则添加。 说明 如果您不想放开VPC对应的全部IPv4网段的规则,请参考步骤8步骤12添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加,则无需执行步骤8步骤12的操作。 8.登录MRS控制台。 9.单击集群名称进入集群详情页。 10.在“默认生效子网”右侧单击“切换子网”。 11.获取“默认生效子网”和待切换子网对应的IPv4网段。 须知 此时请勿单击切换子网的“确定”按钮,否则默认生效子网将更新为切换后的子网,切换前的子网不易查询,请谨慎操作。 12.参考步骤4步骤7添加“默认生效子网”和待切换子网的IPv4网段地址到切换前后子网绑定的网络ACL入方向规则中。 13.登录MRS控制台。 14.单击集群名称进入集群详情页。 15.在“默认生效子网”右侧单击“切换子网”。 16.选择待切换子网,并单击“确定”完成切换。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群运维
        切换集群子网
      • 缩容集群
        用户可以根据业务需求量,通过简单的缩减Core节点或者Task节点,对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。 当集群正在进行主备同步操作时,不允许进行缩容操作。 说明 MRS包周期集群暂不支持缩容,当前仅支持MRS按需集群按指定数量进行缩容。 背景信息 目前支持缩容Core节点和Task节点,不支持缩容Master节点。对集群进行缩容时,只需要在界面调整节点个数,MRS会自动选择缩容节点,完成缩容任务。 自动选择缩容节点的策略如下: 不允许缩容安装了基础组件(Zookeeper,DBService,KrbServer,LdapServer等)的节点,MRS不会选择这些节点进行缩容。因为这些基础组件是集群运行的基础。 Core节点是存放集群业务数据的节点,在缩容时必须保证待缩容节点上的数据被完整迁移到其他节点,即完成各个组件的退服之后,才会执行缩容的后续操作(节点退出Manager和删除ECS等)。在选择Core节点时,会优先选择存储数据量较小,且可退服实例健康状态良好的节点,避免节点退服失败。例如在分析集群上,Core节点安装了DataNode,缩容时会优先选择DataNode存储数据量较小且健康状态良好的节点。 Core节点在缩容的时候,会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存,客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长,可以重启HBase或者对相关的表Disable/Enable来避免。 Task节点本身不存储集群数据,属于计算节点,不存在节点数据迁移的问题。因此在选择Task节点时,优先选择健康状态为故障、未知、亚健康的节点进行缩容。这些节点实例的健康状态信息可以在MRS上的“实例”管理界面查看。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        节点管理
        缩容集群
      • 查看集群补丁信息
        本章节主要介绍如何查看集群补丁信息。 查看集群组件的补丁信息。如果集群组件,如Hadoop或Spark等出现了异常,可下载补丁版本,选择“集群列表 > 现有集群”,选中一集群并单击集群名,进入集群详情页面升级组件,修复问题。 说明 MRS 3.x版本无补丁版本信息,不涉及此章节。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群概览
        查看集群补丁信息
      • 登录集群节点
        登录弹性云主机(SSH密码方式) 本地使用Windows操作系统 如果本地主机为Windows操作系统,可以按照下面方式登录弹性云主机。下面步骤以PuTTY为例。 1.登录MapReduce服务管理控制台。 2.选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群基本信息页面。 3.在“节点管理”页签单击Master节点组中某一Master节点名称,登录到弹性云主机管理控制台。 4.选择“弹性公网IP”页签,单击“绑定弹性IP”为弹性云主机绑定一个弹性公网IP并记录该IP地址,若已绑定弹性公网IP请跳过该步骤。 5.运行PuTTY。 6.单击“Session”。 a.Host Name (or IP address):输入弹性云主机所绑定的弹性公网IP。 b.Port:输入 22。 c.Connection Type:选择 SSH。 d.Saved Sessions:任务名称,在下一次使用PuTTY时就可以单击保存的任务名称,即可打开远程连接。 详见下图: 单击Session 7.单击“Window”,在“Translation”下的“Remote character set:”选择“UTF8”。 8.单击“Open”登录云服务器。 如果首次登录云服务器,PuTTY会显示安全警告对话框,询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 9.建立到云服务器的SSH连接后,根据提示输入用户名和密码登录弹性云主机。 说明 用户名、密码分别是root和创建集群时设置的密码。 本地使用Linux操作系统 如果本地主机为Linux操作系统,您可以参考步骤1~步骤4为弹性云主机绑定弹性公网IP后,在计算机的命令行中运行如下命令登录弹性云主机:ssh弹性云主机绑定的弹性公网IP
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        登录集群
        登录集群节点
      • 配置消息通知
        参数 说明 规则名称 用户自定义发送订阅消息的规则名称,只能包含数字、英文字符、中划线和下划线。 提醒通知 选择开启时,将按照该订阅规则为订阅者发送对应订阅消息。 选择关闭时,该规则不会生效,即不会向订阅者发送订阅消息。 主题名称 选择已创建的主题,也可以单击“创建主题”重新创建。 消息类型 选择需要订阅的消息类型。 告警 事件 订阅规则 选择需要订阅的消息规则,可根据需要勾选全部或部分规则。 、 MRS 3.x及之后版本订阅规则: 告警:紧急,重要,次要 事件:重要,次要,提示 MRS 3.x之前版本订阅规则: 致命 严重 一般 提示
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群运维
        配置消息通知
      • 查看集群状态
        本章节主要介绍如何查看集群状态。 集群列表显示MRS所有的集群,集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 MRS作为一个海量数据管理和分析平台,数据处理能力在PB级以上。MRS支持创建多个集群,集群创建数量受弹性云主机数量限制。 集群列表默认按时间顺序排列,时间最近的集群显示在最前端。集群列表参数说明如下表所示。 现有集群:包括除了“失败”和“已删除”状态以外的所有集群。 历史集群:仅包含“已删除”的集群,目前界面只显示6个月内创建且已删除的集群,若需要查看6个月以前删除的集群,请联系支持人员。 失败任务管理:仅包含“失败”状态的任务。 −集群创建失败的任务 −集群删除失败的任务 −集群扩容失败的任务 −集群缩容失败的任务 −集群安装补丁失败的任务(仅MRS 3.x之前版本支持) −集群卸载补丁失败的任务(仅MRS 3.x之前版本支持) −集群升级规格失败的任务 集群列表参数 参数 参数说明 名称/ID 集群的名称,创建集群时设置。集群的ID是集群的唯一标识,创建集群时系统自动赋值,不需要用户设置。 :修改集群名称。 :复制集群ID。 集群版本 集群的版本号。 节点数 集群部署的节点个数,创建集群时设置。 状态 集群状态、进度信息。 创建集群进度包括: Verifying cluster parameters:校验集群参数中 Applying for cluster resources:申请集群资源中 Creating VMs:创建虚拟机中 Initializing VMs:初始化虚拟机中 Installing MRS Manager:安装MRS Manager中 Deploying the cluster:部署集群中 Cluster installation failed:集群安装失败 扩容集群进度包括: Preparing for cluster expansion:准备扩容中 Creating VM:创建虚拟机中 Initializing VM:初始化虚拟机中 Adding node to the cluster:节点加入集群中 Cluster expansion failed:集群扩容失败 缩容集群进度包括: Preparing for cluster shrink:正在准备缩容 Decommissioning instance:实例退服中 Deleting VM:删除虚拟机中 Deleting node from the cluster:从集群删除节点中 Cluster shrink failed:集群缩容失败 集群安装、扩容、缩容失败,会显示失败的原因,详情请参见创建自定义集群章节“集群创建失败” 中的“错误码表”。 创建时间 集群节点创建成功。 删除时间 集群节点停止时间,也是集群节点开始删除时间。仅“历史集群”会显示此参数。 可用区 集群工作区域下的可用区,创建集群时设置。 企业项目 集群所属的企业项目。 操作 删除:如果作业执行结束后不需要集群,可以单击“删除”,集群状态由“运行中”更新为“删除中”,待集群删除成功后,集群状态更新为“已删除”,并且显示在“历史集群”中。当MRS集群部署失败时,集群会被自动删除。 仅“现有集群”会显示此参数。 说明 一般在数据完成分析和存储后或集群异常无法提供服务时才执行删除操作。如果数据没有完成处理分析,删除集群会导致数据丢失,请谨慎操作。 按钮说明 按钮 说明 在下拉框中选择企业项目,筛选对应集群。 在下拉框中选择集群状态,筛选现有集群。 现有集群 − 所有状态:表示筛选所有的现有集群 − 启动中:表示筛选“启动中”状态的现有集群 − 运行中:表示筛选“运行中”状态的现有集群 − 扩容中:表示筛选“扩容中”状态的现有集群。 − 缩容中:表示筛选“缩容中”状态的现有集群。 − 异常:表示筛选“异常”状态的现有集群 − 删除中:表示筛选“删除中”状态的现有集群 选择“集群列表>现有集群”,单击进入“失败任务管理”页面。 Num:表示“失败”状态的任务数。 在搜索框中输入集群名称或ID,单击,搜索集群。 标签搜索 单击“标签搜索”输入待查询集群的标签,然后单击“搜索”搜索对应集群。 标签键或标签值可以通过下拉列表中选择,当标签键或标签值全匹配时,系统可以自动查询到目标集群。当有多个标签条件时,会取各个标签的交集,进行集群查询。 单击,手动刷新现有集群列表。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群概览
        查看集群状态
      • 配置数据连接
        参数 参数说明 元数据 是否使用外部数据源存储元数据。 本地元数据: 元数据存储在集群本地。 数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“数据连接”功能开启时,该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“数据连接”功能开启时,该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型: − RDS服务MySQL数据库 − 本地数据库 Ranger组件支持的数据连接类型: − RDS服务MySQL数据库 − 本地数据库 数据连接实例 当“数据连接类型”选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时,该参数有效。用于表示MRS集群与RDS服务数据库连接的名称,该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建,具体请参考 管理数据连接章节
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        管理数据连接
        配置数据连接
      • 集群列表简介
        本章节主要介绍集群列表。 通过概览信息可以快速查看所有集群和作业的状态,您也可以通过MRS控制台左侧导航的“帮助”中获取MRS相关帮助文档。 MRS用于海量数据的管理和分析,MRS使用简单,用户创建好一个集群,在集群内可新增MapReduce、Spark和Hive等作业,对用户数据进行分析和处理。数据处理完成后,采用SSL加密传输数据至OBS,保证数据的完整性和机密性。 集群状态 登录MRS管理控制台后,MRS所有集群包含的状态如下表所示。 集群状态说明 状态 说明 启动中 集群正在创建,则其状态为“启动中”。 运行中 集群创建成功且集群中所有组件状态均正常,则其状态为“运行中”。 扩容中 集群Core节点或者Task节点正在扩容,则其状态为“扩容中”。 说明 如果集群扩容失败,用户可重新进行扩容操作。 缩容中 当对集群节点进行关机、删除、变更OS、重装OS和修改规格的操作时,被变更的集群节点正在删除,则其状态为“缩容中”。 异常 集群中部分组件状态异常,导致集群异常,则其状态为“异常”。 删除中 集群节点正在删除中,则其状态为“删除中”。 已删除 集群已经删除,仅“历史集群”会显示此参数。 作业状态 登录MRS的管理控制台后,用户在MRS集群中执行的作业包含的状态如下表所示。 作业状态说明 状态 说明 已接受 作业提交成功后的初始状态。 运行中 作业执行过程中,则其状态为“运行中”。 已完成 作业执行完成,并且执行成功,则其状态为“已完成”。 已终止 作业执行过程中,停止执行,则其状态为“已终止”。 异常 作业执行过程中报错,或者作业执行完成,但执行失败,则其状态为“异常”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        集群概览
        集群列表简介
      • 通过引导操作安装第三方软件
        参数 说明 名称 引导操作脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成,且不能以空格开头。 可输入的字符串长度为1~64个字符。 说明 同一集群内,不允许配置相同的名称。不同集群之间,可以配置相同的名称。 脚本路径 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以s3a://开头,以.sh结尾。例如:s3a://mrssamples/xxx.sh l 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。 说明 同一集群内,不允许配置相同的路径。不同集群之间,可以配置相同的路径。 参数 引导操作脚本参数。 执行节点 选择引导操作脚本所执行的节点类型。 执行时机 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 失败操作 该脚本执行失败后,是否继续执行后续脚本和创建集群。 说明 建议您设置为“继续”,无论此引导操作是否执行成功,则集群都能继续创建。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        通过引导操作安装第三方软件
      • 快速创建Kafka流式集群
        本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群,Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量,可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。 3.在创建集群页面,选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群。 区域:默认即可。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs20200321”。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:不同版本集群提供的组件有所不同,请根据需要选择集群版本。 组件选择:选择“Kafka流式集群”。 可用区:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用:默认即可。MRS 3.x版本暂时不支持该参数。 LVM:默认即可。MRS 3.x版本暂时不支持该参数。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        快速创建集群
        快速创建Kafka流式集群
      • 创建自定义拓扑集群
        本章节主要介绍如何创建自定义拓扑集群。 MRS当前提供的“分析集群”、“流式集群”和“混合集群”采用固定模板进行部署集群的进程,无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。如需自定义集群部署方式,可在创建集群时的“集群类型”选择“自定义”,实现用户自主定义集群的进程实例在集群节点中的部署方式。仅MRS 3.x及之后版本支持创建自定义拓扑集群。 自定义集群可实现以下功能: 管控分离部署,管理角色和控制角色分别部署在不同的Master节点中。 管控合设部署,管理角色和控制角色共同部署在Master节点中。 ZooKeeper单独节点部署,增加可靠性。 组件分开部署,避免资源争抢。 MRS集群中角色类型: 管理角色:Management Node(MN),安装Manager,即MRS集群的管理系统,提供统一的访问入口。Manager对部署在集群中的节点及服务进行集中管理。 控制角色:Control Node(CN),控制监控数据角色执行存储数据、接收数据、发送进程状态及完成控制节点的公共功能。 MRS的控制节点包括HMaster、HiveServer、ResourceManager、NameNode、JournalNode、SlapdServer等。 数据角色:Data Node(DN),执行管理角色发出的指示,上报任务状态、存储数据,以及执行数据节点的公共功能。MRS的数据节点包括DataNode、RegionServer、NodeManager等。 创建自定义集群 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。 3.在创建集群页面,选择“自定义创建”页签。 4.参考下列参数说明配置集群软件信息,参数详细信息请参考创建自定义集群章节中的MRS集群软件配置表。 区域:默认即可。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs20180321”。 集群版本:目前仅MRS 3.x版本支持。 集群类型:选择“自定义”并根据需要勾选对应组件。 5.单击“下一步”,并配置硬件信息。 可用区:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 安全组:选择“自动创建”。 弹性公网IP:选择“暂不绑定”。 CPU架构:默认即可。MRS 3.x版本无该参数。 常用模板:具体说明请参见下方“自定义集群模板说明”。 实例规格:单击配置实例规格、系统盘和数据盘存储类型和存储空间。 实例数量:请根据业务量调整集群实例数量。具体可参考下方“MRS自定义集群节点部署方案”。 拓扑调整:若常用模板中的部署方式不满足需求或者需要手动安装部分默认安装不部署的实例或者需要手动安装部分实例时,请设置“拓扑调整”为“开启”,然后根据业务需要调整实例部署方式,具体说明请参见下方“自定义集群拓扑调整说明”。 6.单击“下一步”进入高级配置页签。 参数说明请参见创建自定义集群章节中的“高级配置(可选)”。 7.单击“立即创建”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 8.单击“返回集群列表”,可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        创建自定义拓扑集群
      • 配置Ranger数据连接
        本章节主要介绍如何配置Ranger数据连接。 本指导旨在指导用户将现有集群的Ranger元数据切换为RDS数据库中存储的元数据。该操作可以使多个MRS集群共用同一份元数据,且元数据不随集群的删除而删除。也能够避免集群迁移时Ranger元数据的迁移。 前置条件 已创建RDS服务MySQL数据库的实例,请参考 管理数据连接章节配置数据连接 中的 创建数据连接。 说明 对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考 管理数据连接章节[配置数据连接]( ) 中的 数据连接前置操作,新建用户并为该用户进行赋权。 对于MRS 3.x及之后版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,数据库用户不允许为root用户,请参考 管理数据连接章节[配置数据连接]( )中的 数据连接前置操作,新建用户并为该用户进行赋权。 Ranger元数据外置到Mysql前置操作 该前置操作仅在MRS 3.1.0及之后版本需要执行。 1.登录FusionInsight Manager页面,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。选择“集群 > 服务 > 服务名称 ”。 当前MRS 3.1.x集群支持Ranger鉴权的组件为: HDFS、HBase、Hive、Spark、Impala、Storm、Kafka组件。 2.在服务“概览”页面右上角单击“更多 > 停用Ranger鉴权”,如果“停用Ranger鉴权”是灰色,则表示未开启Ranger鉴权无需停用Ranger鉴权,如下图所示。 3.(可选)如需使用已有鉴权策略请执行该步骤在Ranger Web页面导出已有组件的鉴权策略,切换Ranger元数据完成后可重新导入已有的鉴权策略。此处以Hive为例,导出后会生成本地的json格式的策略文件。 a.登录FusionInsight Manager页面。 b.选择“集群 > 服务 > Ranger”,进入Ranger服务概览页面。 c.单击“基本信息”区域中的“RangerAdmin”,进入Ranger WebUI界面。 admin用户在Ranger中的用户类型为“User”,如需查看所有管理页面,可点击右上角用户名后,选择“Log Out”,退出当前用户。 d.使用rangeradmin用户(默认密码为Rangeradmin@123)或者其他具有Ranger管理员权限用户重新登录。 e.单击Hive组件对应行的导出按钮,导出鉴权策略。 详见下图:导出鉴权策略 f.单击“Export”,导出后会生成本地的json格式的策略文件。 详见下图: 导出Hive鉴权策略
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        管理数据连接
        配置Ranger数据连接
      • 快速创建Hadoop分析集群
        本章节主要介绍如何快速创建Hadoop分析集群。 本章节为您介绍如何快速创建一个Hadoop分析集群,Hadoop完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框架等Hadoop生态圈的组件,进行海量数据分析与查询。 快速创建Hadoop分析集群 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。 3.在创建集群页面,选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群。 区域:默认即可。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs20180321”。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。 组件选择:选择“Hadoop分析集群”。 可用区:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用:默认即可。MRS 3.x版本暂时不支持该参数。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        快速创建集群
        快速创建Hadoop分析集群
      • IAM用户同步MRS说明
        策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess Managerviewer 否 否 细粒度 MRS CommonOperations lManagerviewer default launcherjob 否 是 细粒度 MRS FullAccess Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 否 是 RBAC Server Administrator、Tenant Guest和MRS Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 RBAC Tenant Administrator Manageradministrator Managerauditor Manageroperator Managertenant Managerviewer Systemadministrator default launcherjob 是 是 自定义 Custom policy(自定义策略) Managerviewer default launcherjob 自定义策略以RBAC策略为模板则参考RBAC策略。 自定义策略以细粒度策略为模板则参考细粒度策略,建议使用细粒度策略。 是
        来自:
        帮助文档
        翼MapReduce
        用户指南
        准备用户
        IAM用户同步MRS说明
      • 创建MRS操作用户
        本章节主要介绍如何创建MRS操作用户。 如果您需要对您所拥有的MapReduce服务(MapReduce Service)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的云帐号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用MRS资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将MRS资源委托给更专业、高效的其他云帐号或者云服务,这些帐号或者云服务可以根据权限进行代运维。 如果云帐号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用MRS服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如下图所示。 前提条件 给用户组授权之前,请您了解用户组可以添加的MRS权限,并结合实际需求进行选择。 示例流程 详见下图: 给用户授权MRS权限流程 1.创建用户组并授权 在IAM控制台创建用户组,并授予MRS服务对应权限。 2.创建用户并加入用户组 在IAM控制台创建用户,并将其加入上述创建用户组并授权中创建的用户组。 3.用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: −在“服务列表”中选择MRS服务,进入MRS主界面,单击右上角“创建集群”,尝试创建MRS集群,如果无法创建MRS集群(假设当前权限仅包含MRS ReadOnlyAccess),表示“MRS ReadOnlyAccess”已生效。 −在“服务列表”中选择除MRS服务外(假设当前策略仅包含MRS ReadOnlyAccess)的任一服务,若提示权限不足,表示“MRS ReadOnlyAccess”已生效。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        准备用户
        创建MRS操作用户
      • 安全认证原理和认证机制
        本章节主要介绍安全认证原理和认证机制。 功能 开启了 Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。 Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”,后来沿用作为安全认证的概念,使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 原理 Kerberos的原理架构和各模块的说明如下图所示: 原理架构 模块说明 App Client:应用客户端,通常是需要提交任务(或者作业)的应用程序。 App Server:应用服务端,通常是应用客户端需要访问的应用程序。 Key Distribution Center(KDC):提供安全认证的服务。 Database:存储Principal数据。 Authentication Server(AS):认证服务器,认证客户端身份,发放客户访问TGS的票据授权票据(TGT)。 Ticket Granting Server(TGS):票据授予服务器,发放应用客户端访问应用服务端所需的服务票据(ST)。 步骤原理说明 应用客户端(App Client)可以是集群内某个服务,也可以是客户二次开发的一个应用程序,应用程序可以向应用服务提交任务或者作业。 1. ASREQ:App Client在提交任务或者作业前,需要向AS申请TGT,用于建立和TGS的安全会话。 2. ASREP:AS在收到TGT请求后,会解析其中的参数来生成对应的TGT,使用App Client指定的用户名的密钥进行加密响应消息。 3. TGSREQ:App Client收到TGT响应消息后,解析获取TGT,此时,再由App Client(通常是RPC底层)向TGS获取应用服务端的ST。 4. TGSREP:TGS在收到ST请求后,校验其中的TGT合法后,生成对应的App Server的ST,再使用App Server密钥将响应消息进行加密处理。 5. APREQ:App Client收到ST响应消息后,将ST打包到发给App Server的消息里面传输给对应的App Server。 6. APREP:App Server端收到请求后,使用App Server对应的密钥解析其中的ST,并校验成功后,本次请求合法通过。 说明 1. Kerberos认证时需要配置Kerberos认证所需要的文件参数,主要包含keytab路径,Kerberos认证的principal,Kerberos认证所需要的客户端配置krb5.conf文件。 2. 方法login()为调用的UserGroupInformation的方法执行Kerberos认证,生成TGT票据。 3. 方法doSth()调用hadoop的接口访问文件系统,此时底层RPC会自动携带TGT去Kerberos认证,生成ST票据。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        安全性说明
        安全认证原理和认证机制
      • 使用Spark客户端
        本章节主要介绍使用Spark的操作指导。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用Spark客户端 1. 安装客户端。 2. 登录安装客户端的节点。 3. 执行以下命令,切换到客户端安装目录,例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式,将实际的keytab文件路径替换以下命令中的/path/example.keytab,执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 直接执行命令。例如: 7. plaintext sparksql
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用翼MR客户端
        各组件客户端使用实践
        使用Spark客户端
      • 使用Hive客户端
        本章节主要介绍使用Hive的操作指导。 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用Hive客户端 1. 安装客户端,具体请参考安装客户端章节。 2. 用户登录安装客户端的节点。 3. 执行以下命令,切换到客户端安装目录,例如“/opt/hadoopclient”。 plaintext cd /opt/hadoopclient 4. 执行以下命令配置环境变量。 plaintext source bigdataenv 5. 集群默认为安全模式,将实际的keytab文件路径替换以下命令中的/path/example.keytab,执行命令进行用户认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 6. 将实际的zookeeper主机名替换以下命令中的zkhostname1、zkhostname2、zkhostname3,执行命令登录Hive客户端。 plaintext beeline u "jdbc:hive2://zkhostname1:2181,zkhostname2:2181,zkhostname3:2181/default;serviceDiscoveryModezooKeeper;zooKeeperNamespacehiveserver2" 说明 beeline连接后可以编写并提交HQL语句执行相关任务。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用翼MR客户端
        各组件客户端使用实践
        使用Hive客户端
      • 运行Flink作业
        本章节主要介绍如何通过后台提交并运行Flink作业。 通过后台提交作业 目前Flink客户端默认安装路径为“/usr/local/flink”。具体以实际为准。 1. 通过SSH方式登录集群。 2. 配置环境变量。 在/etc/profile添加如下配置: export HADOOPHOME/usr/local/hadoop3 export FLINKHOME/usr/local/flink export PATHPATH:PATH:FLINKHOME/bin:HADOOPHOME/bin export HADOOPCONFDIRHADOOPHOME/bin exportHADOOPCONFDIRHADOOPHOME/etc/hadoop export PATHPATH:PATH:HADOOPCONFDIR export HADOOPCLASSPATHhadoop classpath 执行如下命令初始化环境变量 source /etc/profile 3. 集群默认开启Kerberos认证,需要执行以下命令以完成认证。 示例: klist kt /etc/security/keytabs/flink.keytab 获取flink.keytab的principalname kinit kt /etc/security/keytabs/flink.keytab flink.keytab的principalname 同时,应配置安全认证。在“/usr/local/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.useticketcache: true security.kerberos.login.keytab: security.kerberos.login.principal: user security.kerberos.login.contexts: Client,KafkaClient 例如: security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab security.kerberos.login.principal: hdfs 4. 运行wordcount作业。 首先执行上述第3步骤中的认证操作,然后启动Flink集群。 /usr/local/flink/bin/startcluster.sh Session模式 执行如下命令在session中提交作业。 yarnsession.sh nm "sessionname" detached flink run /usr/local/flink/examples/streaming/WordCount.jar 提交成功后,会返回已提交的Flink作业的YARN Application ID以及Web地址,访问Web地址以通过Web UI的方式查看作业状态。 Application模式 执行如下命令以Application方式提交作业。 flink runapplication t yarnapplication/usr/local/flink/examples/streaming/WordCount.jar 提交成功后,会返回已提交的Flink作业的YARN Application ID以及Web地址,访问Web地址以通过Web UI的方式查看作业状态。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        运行Flink作业
      • 帐号权限类
        本章节主要介绍操作类问题中有帐号权限的问题。 如果不开启Kerberos认证,MRS集群能否支持访问权限细分? MRS 2.1.0及之前版本:在MRS Manager页面选择“系统设置”>“配置”>“权限配置”查询。 MRS 3.x及之后版本:在FusionInsight Manager页面选择“系统 > 权限”查询。 如何给集群内用户添加租户管理权限? 分析集群和混合集群支持添加租户管理权限,流式集群不支持添加租户管理权限。给新建帐号添加租户管理权限方法如下: MRS3.x之前版本 1.登录MRS Manager。 2.在“系统设置 > 用户管理”中选择新建的用户,单击“操作”列中的“修改”。 3.在“分配角色权限”中单击“选择并绑定角色”。 绑定Managertenant角色,则该帐号拥有租户管理的查看权限。 绑定Manageradministrator角色,则该帐号拥有租户管理的查看和操作权限。 4.单击“确定”完成修改。 MRS3.x及之后版本 1.登录FusionInsight Manager,选择“系统 > 权限 > 用户”。 2.在要修改信息的用户所在行,单击“修改”。 根据实际情况,修改对应参数。 绑定Managertenant角色,则该帐号拥有租户管理的查看权限。绑定Manageradministrator角色,则该帐号拥有租户管理的查看和操作权限。 说明 修改用户的用户组,或者修改用户的角色权限,最长可能需要3分钟时间生效。 3.单击“确定”完成修改操作。 为什么在Manager中找不到用户管理页面? 当前登录用户没有Manageradministrator角色权限,所以在MRS Manager中无法查看“用户管理”相关内容,请使用admin用户或者其他具有Manager管理权限的用户重新登录Manager。 Hue有配置帐号权限的功能吗? Hue服务没有配置帐号权限的功能。 可以通过在Manager的“系统设置”中配置用户角色和用户组来配置帐号权限,从而实现Hue权限的配置。
        来自:
        帮助文档
        翼MapReduce
        常见问题
        操作类
        帐号权限类
      • 配置并使用互信集群的用户
        本章节主要介绍 配置并使用互信集群的用户 。 操作场景 配置完跨集群互信后,需要在互信的集群上设置用户的权限,这样本集群中的用户才能访问互信集群中同名用户可访问的资源。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 前提条件 已完成跨集群互信配置,然后刷新两个集群的客户端。 操作步骤 在集群A的MRS Manager,选择“系统设置 > 用户管理”,检查互信集群B的用户,是否在A集群中已存在相同名字用户。 是,执行步骤2。 否,执行步骤3。 1. 单击用户名左侧的 展开用户的详细信息,检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。 例如,集群A的“admin”用户拥有查看本集群HDFS中目录“/tmp”并创建文件的权限,然后执行步骤4。 2. 创建业务所需要使用的用户,同时关联业务所需要的用户组或者角色。然后执行步骤4。 3. 选择“服务管理 > HDFS > 实例”,查看“NameNode(主)”的“管理IP”。 4. 登录集群B的客户端节点。 例如在Master2节点更新客户端,则在该节点登录客户端,具体参见使用MRS客户端。 5. 执行以下命令,查看集群A中的目录“/tmp”。 hdfs dfs ls hdfs://192.168.6.159:9820/tmp 其中,192.168.6.159是集群A中主NameNode的IP地址,9820是客户端与NameNode通信的默认端口。 6. 执行以下命令,在集群A中的目录“/tmp”创建一个文件。 hdfs dfs touchz hdfs://192.168.6.159:9820/tmp/mrstest.txt 访问集群A,在目录“/tmp”中可查询到mrstest.txt文件,则表示配置跨集群互信成功。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        MRS多用户权限管理
        配置并使用互信集群的用户
      • 集群创建类
        本章节主要介绍操作类问题中有关集群创建的问题。 如何使用自定义安全组创建MRS集群? 使用自定义安全组创建MRS集群有以下两种方式: 用户购买集群时,选择使用自己创建的安全组时,需要放开9022端口。 用户购买集群时,安全组选择“自动创建”。 创建MRS集群时,为什么找不到HDFS、Yarn、MapReduce组件? HDFS、Yarn和MapReduce组件包含在Hadoop组件中,当创建MRS集群时无法看到HDFS、Yarn和MapReduce组件,勾选Hadoop组件并等待集群创建完成后即可在“组件管理”页签看到HDFS、Yarn和MapReduce组件。 创建MRS集群时,为什么找不到ZooKeeper组件? 创建MRS 3.x之前版本集群时,ZooKeeper组件为默认安装的组件,不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。 创建MRS 3.x及之后版本集群时,可以在创建集群的界面看到ZooKeeper组件,并默认勾选。
        来自:
        帮助文档
        翼MapReduce
        常见问题
        操作类
        集群创建类
      • 修改操作系统用户密码
        本章节主要介绍修改操作系统用户密码。 操作场景 该任务指导用户定期修改MRS集群节点操作系统用户“omm”、“ommdba”、"root"的登录密码,以提升系统运维安全性。 各节点“omm”、“ommdba”、"root"无需设置为统一的密码。 操作步骤 登录Master1节点,然后登录要修改操作系统用户密码的其他节点。 1. 执行以下命令切换到用户。 sudo su root 执行如下命令,修改omm/ommdba/root用户密码。 passwd omm passwd ommdba passwd root 例如omm:passwd,系统显示: Changing password for user omm. New password: 输入用户的新密码。操作系统的密码修改策略由用户实际使用的操作系统类型决定。 Retype new password: passwd: all authentication tokens updated successfully. 说明 MRS集群默认密码复杂度要求: 密码字符长度至少8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 重置的密码不能是最近5次使用过的密码。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        安全管理
        修改操作系统用户密码
      • 修复隔离主机补丁
        本章节主要介绍修复隔离主机补丁 。 若集群中存在主机被隔离的情况,集群补丁安装完成后,请参见本节操作对隔离主机进行补丁修复。修复完成后,被隔离的主机节点版本将与其他未被隔离的主机节点一致。 访问MRS Manager,详细操作请参见访问MRS Manager(MRS2.x及之前版本)。 1. 选择“系统设置 > 补丁管理”,进入补丁管理页面。 2. 在“操作”列表中,单击“详情”。 3. 在补丁详情界面,选中“Status”是“Isolated”的主机节点。 4. 单击“Select and Restore”,修复被隔离的主机节点。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        修复隔离主机补丁
      • 修改操作用户密码
        本章节主要介绍 修改操作用户密码 。 操作场景 出于MRS集群安全的考虑,“人机”类型系统用户密码必须定期修改。该任务指导用户通过MRS Manager完成修改自身密码工作。 如需对用户修改的密码使用新的密码策略,请先修改密码策略,再参考本章节修改密码。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 对系统的影响 修改MRS集群用户密码后,如果以前下载过用户认证文件,则需要重新下载并获取keytab文件。 前提条件 从管理员获取当前的密码策略。 从管理员获取MRS Manager访问地址。 开启Kerberos认证的集群或开启弹性公网IP功能的普通集群。 操作步骤 访问MRS Manager,详细操作请参见访问MRSManager(MRS2.x及之前版本)。 1. 在MRS Manager,移动鼠标到界面右上角的。 在弹出菜单,选择“修改密码”。 2. 分别输入“旧密码”、“新密码”、“确认新密码”,单击“确定”完成修改。 集群中,默认的密码复杂度要求: 密码字符长度为8~32位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@$%^&()+[{}];:'", /?中的3种类型字符。 不能与用户名或倒序的用户名相同。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        MRS多用户权限管理
        修改操作用户密码
      • 客户端使用类
        本章节主要介绍操作类问题中有关客户端使用的问题。 怎么关闭ZooKeeper SASL认证? 1.登录FusionInsight Manager。 2.选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 3.在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值:zookeeper.sasl.disable false。 保存配置后,重启ZooKeeper服务。 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? 问题现象 在MRS集群外节点上安装了客户端后并执行kinit命令报错如下: bash kinit Permission denied 执行java命令也报错如下: bash: /xxx/java: Permission denied 执行 ll / java 安装路径 /JDK/jdk/bin/java命令查看该文件执行权限信息正常。 原因分析 执行mount column t查看挂接的分区状态,发现java执行文件所在的挂载点的分区状态是“noexec”。当前环境中将安装MRS客户端所在的数据盘配置成“noexec”,即禁止二进制文件执行,从而无法使用java命令。 解决方法 1.以root用户登录MRS客户端所在节点。 2.移除“/etc/fstab”文件中MRS客户端所在的数据盘的配置项“noexec”。 3.执行umount 命令卸载数据盘,然后再执行mount a重新挂载数据盘。
        来自:
        帮助文档
        翼MapReduce
        常见问题
        操作类
        客户端使用类
      • 修改用户信息
        本章节主要介绍 修改用户信息。 操作场景 该任务指导管理员用户在MRSManager修改已创建的用户信息,包括修改用户组、主组、角色和描述。 操作步骤 在MRS Manager,单击“系统设置”。 1. 在“权限配置”区域,单击“用户管理”。 2. 在要修改用户所在的行,单击“修改”,修改用户信息。 说明 为用户修改用户组或分配的角色权限,最长可能需要3分钟时间生效。 3. 单击“确定”完成修改操作。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        权限管理
        修改用户信息
      • 删除用户
        本章节主要介绍 删除用户。 MRS集群用户不再需要使用时,管理员可以在MRS Manager中删除此用户。 说明 如果删除用户A后,再次准备重新创建同名用户A,如果该用户A已经提交过作业(客户端提交或者MRS console页面提交),那么需要在删除该用户A的同时,删除该用户A残留的文件夹,否则使用重新创建的同名用户A提交作业会失败。 删除用户残留文件夹操作方法为:依次登录MRS集群的Core节点,在每个Core节点上执行如下两条命令,其中如下命令中“$user”为具体的以用户名命名的文件夹。 cd/srv/BigData/hadoop/data1/nm/localdir/usercache/ rmrf $user 操作步骤 在MRS Manager,单击“系统设置”。 1. 在“权限配置”区域,单击“用户管理”。 2. 在要删除用户所在的行,选择“更多 > 删除”。 3. 单击“确定”完成删除操作。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        权限管理
        删除用户
      • 创建用户
        本章节主要介绍创建用户 。 操作场景 该任务指导管理员根据实际业务场景需要,通过MRS Manager创建新用户并指定其操作权限以满足业务使用。 MRS Manager支持的用户数为1000。 如需对新创建用户的密码使用新的密码策略,请先修改密码策略,再参考本章节创建用户。 前提条件 管理员已明确业务需求,并已创建业务场景需要的角色和用户组。 操作步骤 在MRS Manager,单击“系统设置”。 1. 在“权限配置”区域,单击“用户管理”。 2. 在用户列表上方,单击“添加用户”。 3. 根据界面提示配置参数,填写“用户名”。 说明 不支持创建两个名称相同但大小写不同的用户。例如已创建用户“User1”,无法创建用户“user1”。 使用已创建的用户时,请输入和用户名完全一样的大小写字符。 “用户名”为必选参数,字符长度为3到20,可以包含数字、字母和下划线。 “root”、“omm”和“ommdba”为系统保留用户,请选择其他用户名。 4. 设置“用户类型”,可选值包括“人机”和“机机”。 “人机”用户:用于在MRS Manager的操作运维场景,以及在组件客户端操作的场景。选择该值需同时填写“密码”和“确认密码”。 “机机”用户:用于MRS应用开发的场景。选择该值用户密码随机生成,无需填写。 5. 在“用户组”,单击“选择添加的用户组”,选择对应用户组将用户添加进去。 说明 如果用户组添加了角色,则用户可获得对应角色中的权限。 为新用户分配Hive的权限,请将用户加入hive组。 如果用户需要管理租户资源,用户组必须分配了Managertenant角色以及租户对应的角色。 6. 在“主组”选择一个组作为用户创建目录和文件时的主组。下拉列表包含“用户组”中勾选的全部组。 7. 根据业务实际需要在“分配角色权限”,单击“选择并绑定角色”为用户添加角色。 说明 创建用户时,如果用户从用户组获得的权限还不满足业务需要,则可以再分配其他已创建的角色。为新用户分配角色授权,最长可能需要3分钟时间生效。 创建用户时添加角色可细化用户的权限。 没有为新用户分配角色时,此用户可以访问HDFS、HBase、Yarn、Spark和Hue的WebUI。 8. 根据业务实际需要“描述”。 “描述”为可选参数。 9. 单击“确定”完成用户创建。 第一次在MRS集群中使用新创建的用户,例如登录Manager或者使用集群客户端,需要修改密码,具体请参见《修改操作用户密码》。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        权限管理
        创建用户
      • 集群访问类
        本章节主要介绍操作类问题中有关集群访问的问题。 MRS集群内节点的登录方式(密码或密钥对)如何切换? 不可以切换。 创建集群时选择了节点登录方式后不能更改登录方式。 如何获取ZooKeeper的IP地址和端口? ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一:通过MRS控制台获取 1. 在MRS集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 2. 选择“组件管理 > ZooKeeper > 实例”,获取ZooKeeper实例的“业务IP”地址。 3. 选择“服务配置”页签,搜索“clientPort”参数,该参数的值即为ZooKeeper的端口。 方法二:通过Manager界面获取 1. 登录Manager界面。 2. 在Manager界面获取ZooKeeper的IP地址和端口。 −针对MRS 3.x之前版本集群 i.选择“服务管理 > ZooKeeper > 实例”,获取ZooKeeper实例的“业务IP”地址。 ii.选择“服务配置”页签,搜索“clientPort”参数,该参数的值即为ZooKeeper的端口。 −针对MRS 3.x及之后版本集群 i.选择“集群 > 服务 ZooKeeper > 实例”,获取ZooKeeper实例的“业务IP”地址。 ii.选择“配置”页签,搜索参数“clientPort”值,该参数的值即为ZooKeeper的端口。 如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 1.创建一个集群外ECS节点。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 2.在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。 3.配置集群安全组规则。 a.在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。 b.在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”配置ECS节点的IP和放开所有端口。 c.安全组规则添加完成后,可以直接下载并安装客户端到集群外ECS节点。 d.使用客户端。 使用客户端安装用户,登录客户端节点,执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令加载环境变量。 source bigdataenv 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则通常情况下无需认证。 kinit MRS集群用户 例如: kinit admin 直接执行组件的客户端命令。 例如: 使用HDFS客户端命令查看HDFS根目录文件。 hdfs dfs ls / Found 15 items drwxrwxx hive hive 0 20211026 16:30 /apps drwxrxrx hdfs hadoop 0 20211018 20:54 /datasets drwxrxrx hdfs hadoop 0 20211018 20:54 /datastore drwxrwx+ flink hadoop 0 20211018 21:10 /flink drwxrx flume hadoop 0 20211018 20:54 /flume drwxrwxx hbase hadoop 0 20211030 07:31 /hbase ...
        来自:
        帮助文档
        翼MapReduce
        常见问题
        操作类
        集群访问类
      • 1
      • ...
      • 257
      • 258
      • 259
      • 260
      • 261
      • ...
      • 262
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      天翼云新春焕新季

      云主机开年特惠28.8元/年,0元秒杀等你来抢!

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      物理机 DPS

      多活容灾服务

      GPU云主机

      轻量型云主机

      弹性高性能计算 E-HPC

      天翼云CTyunOS系统

      训推服务

      AI Store

      公共算力服务

      推荐文档

      如何退换发票?

      邀请参会方

      玩转天翼云⑥:Windows主机开启2个远程终端

      术语解释

      实例恢复

      天翼云最佳实践⑥:Win Server php-asp 环境安装

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号