活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
Token服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V4-Flash
  • GLM-5.1
  • Qwen3.5-122B-A10B
  • DeepSeek-V3.2(旗舰版)
  • GLM-5(正式版)
智算一体机
  • 智算一体机
智能体引擎
  • 智能体引擎
智算安全专区
  • 大模型安全评测
  • 大模型安全护栏
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      天翼智能组网_相关内容
      • ALM-18024 Yarn任务挂起内存量超阈值
        调整监控阈值 6.在FusionInsight Manager界面,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > CPU和内存 > 挂起的内存量”,根据实际需要,适当增加该告警的监控阈值。 7.等待5分钟,查看该告警是否消除。 是,处理完毕。 否,执行步骤8。 收集故障信息 8.在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 9.在“服务”中勾选待操作集群的“Yarn”。 10.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 11.请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-18024 Yarn任务挂起内存量超阈值
      • ALM-17003 Oozie服务不可用
        告警ID 告警级别 是否自动清除 17003 紧急 是
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-17003 Oozie服务不可用
      • ALM-16009 Map数超过阈值
        告警ID 告警级别 是否自动清除 16009 重要 是
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-16009 Map数超过阈值
      • ALM-16008 Hive服务进程非堆内存使用超出阈值
        本章节主要介绍ALM16008 Hive服务进程非堆内存使用超出阈值的告警。 告警解释 系统每30秒周期性检测Hive非堆内存使用率,并把实际的Hive非堆内存使用率和阈值相比较。当Hive非堆内存使用率超出阈值(默认为最大非堆内存的95%)时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive”修改阈值。 当Hive非堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 16008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive非堆内存使用率过高,会影响Hive任务运行的性能,甚至造成内存溢出导致Hive服务不可用。 可能原因 该节点Hive实例非堆内存使用量过大,或分配的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率 1.在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“16008”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HiveServer,执行步骤2。 告警上报的角色是MetaStore,执行步骤3。 2.在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的HiveServer,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存”,勾选“HiveServer内存使用率统计” ,单击“确定”,查看HiveServer进程使用的非堆内存是否已达到HiveServer进程设定的最大非堆内存的阈值(默认95%)。 是,执行步骤4。 否,执行步骤7。 3.在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的MetaStore,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存”,勾选“MetaStore内存使用率统计” ,单击“确定”,查看MetaStore进程使用的非堆内存是否已达到MetaStore进程设定的最大非堆内存的阈值(默认95%)。 是,执行步骤4。 否,执行步骤7。 4.在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”,选择“全部配置”, 选择“HiveServer/MetaStore > JVM”,将“HIVEGCOPTS/METASTOREGCOPTS”参数中“XX:MaxMetaspaceSize”的值根据如下建议进行调整,并单击“保存”。 说明 HiveServer的GC参数配置建议 建议将“XX:MaxMetaspaceSize”值设置成为“Xmx”大小的1/8,比如:“Xmx”设置为2G时,“XX:MaxMetaspaceSize”设置为256M;“Xmx”设置为4G时,“XX:MaxMetaspaceSize”设置为512M。 MetaServer的GC参数配置建议 建议将“XX:MaxMetaspaceSize”值设置成为“Xmx”大小的1/8,比如:“Xmx”设置为2G时,“XX:MaxMetaspaceSize”设置为256M;“Xmx”设置为4G时,“XX:MaxMetaspaceSize”设置为512M。 5.选择“更多 > 重启服务”重启服务。 6.观察界面告警是否清除。 是,处理完毕。 否,执行步骤7。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-16008 Hive服务进程非堆内存使用超出阈值
      • 默认权限信息一览
        用户 请参见用户帐号一览表。 服务相关用户安全参数 HDFS 参数“dfs.permissions.superusergroup”表示HDFS最高权限管理员组,默认值为“supergroup”。 Spark2x以及对应多实例 参数“spark.admin.acls”表示Spark2x的管理员列表,列表中成员有权限管理所有Spark任务,若用户未加入此列表则无法管理所有Spark任务。默认值为“admin”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        安全管理
        安全概述
        默认权限信息一览
      • 权限模型
        本章节主要介绍权限模型。 基于角色的权限控制 FusionInsight通过采用RBAC(rolebased access control,基于角色的权限控制)方式对大数据系统进行权限管理,将系统中各组件零散的权限管理功能集中呈现和管理,对普通用户屏蔽掉了内部的权限管理细节,对管理员简化了权限管理的操作方法,提升权限管理的易用性和用户体验。 FusionInsight权限模型由“用户-用户组-角色-权限”四类对象构成。 权限模型 权限 由组件侧定义,允许访问组件某个资源的能力。不同组件针对自己的资源,有不同的权限。 例如: −HDFS针对文件资源权限,有读、写、执行等权限。 −HBase针对表资源权限,有创建、读、写等权限。 角色 组件权限的一个集合,一个角色可以包含多个组件的多个权限,不同的角色也可以拥有同一个组件的同一个资源的权限。 用户组 用户的集合,当用户组关联某个或者多个角色后,该用户组内的用户就将拥有这些角色所定义的组件权限。 不同用户组可以关联同一个角色,一个用户组也可以不关联任何角色,该用户组原则上将不具有任何组件资源的权限。 说明 部分组件针对特定的默认用户组,系统默认赋予了部分权限。 用户 系统的访问者,每个用户的权限由该用户关联的用户组和角色所对应的权限构成,用户需要加入用户组或者关联角色来获得对应的权限。 基于策略的权限控制 Ranger组件通过PBAC(policybased access control,基于策略的权限控制)方式进行权限管理,可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 说明 组件同时只支持一种权限控制机制,当组件启用Ranger权限控制策略后,通过FusionInsight Manager创建的角色中关于该组件的权限将失效(HDFS与Yarn的组件ACL规则仍将生效),用户需通过Ranger管理界面添加策略进行资源的赋权。 Ranger的权限模型由多条权限策略组成,权限策略主要由以下几方面组成: 资源 组件所提供的可由用户访问的对象,例如HDFS的文件或文件夹、Yarn中的队列、Hive中的数据库/表/列等。 用户 系统的访问者,每个用户的权限由该用户关联的策略来获得。LDAP中的用户、用户组、角色信息会周期性的同步至Ranger。 权限 策略中针对资源可配置各种访问条件,例如文件的读写,具体可以配置允许条件、拒绝条件以及例外条件等。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        安全管理
        安全概述
        权限模型
      • 修改FusionInsight Manager添加的路由表
        未配置外部NTP时钟源时无此信息 32765:from 192.168.0.117 lookup omrt 32766:from all lookup main 32767:from all lookup default 启用系统创建的路由信息 1.以omm用户登录到主管理节点。 2.执行以下命令,启用系统创建的路由信息。 cd ${BIGDATAHOME}/omserver/om/sbin ./autoroute.sh enable Activating Route. Route operation (enable) successful. 3.执行以下命令,查看运行结果。 如下例,如产生路由表名为“ntprt”和“omrt”的两条路由信息,则操作成功。 ip rule list 0:from all lookup local 32764:from all to 10.10.100.100 lookup ntprt 未配置外部NTP时钟源时无此信息 32765:from 192.168.0.117 lookup omrt32766:from all lookup main 32767:from all lookup default
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        修改FusionInsight Manager添加的路由表
      • ALM-13002 ZooKeeper直接内存使用率超过阈值
        收集故障信息 8. 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 9. 在“服务”中勾选待操作集群的“ZooKeeper”。 10. 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 11. 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-13002 ZooKeeper直接内存使用率超过阈值
      • ALM-12071 httpd资源异常
        收集故障信息 7.在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 8.在“服务”中勾选“Controller”和“OmmServer”,单击“确定”。 9.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 10.请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-12071 httpd资源异常
      • 配置定时备份告警与审计信息
        本章节主要介绍配置定时备份告警与审计信息。 操作场景 管理员可通过修改配置文件,实现定时备份FusionInsight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。 备份支持使用SFTP协议或FTP协议,FTP协议未加密数据可能存在安全风险,建议使用SFTP。 操作步骤 1.以omm用户登录主管理节点。 说明 用户只需在主管理节点执行此操作,不支持在备管理节点上配置定时备份。 2.执行以下命令,切换目录。 cd ${BIGDATAHOME}/omserver/om/sbin 3.执行以下命令,配置定时备份Manager告警、审计或者服务审计信息。 ./setNorthBound.sh t 信息类型 i 远程服务器IP p 服务器使用的SFTP或FTP 端口 u 用户名 d 保存信息的路径 c 时间间隔(分钟) m 每个保存文件的信息记录数 s 备份启停开关 e 指定的协议 例如: ./setNorthBound.sh t alarm i 10.0.0.10 p 22 u sftpuser d /tmp/ c 10 m 100 s true e sftp 此脚本将修改告警信息备份配置文件“alarmcollectupload.properties”。文件存储路径为“${BIGDATAHOME}/omserver/tomcat/webapps/web/WEBINF/classes/config”。 ./setNorthBound.sh t audit i 10.0.0.10 p 22 u sftpuser d /tmp/ c 10 m 100 s true e sftp 此脚本将修改审计信息备份配置文件“auditcollectupload.properties”。文件存储路径为“${BIGDATAHOME}/omserver/tomcat/webapps/web/WEBINF/classes/config”。 ./setNorthBound.sh t serviceaudit i 10.0.0.10 p 22 u sftpuser d /tmp/ c 10 m 100 s true e sftp 此脚本将修改服务审计信息备份配置文件“serviceauditcollectupload.properties”。文件存储路径为“${BIGDATAHOME}/omserver/tomcat/webapps/web/WEBINF/classes/config”。 4.根据界面提示输入用户的密码。密码将加密保存在配置文件中。 Please input sftp/ftp server password: 5.显示如下结果,说明修改成功。备管理节点将自动同步配置文件。 execute command syncfile successfully. Config Succeed.
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        配置定时备份告警与审计信息
      • Sqoop对接外部存储系统
        参数 说明 direct 快速模式,利用了数据库的导入工具,如MySQL的mysqlimport,可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。 exportdir 存放数据的HDFS的源目录。 m或nummappers 启动n个map来并行导入数据,默认是4个,该值请勿高于集群的最大Map数。 table 要导入的目的关系数据库表。 updatekey 后面接条件列名,通过该参数可以将关系数据库中已经存在的数据进行更新操作,类似于关系数据库中的update操作。 updatemode 更新模式,有两个值updateonly和默认的allowinsert,该参数只能在关系数据表里不存在要导入的记录时才能使用,比如要导入的hdfs中有一条id1的记录,如果在表里已经有一条记录id2,那么更新会失败。 inputnullstring 可选参数,如果没有指定,则字符串null将被使用。 inputnullnonstring 可选参数,如果没有指定,则字符串null将被使用。 stagingtable 创建一个与导入目标表同样数据结构的表,将所有数据先存放在该表中,然后由该表通过一次事务将结果写入到目标表中。 该参数是用来保证在数据导入关系数据库表的过程中的事务安全性,因为在导入的过程中可能会有多个事务,那么一个事务失败会影响到其它事务,比如导入的数据会出现错误或出现重复的记录等等情况,那么通过该参数可以避免这种情况。 clearstagingtable 如果该stagingtable非空,则通过该参数可以在运行导入前清除stagingtable里的数据。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置存算分离
        使用存算分离集群
        Sqoop对接外部存储系统
      • 使用Yarn客户端
        本章节主要介绍使用Yarn客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Yarn客户端。 前提条件 已安装客户端。 例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 1. 以客户端安装用户,登录安装客户端的节点。 2. 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 5. 直接执行Yarn命令。例如: yarn application list 客户端常见使用问题 1. 当执行Yarn客户端命令时,客户端程序异常退出,报“java.lang.OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时的所需的内存超过了Yarn客户端设置的内存上限(默认为128MB)。对于MRS 3.x后续版本集群,可以通过修改“ /HDFS/componentenv”中的“CLIENTGCOPTS”来修改Yarn客户端的内存上限。例如,需要设置该内存上限为1GB,则设置: export CLIENTGCOPTS"Xmx1G" 对于MRS 3.x之前版本集群,可以通过修改“ /HDFS/componentenv”中的“GCOPTSYARN”来修改Yarn客户端的内存上限。例如,需要设置该内存上限为1GB,则设置: export GCOPTSYARN"Xmx1G" 在修改完后,使用如下命令刷新客户端配置,使之生效: source /bigdataenv 2. 如何设置Yarn客户端运行时的日志级别? Yarn客户端运行时的日志是默认输出到Console控制台的,其级别默认是INFO级别。有的时候为了定位问题,需要开启DEBUG级别日志,可以通过导出一个环境变量来设置,命令如下: export YARNROOTLOGGERDEBUG,console 在执行完上面命令后,再执行Yarn Shell命令时,即可打印出DEBUG级别日志。 如果想恢复INFO级别日志,可执行如下命令: export YARNROOTLOGGERINFO,co
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        各组件客户端使用实践
        使用Yarn客户端
      • 权限机制
        本章节主要介绍权限机制。 FusionInsight采用LDAP存储用户和用户组的数据;角色的定义信息保存在关系数据库中,角色和权限的对应关系则保存在组件侧。 FusionInsight使用Kerberos进行统一认证。 用户权限校验流程大致如下: 1. 客户端(用户终端或FusionInsight组件服务)调用FusionInsight认证接口。 2. FusionInsight使用登录用户名和密码,到Kerberos进行认证。 3. 如果认证成功,客户端会发起访问服务端(FusionInsight组件服务)的请求。 4. 服务端会根据登录的用户,找到其属于的用户组和角色。 5. 服务端获得用户组拥有的所有权限和角色拥有的所有权限的并集。 6. 服务端判断客户端是否有权限访问其请求的资源。 示例场景(RBAC ): HDFS中有三个文件fileA、fileB、fileC。 定义角色roleA对fileA有读和写权限,角色roleB对fileB有读权限。 定义groupA属于roleA;groupB属于roleB。 定义userA属于groupA和roleB,userB属于GroupB。 当userA登录成功并访问HDFS时: 1. HDFS获得useA属于的所有角色(roleB)。 2. HDFS同时还会获得userA属于的所有用户组所属于的角色(roleA)。 3. 此时,userA拥有roleA和roleB对应权限的并集。 4. 因此对于fileA,则userA有读写权限;对fileB,有读权限;对于fileC,无任何权限。 同理userB登录后: 1. userB只拥有roleB对应的权限。 2. 对于fileA,则userB无权限;对fileB,有读权限;对于fileC,无任何权限。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        安全管理
        安全概述
        权限机制
      • 修复隔离主机补丁
        本章节主要介绍如何修复隔离主机补丁。 若集群中存在主机被隔离的情况,集群补丁安装完成后,请参见本节操作对隔离主机进行补丁修复。修复完成后,被隔离的主机节点版本将与其他未被隔离的主机节点一致。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 1.访问MRS Manager,详细操作请参见访问MRS Manager(MRS2.x及之前版本)。 2.选择“系统设置 > 补丁管理”,进入补丁管理页面。 3.在“操作”列表中,单击“详情”。 4.在补丁详情界面,选中“Status”是“Isolated”的主机节点。 5.单击“Select and Restore”,修复被隔离的主机节点。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        补丁管理
        修复隔离主机补丁
      • 存算分离简介
        本章节主要介绍存算分离简介 。 存算分离简介 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 说明 大数据存算分离场景,请务必使用OBS并行文件系统,使用普通对象桶会对集群性能产生较大影响。 存算分离功能使用流程: 1. 配置存算分离集群。请选择如下其中一种配置即可(推荐使用委托方式) 通过为MRS集群绑定ECS委托方式访问OBS,避免了AK/SK直接暴露在配置文件中的风险,具体请参考配置存算分离集群(委托方式)。 在MRS集群中配置AK/SK,AK/SK会明文暴露在配置文件中,请谨慎使用,具体请参考配置存算分离集群(AKSK方式)。 2. 使用存算分离集群。 各个组件使用存算分离的具体操作请参考如下内容。 Flink对接OBS文件系统 Flume对接OBS文件系统 HDFS客户端对接OBS文件系统 Hive对接OBS文件系统 MapReduce对接OBS文件系统 Spark2x对接OBS文件系统 Sqoop对接外部存储系统
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置存算分离
        存算分离简介
      • 集群互信概述
        本章节主要介绍集群互信概述。 功能介绍 默认情况下,安全模式下的大数据集群用户只能访问本集群中的资源,无法在其他安全模式集群中进行身份认证并访问资源。 特性描述 域 每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。 用户加密 配置跨Manager互信,当前Kerberos服务端仅支持并使用“aes256ctshmacsha196:normal”和“aes128ctshmacsha196:normal”加密类型加密跨域使用的用户,不支持修改。 用户认证 配置跨Manager集群互信后,两个系统中只要存在同名用户,且对端系统的同名用户拥有访问自身系统中某个资源的对应权限,则可以使用当前系统用户访问远程资源。 直接互信 系统在配置互信的两个集群分别保存对端系统的互信票据,通过互信票据访问对端系统。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        集群互信管理
        集群互信概述
      • 通过专线访问
        本章节主要介绍通过专线访问。 MRS为您提供云专线(Direct Connect)方式访问MRS集群。云专线用于搭建用户本地数据中心与线上云VPC之间高速、低时延、稳定安全的专属连接通道,充分利用线上云服务优势的同时,继续使用现有的IT设施,实现灵活一体,可伸缩的混合云计算环境。 前提条件 云专线服务可用,并已打通本地数据中心到线上VPC的连接通道。 通过专线访问MRS集群 1. 登录MRS管理控制台。 2. 单击集群名称进入集群详情页。 3. 在集群详情页面的“概览”页签,单击“集群管理页面”右侧的“前往Manager”。 4. “访问方式”选择“专线访问”,并勾选“我确认已打通本地与浮动IP的网络,可使用专线直接访问MRS Manager。”。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址,使用专线访问MRS Manager之前您确保云专线服务已打通本地数据中心到线上VPC的连接通道。 5. 单击“确定”,进入MRS Manager登录页面,用户名使用“admin”,密码为创建集群时设置的admin密码。 切换MRS Manager访问方式 为了便于用户操作,浏览器缓存会记录用户所选择的访问Manager的方式,如需切换访问Manager方式,参考如下步骤操作。 1. 登录MRS管理控制台。 2. 单击集群名称进入集群详情页。 3. 在集群详情页面的“概览”页签,单击“集群管理页面”右侧的按钮。 4. 在弹出页面重新选择“访问方式”即可。 若由“EIP访问”切换为“专线访问”,请在专线网路互通的前提下,在弹出页面的“访问方式”选择“专线访问”并勾选“我确认已打通本地与浮动IP的网络,可使用专线直接访问MRS Manager。”后单击“确定”。 若由“专线访问”切换为“EIP访问”,在弹出页面的“访问方式”选择“EIP访问”并参考访问MRS Manager(MRS 2.x及之前版本)中的通过弹性公网IP访问Manager配置EIP。若集群已配置过公网IP,直接单击“确定”以EIP方式访问Manager。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问MRS集群上托管的开源组件Web页面
        通过专线访问
      • 更新已安装客户端的配置
        本章节主要介绍更新已安装客户端的配置。 操作场景 集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 前提条件 已安装客户端。 操作步骤 方法一: 1.登录FusionInsight Manager,在“集群”下拉列表中单击需要操作的集群名称。 2.选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 3.是否在集群的节点中生成配置文件? 是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsightClient”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行4。 否,单击“确定”指定本地的保存位置,开始下载完整客户端,等待下载完成,然后执行4。 4.使用WinSCP工具,以客户端安装用户将压缩文件保存到客户端安装的目录,例如“/opt/hadoopclient”。 5.解压软件包。 例如下载的客户端文件为“FusionInsightCluster1ServicesClient.tar”执行如下命令进入客户端所在目录,解压文件到本地目录。 cd /opt/hadoopclient tar xvf FusionInsightCluster1ServicesClient.tar 6.校验软件包。 执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如: sha256sum c FusionInsightCluster1ServicesClientConfigConfigFiles.tar.sha256 FusionInsightCluster1ServicesClientConfigConfigFiles.tar: OK 7.解压获取配置文件。 tar xvf FusionInsightCluster1ServicesClientConfigConfigFiles.tar 8.在客户端安装目录下执行如下命令,使用配置文件更新客户端。 sh refreshConfig.sh 客户端安装目录 配置文件所在目录 例如,执行以下命令: sh refreshConfig.sh /opt/hadoopclient /opt/hadoopclient/FusionInsightCluster1ServicesClientConfigConfigFiles 界面显示以下信息表示配置更新成功: Succeed to refresh components client config. 方法二: 1.以root用户登录客户端安装节点。 2.进入客户端安装的目录,例如“/opt/Bigdata/client”,执行以下命令更新配置文件: cd /opt/Bigdata/client sh autoRefreshConfig.sh 3.按照提示输入FusionInsight Manager管理员用户名,密码以及FusionInsight Manager界面浮动IP。 4.输入需要更新配置的组件名,组件名之间使用“,”分隔。如需更新所有组件配置,可直接单击回车键。 界面显示以下信息表示配置更新成功: Succeed to refresh components client config.
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        配置客户端
        更新已安装客户端的配置
      • 清除队列配置
        本章节主要介绍如何清除队列配置。 操作场景 当队列不再需要某个资源池的资源,或资源池需要与队列取消关联关系时,用户可以在MRS清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果队列需要清除与某个资源池的绑定关系,该资源池不能作为队列的默认资源池,需要先将队列的默认资源池更改为其他资源池,请参见配置队列。 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“租户管理”。 说明 MRS 3.x及之后版本请参考使用说明。 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 4.在“资源分配”列表指定队列的“操作”列,单击“清除”。 在“清除队列设置”中单击“是”,清除队列在当前资源池的配置。 说明 如果用户未配置队列的资源容量策略,则清除功能默认不可用。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        租户管理
        清除队列配置
      • 使用Flink客户端
        本章节主要介绍使用Flink运行wordcount作业的操作指导。 前提条件 MRS集群中已安装Flink组件。 集群正常运行,已安装集群客户端,例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用Flink客户端(MRS 3.x之前版本) 1. 以客户端安装用户,登录安装客户端的节点。 2. 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdataenv 4.若集群开启Kerberos认证,需要执行以下步骤,若集群未开启Kerberos认证请跳过该步骤。 a.准备一个提交Flink作业的用户。 b.登录Manager,下载认证凭据。 登录集群的Manager界面,具体请参见访问MRSManager(MRS2.x及之前版本),选择“系统设置 > 用户管理”,在已增加用户所在行的“操作”列,选择“更多 > 下载认证凭据”。 c.将下载的认证凭据压缩包解压缩,并将得到的user.keytab文件拷贝到客户端节点中,例如客户端节点的“/opt/hadoopclient/Flink/flink/conf”目录下。如果是在集群外节点安装的客户端,需要将得到的krb5.conf文件拷贝到该节点的“/etc/”目录下。 d.配置安全认证,在“/opt/hadoopclient/Flink/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 security.kerberos.login.keytab: security.kerberos.login.principal: 例如: security.kerberos.login.keytab:/opt/hadoopclient/Flink/flink/conf/user.keytab security.kerberos.login.principal: test e.参考“组件操作指南 > 使用Flink > 参考 > 签发证书样例”章节生成“generatekeystore.sh”脚本并放置在Flink的客户端bin目录下,执行如下命令进行安全加固,请参考“组件操作指南 > 使用Flink > 安全加固 > 认证和加密”,password请重新设置为一个用于提交作业的密码。 sh generatekeystore.sh 该脚本会自动替换“/opt/hadoopclient/Flink/flink/conf/flinkconf.yaml”中关于SSL的值,针对MRS2.x及之前版本,安全集群默认没有开启外部SSL,用户如果需要启用外部SSL,请参考“组件操作指南 >使用Flink > 安全加固”进行配置后再次运行该脚本即可。 说明 generatekeystore.sh脚本无需手动生成。 执行认证和加密后会将生成的flink.keystore、flink.truststore、security.cookie自动填充到“flinkconf.yaml”对应配置项中。 f.客户端访问flink.keystore和flink.truststore文件的路径配置。 −绝对路径:执行该脚本后,在flinkconf.yaml文件中将flink.keystore和flink.truststore文件路径自动配置为绝对路径“/opt/hadoopclient/Flink/flink/conf/”,此时需要将conf目录中的flink.keystore和flink.truststore文件分别放置在Flink Client以及Yarn各个节点的该绝对路径上。 −相对路径:请执行如下步骤配置flink.keystore和flink.truststore文件路径为相对路径,并确保Flink Client执行命令的目录可以直接访问该相对路径。 i.在“/opt/hadoopclient/Flink/flink/conf/”目录下新建目录,例如ssl。 cd /opt/hadoopclient/Flink/flink/conf/ mkdir ssl ii. 移动flink.keystore和flink.truststore文件到“/opt/hadoopclient/Flink/flink/conf/ssl/”中。 mv flink.keystore ssl/ mv flink.truststore ssl/ iii. 修改flinkconf.yaml文件中如下两个参数为相对路径。 security.ssl.internal.keystore: ssl/flink.keystore security.ssl.internal.truststore: ssl/flink.truststore 5.运行wordcount作业。 须知 用户在Flink提交作业或者运行作业时,应具有如下权限: 如果启用Ranger鉴权,当前用户必须属于hadoop组或者已在Ranger中为该用户添加“/flink”的读写权限。 如果停用Ranger鉴权,当前用户必须属于hadoop组。 普通集群(未开启Kerberos认证) −执行如下命令启动session,并在session中提交作业。 yarnsession.sh nm " sessionname " flink run/opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar −执行如下命令在Yarn上提交单个作业。 flink run m yarncluster /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 安全集群(开启Kerberos认证) −flink.keystore和flink.truststore文件路径为绝对路径时: 执行如下命令启动session,并在session中提交作业。 yarnsession.sh nm " sessionname " flink run /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 执行如下命令在Yarn上提交单个作业。 flink run m yarncluster /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar −flink.keystore和flink.truststore文件路径为相对路径时: 在“ssl”的同级目录下执行如下命令启动session,并在session中提交作业,其中“ssl”是相对路径,如“ssl”所在目录是“opt/hadoopclient/Flink/flink/conf/”,则在“opt/hadoopclient/Flink/flink/conf/”目录下执行命令。 yarnsession.sh t ssl/ nm " sessionname " flink run/opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 执行如下命令在Yarn上提交单个作业。 flink run m yarncluster yt ssl/ /opt/hadoopclient/Flink/flink/examples/streaming/WordCount.jar 6.作业提交成功后,客户端界面显示如下。 详见下图: 在Yarn上提交作业成功 详见下图:启动session成功 详见下图: 在session中提交作业成功 7. 使用运行用户进入Yarn服务的原生页面,具体操作参考“组件操作指南 > 使用Flink > 查看Flink作业”,找到对应作业的application,单击application名称,进入到作业详情页面。 若作业尚未结束,可单击“Tracking URL”链接进入到Flink的原生页面,查看作业的运行信息。 若作业已运行结束,对于在session中提交的作业,可以单击“Tracking URL”链接登录Flink原生页面查看作业信息。 详见下图:application
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        各组件客户端使用实践
        使用Flink客户端
      • 使用Oozie客户端
        本章节主要介绍使用Oozie客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Oozie客户端。 前提条件 已安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 1.以客户端安装用户,登录安装客户端的节点。 2.执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。 cd /opt/client 3.执行以下命令配置环境变量。 source bigdataenv 4.判断集群认证模式。 安全模式,执行以下命令进行用户认证。exampleUser为提交任务的用户名。 kinit exampleUser 普通模式,执行步骤5。 5.配置Hue。 a.spark2x环境配置(如果不涉及spark2x任务,可以跳过此步骤): hdfs dfs put /opt/client/Spark2x/spark/jars/.jar /user/oozie/share/lib/spark2x/ 当HDFS目录“/user/oozie/share”中的Jar包发生变化时,需要重启Oozie服务。 b.上传Oozie配置文件以及Jar包至HDFS: hdfs dfs mkdir /user/ exampleUser hdfs dfs put f /opt/client/Oozie/oozieclient/examples /user/ exampleUser / 说明 exampleUser为提交任务的用户名。 在提交任务的用户和非job.properties文件均无变更的前提下,客户端安装目录/Oozie/oozieclient/examples目录一经上传HDFS,后续可重复使用,无需多次提交。 解决Spark和Yarn关于jetty的jar冲突。 hdfs dfs rm f /user/oozie/share/lib/spark/jettyall9.2.22.v20170606.jar 普通模式下,上传过程如果遇到“Permission denied”的问题,可执行以下命令进行处理。 su omm source /opt/client/bigdataenv hdfs dfs chmod R 777 /user/oozie exit
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        各组件客户端使用实践
        使用Oozie客户端
      • 更新客户端(3.x之前版本)
        全量更新备Master节点的原始客户端 1.参见步骤1~步骤3登录备Master节点,执行如下命令切换到omm用户。 sudo su omm 2.在备master节点上执行如下命令,从主master节点拷贝下载的客户端包。 scp omm@ master1 节点IP 地址 :/tmp/MRSclient/MRSServicesClient.tar /tmp/MRSclient/ 说明 该命令以master1节点为主master节点为例。 目的路径以备master节点的/tmp/MRSclient/目录为例,请根据实际路径修改。 3.参见4~13,更新备Master节点的客户端。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        更新客户端
        更新客户端(3.x之前版本)
      • 配置服务参数
        本章节主要介绍如何配置服务参数。 用户可以根据实际业务场景,在MRS中快速查看和修改服务默认的配置,及导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时,不支持修改DBService服务的参数。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 修改服务参数 1.在集群详情页,单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“服务配置”。 4.将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 5.在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改,可以单击恢复。 6.单击“保存配置”,根据界面提示保存参数并重启服务。 注意 MRS 3.x之前版本更新YARN服务队列的配置且不重启服务时,在服务状态页签选择“更多 > 刷新队列”更新队列使配置生效。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        配置服务参数
      • 对象管理简介
        本章节主要介绍对象管理功能。 MRS集群包含了各类不同的基本对象,不同对象的描述介绍如下表所示: MRS基本对象概览 对象 描述 举例 服务 可以完成具体业务的一类功能集合。 例如KrbServer服务和LdapServer服务。 服务实例 服务的具体实例,一般情况下可使用服务表示。 例如KrbServer服务。 服务角色 组成一个完整服务的一类功能实体,一般情况下可使用角色表示。 例如KrbServer由KerberosAdmin角色和KerberosServer角色组成。 角色实例 服务角色在主机节点上运行的具体实例。 例如运行在Host2上的KerberosAdmin,运行在Host3上的KerberosServer。 主机 一个弹性云主机,可以运行Linux系统。 例如Host1~Host5。 机架 一组包含使用相同交换机的多个主机集合的物理实体。 例如Rack1,包含Host1~Host5。 集群 由多台主机组成的可以提供多种服务的逻辑实体。 例如名为Cluster1的集群由(Host1~Host5)5个主机组成,提供了KrbServer和LdapServer等服务。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        对象管理简介
      • 隔离主机
        本章节主要介绍如何隔离主机。 用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。在为集群安装补丁的场景中,也支持排除指定节点不安装补丁。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 前提条件 已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 操作步骤 1.在集群详情页,单击“节点管理”。 2.展开节点组信息,勾选待隔离主机前的复选框。 3.选择“节点操作 > 隔离主机”。 4.确认待隔离主机信息并单击“确定”。 界面提示“操作成功。”,单击“完成”,主机成功隔离,“操作状态”显示为“已隔离”。 说明 已隔离的主机,可以取消隔离重新加入集群,请参见
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        节点管理
        隔离主机
      • 创建连接MRS集群的SSH隧道并配置浏览器
        本章节主要介绍创建连接MRS集群的SSH隧道并配置浏览器 。 操作场景 用户和MRS集群处于不同的网络中,需要创建一个SSH隧道连接,使用户访问站点的数据请求,可以发送到MRS集群并动态转发到对应的站点。 MAC系统暂不支持该功能访问MRS,请参考通过弹性公网IP访问内容访问MRS。 前提条件 准备一个SSH客户端用于创建SSH隧道,例如使用开源SSH客户端Git。请下载并安装。 已创建好集群,并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。 操作步骤 1.登录MRS管理控制台,选择“集群列表 > 现有集群”。 2.单击指定名称的MRS集群。 记录集群的“安全组” 。 3.为集群Master节点的安全组添加一条需要访问MRS集群的IP地址的入规则,允许指定来源的数据访问端口“22”。 具体请参见“《虚拟私有云》帮助文档> 安全性 > 安全组 > 添加安全组规则”。 4.查询集群的主管理节点,具体请参考如何确认Manager的主备管理节点。 5.为集群的主管理节点绑定一个弹性IP地址。 具体请参见“《虚拟私有云》帮助文档”,为弹性云主机申请和绑定弹性公网IP。 6.在本地启动Git Bash,执行以下命令登录集群的主管理节点: ssh root@弹性 IP 地址或者 ssh i 密钥文件路径 root@弹性 IP 地址 7.执行以下命令查看数据转发配置: cat /etc/sysctl.conf grep net.ipv4.ipforward 系统查询到“net.ipv4.ipforward1”表示已配置转发,则请执行步骤9。 系统查询到“net.ipv4.ipforward0”表示未配置转发,则请执行步骤8。 系统查询不到“net.ipv4.ipforward”参数表示该参数未配置,则请执行以下命令后再执行步骤9。 echo "net.ipv4.ipforward 1"/etc/sysctl.conf 8.修改节点转发配置: a.执行以下命令切换root用户: sudo su root b.执行以下命令,修改转发配置: echo 1 > /proc/sys/net/ipv4/ipforward sed i "s/net.ipv4.ipforward0/net.ipv4.ipforward 1/g"/etc/sysctl.conf sysctlw net.ipv4.ipforward1 c.执行以下命令,修改sshd配置文件: vi /etc/ssh/sshdconfig 按I进入编辑模式,查找“AllowTcpForwarding”和“GatewayPorts”,并删除注释符号,修改内容如下,然后保存并退出: AllowTcpForwarding yesGatewayPorts yes d.执行以下命令,重启sshd服务: service sshd restart 9.执行以下命令查看浮动IP地址: ifconfig 系统显示的“eth0:FIHUE”表示为Hue的浮动IP地址,“eth0:wsom”表示Manager浮动IP地址,请记录“inet”的实际参数值。 然后退出登录:exit 10.在本地机器执行以下命令创建支持动态端口转发的SSH隧道: 使用命令 ssh i 密钥文件路径 v ND 本地端口地址 root@弹性IP 地址或者 ssh v ND 本地端口地址 root@弹性 IP 地址 ,然后输入创建集群时的密码。 其中,“本地端口地址”需要指定一个用户本地环境未被使用的端口,建议选择8157。 创建后的SSH隧道,通过“D”启用动态端口转发功能。默认情况下,动态端口转发功能将启动一个SOCKS代理进程并侦听用户本地端口,端口的数据将由SSH隧道转发到集群的主管理节点。 11.执行如下命令配置浏览器代理。 a.进入本地Google Chrome浏览器客户端安装目录。 b.按住“shift+鼠标右键”,选择“在此处打开命令窗口”,打开CMD窗口后输入如下命令: chrome proxyserver"socks5://localhost:8157" hostresolverrules"MAP 0.0.0.0 , EXCLUDE localhost" userdatadirc:/tmppath proxybypasslist"googlecom, gstatic.com, gvt .com, :80" 说明 8157为步骤10中配置的本地代理端口。 若本地操作系统为Windows 10,请打开Windows操作系统“开始”菜单,输入cmd命令,打开一个命令行窗口执行12中的命令。若该方式不能成功,请打开Windows操作系统“开始”菜单后,在搜索框中输入并执行11中的命令。 12.在新弹出的浏览器地址栏,输入Manager的访问地址。 Manager访问地址形式为 浮动IP 地址:28443/web 。 访问启用Kerberos认证的集群时,需要输入MRS集群的用户名和密码,例如“admin”用户。未启用Kerberos认证的集群则不需要。 第一次访问时,请根据浏览器提示,添加站点信任以继续打开页面。 13.准备站点的访问地址。 a.参考开源组件Web站点中的Web站点一览,获取Web站点的地址格式及对应的角色实例。 b.单击“服务管理”。 c.单击指定的服务名称,例如HDFS。 d.单击“实例”,查看NameNode的主角色实例“NameNode(主)”的“业务IP” 14.在浏览器输入访问Web站点真实地址并访问。 15.退出访问Web站点时,请终止并关闭SSH隧道。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问MRS集群上托管的开源组件Web页面
        创建连接MRS集群的SSH隧道并配置浏览器
      • Flink对接OBS文件系统
        本章节主要介绍Flink对接OBS文件系统 。 使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。 1. 使用安装客户端的用户登录Flink客户端安装节点。 2. 执行如下命令初始化环境变量。 source ${clienthome}/bigdataenv 3. 需要配置好Flink客户端。具体配置参考安装客户端(3.x及之后版本)。 4. 如果是安全集群,使用以下命令进行用户认证,如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 用户名 5. 在Flink命令行显式添加要访问的OBS文件系统。 ./bin/flink run class com.xxx.bigdata.flink.examples.FlinkProcessingTimeAPIMain ./config/FlinkCheckpointJavaExample.jar chkPath obs:// OBS并行文件系统名称 说明 由于Flink作业是On Yarn运行,在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置存算分离
        使用存算分离集群
        Flink对接OBS文件系统
      • Hudi对接OBS文件系统
        本章节主要介绍Hudi对接OBS文件系统。 Hudi对接OBS文件系统 1. 使用安装客户端用户登录客户端安装节点。 2. 配置环境变量。 source ${clienthome}/bigdataenv source ${clienthome}/Hudi/componentenv 3. 修改配置文件: vim ${clienthome}/Hudi/hudi/conf/hdfssite.xml dfs.namenode.acls.enabled false 4. 如果是安全集群,使用以下命令用户进行用户认证,如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit 用户名 5. 启动sparkshell,执行下面的命令创建COW表存储到OBS中: importorg.apache.hudi.QuickstartUtils. importscala.collection.JavaConversions. importorg.apache.spark.sql.SaveMode. importorg.apache.hudi.DataSourceReadOptions. importorg.apache.hudi.DataSourceWriteOptions. importorg.apache.hudi.config.HoodieWriteConfig. valtableName "hudicowtable" valbasePath "obs://testhudi/cowtable/" valdataGen new DataGenerator valinserts convertToStringList(dataGen.generateInserts(10)) valdf spark.read.json(spark.sparkContext.parallelize(inserts, 2)) df.write.format("org.apache.hudi"). options(getQuickstartWriteConfigs). option(PRECOMBINEFIELDOPTKEY,"ts"). option(RECORDKEYFIELDOPTKEY,"uuid"). option(PARTITIONPATHFIELDOPTKEY,"partitionpath"). option(TABLENAME,tableName). mode(Overwrite). save(basePath); 6. 使用datasource查看表建立成功,数据正常。 valroViewDF spark. read. format("org.apache.hudi"). load(basePath·"/ / / / ") roViewDF.createOrReplaceTempView("hudirotable") spark.sql("select·from hudirotable").show() 7. 执行:q退出sparkshell命令行。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置存算分离
        使用存算分离集群
        Hudi对接OBS文件系统
      • 通过弹性公网IP访问
        本章主要介绍通过弹性公网IP访问 。 为了方便用户访问开源组件的Web站点,MRS集群支持通过为集群绑定弹性公网IP的方式,访问MRS集群上托管的开源组件。该方式更加简便易操作,推荐使用该方式访问开源组件的Web站点。 为集群绑定弹性公网IP并添加安全组规则 1.在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步,待IAM用户同步成功后,在集群详情页会出现“组件管理”页签。 2.单击“集群管理页面”右侧的“前往 Manager”。 3.弹出访问MRS Manager页面,绑定弹性公网IP并添加安全组规则。仅首次访问该集群的组件开源站点时,需要如下配置。 a. 绑定弹性公网IP,在弹性公网IP下拉框中选择可用的弹性公网IP。若没有可用的弹性公网IP,请单击“管理弹性公网IP”创建弹性公网IP后在该页面引用。若创建集群时已绑定弹性公网IP,请跳过该步骤。 b. 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 c. 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 说明 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS组件。 d. 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。” e. 单击“确定”,进入登录页面,用户名使用“admin”,密码为创建集群时设置的admin密码。 4.登录Manager页面,选择“集群 > 服务 > HDFS > NameNode WebUI> NameNode( 主机名称 ,主)”,访问开源组件Web站点。此处仅以HDFS NameNode为例介绍,其他组件访问地址请参考开源组件Web站点页面提供的站点地址。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问MRS集群上托管的开源组件Web页面
        通过弹性公网IP访问
      • 使用Storm客户端
        本章节主要介绍使用Storm客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Storm客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”。 各组件业务用户由系统管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。(普通模式不涉及) 操作步骤 1. 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考“用户指南 > 使用MRS客户端 > 安装客户端”章节,登录安装客户端的节点。 2. 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 若安装了Storm多实例,在使用Storm命令提交拓扑时,请执行以下命令加载具体实例的环境变量,否则请跳过此步骤。例如,Storm2实例: source Storm2/componentenv 5. 执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 6. 执行命令进行客户端操作。 例如执行以下命令: cql storm 说明 同一个storm客户端不能同时连接安全和非安全的ZooKeeper。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        各组件客户端使用实践
        使用Storm客户端
      • 授权安全通信
        集群创建成功后关闭安全通信 1.登录MRS管理控制台。 2.在现有集群列表中,单击待关闭安全通信的集群名称。 系统跳转至该集群详情页面。 3.单击“通信安全授权”右侧的开关关闭授权,在弹出窗口单击“确定”。 关闭授权后将导致集群状态变更为“网络通道未授权”,集群部分功能不可用,请谨慎操作。 为关闭安全通信的集群开启安全通信 1.登录MRS管理控制台。 2.在现有集群列表中,单击待开启安全通信的集群名称。 系统跳转至该集群详情页面。 3.单击“通信安全授权”右侧的开关开启授权。 开启授权后集群状态变更为“运行中”。 一键修复 当集群中授权的安全组规则不足以支撑MRS集群管理控制台为用户发放、管理和使用大数据组件的操作时,“通信安全授权”右侧出现的提示,请单击“一键修复”按钮进行修复。 1.登录MRS管理控制台。 2.在现有集群列表中,单击待修复安全通信的集群名称。 系统跳转至该集群详情页面。 3.单击“通信安全授权”右侧的“一键修复”。 详见下图:一键修复 4.单击“确定”,完成修复。 详见下图: 修复访问控制策略
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        授权安全通信
      • 更新客户端(3.x及之后版本)
        本章节主要介绍更新客户端(3.x及之后版本)。 集群提供了客户端,可以在连接服务端、查看任务结果或管理数据的场景中使用。用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 1.访问FusionInsight Manager(MRS 3.x及之后版本),在“集群”下拉列表中单击需要操作的集群名称。 2.选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。 3.是否在集群的节点中生成配置文件? 是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件,文件生成后默认保存在主管理节点“/tmp/FusionInsightClient”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。然后执行步骤4。 否,单击“确定”指定本地的保存位置,开始下载完整客户端,等待下载完成,然后执行步骤4。 4.使用WinSCP工具,以客户端安装用户将压缩文件保存到客户端安装的目录,例如“/opt/hadoopclient”。 5.解压软件包。 例如下载的客户端文件为“FusionInsightCluster1ServicesClient.tar”执行如下命令进入客户端所在目录,解压文件到本地目录。 cd /opt/hadoopclient tar xvf FusionInsightCluster1ServicesClient.tar 6.校验软件包。 执行sha256sum命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如: sha256sum c FusionInsightCluster1ServicesClientConfigConfigFiles.tar.sha256 FusionInsightCluster1ServicesClientConfigConfigFiles.tar:OK 7.解压获取配置文件。 tar xvf FusionInsightCluster1ServicesClientConfigConfigFiles.tar 8.在客户端安装目录下执行如下命令,使用配置文件更新客户端。 sh refreshConfig.sh 客户端安装目录 配置文件所在目录 例如,执行以下命令: sh refreshConfig.sh /opt/hadoopclient /opt/hadoopclient/FusionInsightCluster1ServicesClientConfigConfigFiles 界面显示以下信息表示配置刷新更新成功: Succeed to refresh components client config.
        来自:
        帮助文档
        翼MapReduce
        用户指南
        使用MRS客户端
        更新客户端
        更新客户端(3.x及之后版本)
      • 1
      • 2
      • ...
      • 290
      • 291
      • 292
      • 293
      • 294
      • 295
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      多活容灾服务 MDR

      镜像服务 IMS

      弹性伸缩服务 AS

      天翼云CTyunOS系统

      AI Store

      Token服务

      应用托管

      科研助手

      推荐文档

      Client端Linux版本

      查看云间高速

      《计算机信息网络国际联网安全保护管理办法》(公安部第33号令)

      产品功能

      操作手册

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号