活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 818算力跃迁·礼遇盛夏 NEW 爆款云主机2核2G限时秒杀，28.8元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云AI产品特惠 NEW 8折特惠，新老同享不限购
- 中小企业服务商合作专区 国家云助力中小企业腾飞，高额上云补贴重磅上线
- 出海产品促销专区 NEW 爆款云主机低至2折，高性价比，不限新老速来抢购！
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
大模型
智算一体机
模型适配专家服务
AI服务
教育应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
翼建站_相关内容
- 上传示例数据和程序操作步骤 登录翼MapReduce管理控制台。 选择“我的集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“节点管理”页签中展开节点组,选择要进入的节点。 单击该节点右侧的“远程连接”。 根据界面提示,点击输入框,输入master节点的用户名和密码,用户名、密码分别为root和创建集群时设置的密码。 在hdfs根目录下,创建input文件夹。 hadoop fs -mkdir /input 上传数据。
- OMS维护页面概述本章节主要介绍翼MapReduce的OMS维护页面概述操作。 总览 登录FusionInsight Manager以后,选择“系统 > OMS”后,打开OMS维护页面,管理员可以在此页面对OMS进行维护操作,包含查看基本信息、查看OMS业务模块的服务状态,也可以手工触发健康检查。 说明 OMS为操作维护系统的管理节点,OMS节点一般有两个,互为主备。
- 修改OMS数据库访问用户密码本章主要介绍翼MapReduce的修改OMS数据库访问用户密码功能。 操作场景 建议管理员定期修改OMS数据库访问用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启OMS服务,服务在重启时系统无法访问。 操作步骤 1.在FusionInsight Manager选择“系统 > OMS > gaussDB > 修改密码”。 2.在omm用户所在行,单击“操作”列下的“修改密码”。 3.在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 4.根据界面信息,输入新旧密码。
- 配置资源池的队列容量策略本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后,需要为Yarn任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。 管理员可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,Yarn任务队列与资源池形成关联关系。 前提条件 已添加队列,即已创建关联了计算资源的租户。 操作步骤 登录FusionInsight Manager。
- ZooKeeper健康检查指标项说明本章节主要介绍翼MapReduce服务ZooKeeper健康检查指标项说明。 ZooKeeper服务处理请求平均延时 指标项名称 :ZooKeeper服务处理请求平均延时 指标项含义 :检查ZooKeeper服务处理请求的平均延时,如果大于300毫秒,则认为不健康。 恢复指导: 如果该指标项异常,则需要检查集群的网络速度是否正常、内存或CPU使用率是否过高。
- 什么是区域和可用区？本章节主要介绍翼MapReduce的区域和可用区的概念。 通常用区域和可用区来描述数据中心的位置,用户可以在特定的区域、可用区创建云服务资源。区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。
- 使用说明本章节主要介绍翼MapReduce的多租户功能使用操作。 租户主要用于资源控制、业务隔离的场景。在实际业务中,管理员需要先明确使用集群资源的业务场景,规划租户。 说明 新安装集群的Yarn组件默认使用的是Superior调度器,参见使用Superior调度器的租户业务。 多租户使用包含三类操作:创建租户、管理租户和管理资源。各操作的具体动作如下表所示。
- 管理本地快速恢复任务本章主要介绍翼MapReduce的管理本地快速恢复任务功能。 操作场景 使用DistCp备份数据时,本集群HDFS中将保存备份数据的快照信息。FusionInsight Manager支持使用本地的快照快速恢复数据,减少从备集群恢复数据使用的时间。 管理员可以通过FusionInsight Manager与本集群HDFS保存的快照信息,创建本地快速恢复任务并执行恢复任务。 操作步骤 1.登录FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。
- 修改OMS数据库管理员密码本章主要介绍翼MapReduce的修改OMS数据库管理员密码功能。 操作场景 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 操作步骤 1.以root用户登录主管理节点。 说明 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 2.执行以下命令,切换用户。 su - omm 3.执行以下命令,切换目录。 cd $OMS_RUN_PATH/tools 4.执行以下命令,修改ommdba用户密码。
- 集群管理概述本章节主要介绍翼MapReduce的集群管理操作。 总览 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 概览”可以查看当前集群的主要状态信息。 在“概览”页面上可对当前集群进行基本管理操作,如启动、停止、滚动重启、同步配置等,具体如下表所示。 维护管理功能 操作入口 说明 “启动” 将集群中所有服务启动。 “停止” 将集群中所有服务停止。 “更多 > 重启” 将集群中所有服务重启。
- 查看主机概览本章节主要介绍翼MapReduce的查看主机概览操作。 总览 登录FusionInsight Manager以后,单击“主机”,在主机列表单击指定的主机名称,可以访问主机详情页面,主要包含基本信息区、磁盘状态区、角色列表区和监控图表等。 基本信息区 主机详情页面的基本信息包含该主机的各个关键信息,例如管理IP地址、业务IP地址、主机类型、机架、防火墙、CPU核数、操作系统等信息。 磁盘状态区 磁盘状态区包含了该主机所有为集群配置的磁盘分区,并显示每个磁盘分区的使用情况。
- 添加资源池本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中,管理员可从逻辑上对所有Yarn的节点进行分区,使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池,便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。
- 添加资源池本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中,管理员可从逻辑上对所有Yarn的节点进行分区,使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池,便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。
- 配置Controller与Agent间通信加密本章主要介绍翼MapReduce的配置Controller与Agent间通信加密功能。 操作场景 安装集群后Controller和Agent之间需要进行数据通信,在通信的过程中采用了Kerberos认证,出于对集群性能的考虑,通信过程默认不加密,对于一些安全要求较高用户可以采用以下方式进行加密。 对系统的影响 执行加密操作时,会自动重启Controller和所有Agent,重启期间会造成FusionInsight Manager暂时中断。
- 查看集群静态资源本章节主要介绍翼MapReduce的查看集群静态资源操作。 操作场景 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略,使集群在不同的时间段自动调整参数值,从而更有效地利用资源。
- 隔离主机本章节主要介绍翼MapReduce的隔离主机操作。 操作场景 某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。 说明 隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后部分服务的实例不再工作,服务的配置状态可能过期。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。
- 产品优势本章节主要介绍翼MapReduce服务的产品优势。 MRS服务拥有强大的Hadoop内核团队,基于FusionInsight大数据企业级平台构筑。历经行业数万节点部署量的考验,提供多级用户SLA保障。 MRS具有如下优势: 高性能 MRS支持自研的CarbonData存储技术。CarbonData是一种高性能大数据存储方案,以一份数据同时支持多种应用场景,并通过多级索引、字典编码、预聚合、动态Partition、准实时数据查询等特性提升了IO扫描和计算性能,实现万亿数据分析秒级响应。
- 登录管理节点本章节主要介绍翼MapReduce的登录管理节点操作。 操作场景 部分运维操作的脚本与命令需要或只支持在主管理节点上运行。管理员可以根据以下指导确认并登录主或备管理节点。 在Manager查看主备管理节点并登录 登录FusionInsight Manager。 选择“系统 > OMS”。 在“基本信息”区域,“当前主用”表示主管理节点的主机名,“当前备用”表示备管理节点的主机名。 单击主机名可进入对应的主机详情页面。记录主机的IP地址信息。 以root用户登录主或备管理节点。
- 静态服务资源本章节主要介绍翼MapReduce的静态服务资源操作。 简介 集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。 静态服务池 静态服务池用来指定服务资源的配置。
- 查看备份恢复任务本章主要介绍翼MapReduce的查看备份恢复任务功能。 操作场景 系统管理员可以通过FusionInsight Manager查看已创建的备份恢复任务,以及任务的运行情况。 前提条件 登录FusionInsight Manager,请参见登录管理系统。 操作步骤 1.在FusionInsight Manager,选择“运维 > 备份恢复”。 2.单击“备份管理”或“恢复管理”。 3.在任务列表中,查看“任务状态”与“任务进度”列获取上一次任务运行的结果。绿色表示运行成功,红色表示运行失败。
- 启用集群间拷贝功能本章主要介绍翼MapReduce的启用集群间拷贝功能。 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。拷贝数据的集群双方都需要配置。 管理员可以根据以下指导,在FusionInsight Manager修改参数以启用集群间拷贝功能。启用之后即可创建将数据备份至远端HDFS(RemoteHDFS)的备份任务。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。
- 管理实例配置本章节主要介绍翼MapReduce的管理实例配置操作。 操作场景 每个单独的角色实例可以修改配置参数在迁移实例到新集群场景或者重新部署相同服务的场景下,管理员可以在FusionInsight Manager中将某服务所有配置数据导入或者导出,实现配置结果的快速复制。 FusionInsight Manager支持管理单个角色实例的配置参数,修改配置参数、导出实例配置或导入实例配置时不影响其他实例。 对系统的影响 修改角色实例配置后,如果实例状态为“配置过期”,则需要重启此实例。
- 修改组件数据库用户密码本章主要介绍翼MapReduce的修改组件数据库用户密码功能。 操作场景 建议管理员定期修改组件数据库用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启服务,服务在重启时无法访问。 操作步骤 1.在FusionInsight Manager选择“集群 > 待操作的集群名称 > 服务”。 2.确定修改哪个组件数据库用户密码。 修改DBService数据库omm用户密码,参考修改DBService数据库omm用户密码章节进行操作,修改其他组件数据库用户密码,需要先停止服务再执行3。
- SparkSQL访问Hive分区表启动Job前耗时较长如何处理？本章节主要介绍翼MapReduce组件Spark使用的常见问题。 问题说明 使用Spark SQL 访问Hive 表的一个表分区,但是运行速度却很慢。 分析样例: select** x,y from test where **x=1 (其中x是test表的 Partition 字段) 原因分析 按照spark 源码逻辑,在解析逻辑计划时候回去调用 getPartitionsByFilter方法 去hive中只提取 x=1 分区信息。
- KrbServer健康检查指标项说明本章节主要介绍翼MapReduce服务KrbServer健康检查指标项说明。 KerberosAdmin服务可用性检查 指标项名称: KerberosAdmin服务可用性 指标项含义 :系统对KerberosAdmin服务状态进行检查,如果检查结果不正常,则KerberosAdmin服务不可用。 恢复指导: 如果该指标项检查结果不正常,原因可能是KerberosAdmin服务所在节点故障,或者SlapdServer服务不可用。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
