活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 618智算钜惠季 爆款云主机2核4G限时秒杀，88元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云脑AOne NEW 连接、保护、办公，All-in-One！
- 中小企业应用上云专场 产品组合下单即享折上9折起，助力企业快速上云
- 出海产品促销专区 NEW 爆款云主机低至2折，高性价比，不限新老速来抢购！
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
行业应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
翼学安在线督导_相关内容
- 添加资源池本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中,管理员可从逻辑上对所有Yarn的节点进行分区,使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池,便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。
- 添加资源池本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中,管理员可从逻辑上对所有Yarn的节点进行分区,使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池,便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。
- 集群管理概述本章节主要介绍翼MapReduce的集群管理操作。 总览 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 概览”可以查看当前集群的主要状态信息。 在“概览”页面上可对当前集群进行基本管理操作,如启动、停止、滚动重启、同步配置等,具体如下表所示。 维护管理功能 操作入口 说明 “启动” 将集群中所有服务启动。 “停止” 将集群中所有服务停止。 “更多 > 重启” 将集群中所有服务重启。
- 查看集群静态资源本章节主要介绍翼MapReduce的查看集群静态资源操作。 操作场景 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略,使集群在不同的时间段自动调整参数值,从而更有效地利用资源。
- 配置Controller与Agent间通信加密本章主要介绍翼MapReduce的配置Controller与Agent间通信加密功能。 操作场景 安装集群后Controller和Agent之间需要进行数据通信,在通信的过程中采用了Kerberos认证,出于对集群性能的考虑,通信过程默认不加密,对于一些安全要求较高用户可以采用以下方式进行加密。 对系统的影响 执行加密操作时,会自动重启Controller和所有Agent,重启期间会造成FusionInsight Manager暂时中断。
- 隔离主机本章节主要介绍翼MapReduce的隔离主机操作。 操作场景 某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。 说明 隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后部分服务的实例不再工作,服务的配置状态可能过期。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。
- 产品优势本章节主要介绍翼MapReduce服务的产品优势。 MRS服务拥有强大的Hadoop内核团队,基于FusionInsight大数据企业级平台构筑。历经行业数万节点部署量的考验,提供多级用户SLA保障。 MRS具有如下优势: 高性能 MRS支持自研的CarbonData存储技术。CarbonData是一种高性能大数据存储方案,以一份数据同时支持多种应用场景,并通过多级索引、字典编码、预聚合、动态Partition、准实时数据查询等特性提升了IO扫描和计算性能,实现万亿数据分析秒级响应。
- 登录管理节点本章节主要介绍翼MapReduce的登录管理节点操作。 操作场景 部分运维操作的脚本与命令需要或只支持在主管理节点上运行。管理员可以根据以下指导确认并登录主或备管理节点。 在Manager查看主备管理节点并登录 登录FusionInsight Manager。 选择“系统 > OMS”。 在“基本信息”区域,“当前主用”表示主管理节点的主机名,“当前备用”表示备管理节点的主机名。 单击主机名可进入对应的主机详情页面。记录主机的IP地址信息。 以root用户登录主或备管理节点。
- 静态服务资源本章节主要介绍翼MapReduce的静态服务资源操作。 简介 集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。 静态服务池 静态服务池用来指定服务资源的配置。
- 查看备份恢复任务本章主要介绍翼MapReduce的查看备份恢复任务功能。 操作场景 系统管理员可以通过FusionInsight Manager查看已创建的备份恢复任务,以及任务的运行情况。 前提条件 登录FusionInsight Manager,请参见登录管理系统。 操作步骤 1.在FusionInsight Manager,选择“运维 > 备份恢复”。 2.单击“备份管理”或“恢复管理”。 3.在任务列表中,查看“任务状态”与“任务进度”列获取上一次任务运行的结果。绿色表示运行成功,红色表示运行失败。
- 管理实例配置本章节主要介绍翼MapReduce的管理实例配置操作。 操作场景 每个单独的角色实例可以修改配置参数在迁移实例到新集群场景或者重新部署相同服务的场景下,管理员可以在FusionInsight Manager中将某服务所有配置数据导入或者导出,实现配置结果的快速复制。 FusionInsight Manager支持管理单个角色实例的配置参数,修改配置参数、导出实例配置或导入实例配置时不影响其他实例。 对系统的影响 修改角色实例配置后,如果实例状态为“配置过期”,则需要重启此实例。
- 启用集群间拷贝功能本章主要介绍翼MapReduce的启用集群间拷贝功能。 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。拷贝数据的集群双方都需要配置。 管理员可以根据以下指导,在FusionInsight Manager修改参数以启用集群间拷贝功能。启用之后即可创建将数据备份至远端HDFS(RemoteHDFS)的备份任务。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。
- 修改组件数据库用户密码本章主要介绍翼MapReduce的修改组件数据库用户密码功能。 操作场景 建议管理员定期修改组件数据库用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启服务,服务在重启时无法访问。 操作步骤 1.在FusionInsight Manager选择“集群 > 待操作的集群名称 > 服务”。 2.确定修改哪个组件数据库用户密码。 修改DBService数据库omm用户密码,参考修改DBService数据库omm用户密码章节进行操作,修改其他组件数据库用户密码,需要先停止服务再执行3。
- 配置服务参数本章节主要介绍翼MapReduce服务配置服务参数。 用户可以根据实际业务场景,在MRS Manager中快速查看和修改服务默认的配置,及导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时,不支持修改DBService服务的参数。 操作步骤 修改服务参数 单击“服务管理”。 单击服务列表中指定的服务名称。 单击“服务配置”。
- 更新集群密钥本章主要介绍翼MapReduce的更新集群密钥功能。 操作场景 在安装集群时,系统将自动生成加密密钥key值以对集群的部分安全信息(例如所有数据库用户密码、密钥文件访问密码等)进行加密存储。在集群安装成功后,如果原始密钥不慎意外泄露或者需要使用新的密钥,系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群密钥后,集群中新增加一个随机生成的新密钥,用于加密解密新保存的数据。旧的密钥不会删除,用于解密旧的加密数据。在修改安全信息后,例如修改数据库用户密码,新密码将使用新的密钥加密。
- 简介本章节主要介绍翼MapReduce的多租户功能。 定义 多租户是MRS集群中的多个资源集合(每个资源集合是一个租户),具有分配和调度资源的能力。资源包括计算资源和存储资源。 背景 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 某些类型的用户(例如银行、政府单位等)对数据安全非常关注,很难容忍将自己的数据与其他用户的放在一起。
- 退服和入服务角色实例本章节主要介绍翼MapReduce服务退服和入服务角色实例。 操作场景 某个Core或Task节点出现问题时,可能导致整个集群状态显示为“异常”。MRS集群支持将数据存储在不同Core节点,用户可以在MRS Manager指定角色实例退服,使退服的角色实例不再提供服务。在排除故障后,可以将已退服的角色实例入服。
- KrbServer健康检查指标项说明本章节主要介绍翼MapReduce服务KrbServer健康检查指标项说明。 KerberosAdmin服务可用性检查 指标项名称: KerberosAdmin服务可用性 指标项含义 :系统对KerberosAdmin服务状态进行检查,如果检查结果不正常,则KerberosAdmin服务不可用。 恢复指导: 如果该指标项检查结果不正常,原因可能是KerberosAdmin服务所在节点故障,或者SlapdServer服务不可用。
- SparkSQL访问Hive分区表启动Job前耗时较长如何处理？本章节主要介绍翼MapReduce组件Spark使用的常见问题。 问题说明 使用Spark SQL 访问Hive 表的一个表分区,但是运行速度却很慢。 分析样例: select** x,y from test where **x=1 (其中x是test表的 Partition 字段) 原因分析 按照spark 源码逻辑,在解析逻辑计划时候回去调用 getPartitionsByFilter方法 去hive中只提取 x=1 分区信息。
- Hive扩容Trino通过翼MR Manager进入Trino集群的“配置管理”页面,修改hive.properties文件。在参数hive.metastore.uri中按照实际情况填写metastore的地址;例如,三台Hive MetaStore的主机名为hostname1,hostname2,hostnam3,那么该配置的值应为thrift://hostname1:9083,thrift://hostname2:9083,hrift://hostname3:9083。
- 配置HBase允许修改操作的IP地址白名单本章主要介绍翼MapReduce的配置HBase允许修改操作的IP地址白名单功能。 当HBase集群开启Replication功能时,为了保护主备集群的HBase数据一致性,对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时,首先检查发出该请求的用户的权限,只有HBase管理用户才有修改权限;其次检查发出该请求的IP的有效性,备集群只接收来自IP白名单中的机器发起的修改请求。
- 执行健康检查本章节主要介绍翼MapReduce服务执行健康检查。 操作场景 该任务指导用户在日常运维中完成集群进行健康检查的工作,以保证集群各项参数、配置以及监控没有异常、能够长时间稳定运行。 说明 系统健康检查的范围包含Manager、服务级别和主机级别的健康检查:Manager关注集群统一管理平台是否提供管理功能。服务级别关注组件是否能够提供正常的服务。主机级别关注主机的一系列指标是否正常。
- 下载客户端本章节主要介绍翼MapReduce的下载客户端操作。 操作场景 MRS集群提供了默认的客户端,用户可以通过客户端执行管理操作、运行业务或进行二次开发。使用客户端前需要下载客户端软件包。 操作步骤 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 概览 > 更多 > 下载客户端”。 界面显示“下载集群客户端”对话框。 在“选择客户端类型”选择一个类型。 “完整客户端”表示下载包中包含了脚本、编译文件和配置文件。
- 评估结果查看本节为您介绍数据库迁移工具提供评估结果在线查看功能。 数据库迁移工具提供评估结果在线查看功能。用户在启动评估任务后,会自动跳转到评估结果界面。用户也可以通过迁移评估列表,点击“报告名”跳转到评估结果界面。评估结果主要是展示数据库的基本信息(如版本、字符集、磁盘空间推荐)、连接资源信息(如最大连接数)、表信息(表的大小、字段类型、有无主键等)、数据库结构信息(结构名、类型、数量、与目标库存在的差异)、对象关联信息(对象名、对象间依赖关系)、迁移权限检测(源库账号权限检测、解决方法)。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
