活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 11.11智惠上云月 NEW 爆款云主机2核2G28.8元/年起！更有限时续费优惠，最低3.5折！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云AI产品特惠 NEW 人脸识别+文字识别焕新，新用户免费试用
- 中小企业服务商合作专区 国家云助力中小企业腾飞，高额上云补贴重磅上线
- 出海产品促销专区 NEW 爆款云主机低至2折，高性价比，不限新老速来抢购！
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
AI服务
教育应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
翼迁移_相关内容
- 添加资源池本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中,管理员可从逻辑上对所有Yarn的节点进行分区,使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池,便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。
- 添加资源池本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中,管理员可从逻辑上对所有Yarn的节点进行分区,使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池,便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。
- 集群管理概述本章节主要介绍翼MapReduce的集群管理操作。 总览 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 概览”可以查看当前集群的主要状态信息。 在“概览”页面上可对当前集群进行基本管理操作,如启动、停止、滚动重启、同步配置等,具体如下表所示。 维护管理功能 操作入口 说明 “启动” 将集群中所有服务启动。 “停止” 将集群中所有服务停止。 “更多 > 重启” 将集群中所有服务重启。
- 查看主机概览本章节主要介绍翼MapReduce的查看主机概览操作。 总览 登录FusionInsight Manager以后,单击“主机”,在主机列表单击指定的主机名称,可以访问主机详情页面,主要包含基本信息区、磁盘状态区、角色列表区和监控图表等。 基本信息区 主机详情页面的基本信息包含该主机的各个关键信息,例如管理IP地址、业务IP地址、主机类型、机架、防火墙、CPU核数、操作系统等信息。 磁盘状态区 磁盘状态区包含了该主机所有为集群配置的磁盘分区,并显示每个磁盘分区的使用情况。
- 配置Controller与Agent间通信加密本章主要介绍翼MapReduce的配置Controller与Agent间通信加密功能。 操作场景 安装集群后Controller和Agent之间需要进行数据通信,在通信的过程中采用了Kerberos认证,出于对集群性能的考虑,通信过程默认不加密,对于一些安全要求较高用户可以采用以下方式进行加密。 对系统的影响 执行加密操作时,会自动重启Controller和所有Agent,重启期间会造成FusionInsight Manager暂时中断。
- 查看集群静态资源本章节主要介绍翼MapReduce的查看集群静态资源操作。 操作场景 大数据管理平台支持通过静态服务资源池对没有运行在Yarn上的服务资源进行管理和隔离。系统支持基于时间的静态服务资源池自动调整策略,使集群在不同的时间段自动调整参数值,从而更有效地利用资源。
- 产品优势本章节主要介绍翼MapReduce服务的产品优势。 MRS服务拥有强大的Hadoop内核团队,基于FusionInsight大数据企业级平台构筑。历经行业数万节点部署量的考验,提供多级用户SLA保障。 MRS具有如下优势: 高性能 MRS支持自研的CarbonData存储技术。CarbonData是一种高性能大数据存储方案,以一份数据同时支持多种应用场景,并通过多级索引、字典编码、预聚合、动态Partition、准实时数据查询等特性提升了IO扫描和计算性能,实现万亿数据分析秒级响应。
- 隔离主机本章节主要介绍翼MapReduce的隔离主机操作。 操作场景 某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。 说明 隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后部分服务的实例不再工作,服务的配置状态可能过期。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。
- 备份Kafka元数据本章主要介绍翼MapReduce的备份Kafka元数据功能。 操作场景 为了确保Kafka元数据安全,或者系统管理员需要对ZooKeeper进行重大操作(如升级或迁移等)时,需要对Kafka元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份Kafka任务并备份元数据。支持创建任务自动或手动备份数据。
- 恢复Kafka元数据本章主要介绍翼MapReduce的恢复Kafka元数据功能。 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对ZooKeeper进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,导致Kafka组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。
- 登录管理节点本章节主要介绍翼MapReduce的登录管理节点操作。 操作场景 部分运维操作的脚本与命令需要或只支持在主管理节点上运行。管理员可以根据以下指导确认并登录主或备管理节点。 在Manager查看主备管理节点并登录 登录FusionInsight Manager。 选择“系统 > OMS”。 在“基本信息”区域,“当前主用”表示主管理节点的主机名,“当前备用”表示备管理节点的主机名。 单击主机名可进入对应的主机详情页面。记录主机的IP地址信息。 以root用户登录主或备管理节点。
- 静态服务资源本章节主要介绍翼MapReduce的静态服务资源操作。 简介 集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。 静态服务池 静态服务池用来指定服务资源的配置。
- Hive扩容Trino通过翼MR Manager进入Trino集群的“配置管理”页面,修改hive.properties文件。在参数hive.metastore.uri中按照实际情况填写metastore的地址;例如,三台Hive MetaStore的主机名为hostname1,hostname2,hostnam3,那么该配置的值应为thrift://hostname1:9083,thrift://hostname2:9083,hrift://hostname3:9083。
- 产品定义应用层可搭载政务公文写作应用翼政通,集成智能问答、公文生成/优化、知识库管理等功能,嵌入WPS办公流。提升政务办公效率。产品用途目标用户主要面向需要私有化部署大模型进行调用、成本敏感型的企业单位。使用场景面向医疗、教育、政务等垂直领域,内置大模型,快速实现模型调用服务。
- 查看备份恢复任务本章主要介绍翼MapReduce的查看备份恢复任务功能。 操作场景 系统管理员可以通过FusionInsight Manager查看已创建的备份恢复任务,以及任务的运行情况。 前提条件 登录FusionInsight Manager,请参见登录管理系统。 操作步骤 1.在FusionInsight Manager,选择“运维 > 备份恢复”。 2.单击“备份管理”或“恢复管理”。 3.在任务列表中,查看“任务状态”与“任务进度”列获取上一次任务运行的结果。绿色表示运行成功,红色表示运行失败。
- 启用集群间拷贝功能本章主要介绍翼MapReduce的启用集群间拷贝功能。 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。拷贝数据的集群双方都需要配置。 管理员可以根据以下指导,在FusionInsight Manager修改参数以启用集群间拷贝功能。启用之后即可创建将数据备份至远端HDFS(RemoteHDFS)的备份任务。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。
- 修改组件数据库用户密码本章主要介绍翼MapReduce的修改组件数据库用户密码功能。 操作场景 建议管理员定期修改组件数据库用户的密码,以提升系统运维安全性。 对系统的影响 修改密码需要重启服务,服务在重启时无法访问。 操作步骤 1.在FusionInsight Manager选择“集群 > 待操作的集群名称 > 服务”。 2.确定修改哪个组件数据库用户密码。 修改DBService数据库omm用户密码,参考修改DBService数据库omm用户密码章节进行操作,修改其他组件数据库用户密码,需要先停止服务再执行3。
- 更新集群密钥本章主要介绍翼MapReduce的更新集群密钥功能。 操作场景 在安装集群时,系统将自动生成加密密钥key值以对集群的部分安全信息(例如所有数据库用户密码、密钥文件访问密码等)进行加密存储。在集群安装成功后,如果原始密钥不慎意外泄露或者需要使用新的密钥,系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群密钥后,集群中新增加一个随机生成的新密钥,用于加密解密新保存的数据。旧的密钥不会删除,用于解密旧的加密数据。在修改安全信息后,例如修改数据库用户密码,新密码将使用新的密钥加密。
- 简介本章节主要介绍翼MapReduce的多租户功能。 定义 多租户是MRS集群中的多个资源集合(每个资源集合是一个租户),具有分配和调度资源的能力。资源包括计算资源和存储资源。 背景 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 某些类型的用户(例如银行、政府单位等)对数据安全非常关注,很难容忍将自己的数据与其他用户的放在一起。
- 配置服务参数本章节主要介绍翼MapReduce服务配置服务参数。 用户可以根据实际业务场景,在MRS Manager中快速查看和修改服务默认的配置,及导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时,不支持修改DBService服务的参数。 操作步骤 修改服务参数 单击“服务管理”。 单击服务列表中指定的服务名称。 单击“服务配置”。
- 退服和入服务角色实例本章节主要介绍翼MapReduce服务退服和入服务角色实例。 操作场景 某个Core或Task节点出现问题时,可能导致整个集群状态显示为“异常”。MRS集群支持将数据存储在不同Core节点,用户可以在MRS Manager指定角色实例退服,使退服的角色实例不再提供服务。在排除故障后,可以将已退服的角色实例入服。
- KrbServer健康检查指标项说明本章节主要介绍翼MapReduce服务KrbServer健康检查指标项说明。 KerberosAdmin服务可用性检查 指标项名称: KerberosAdmin服务可用性 指标项含义 :系统对KerberosAdmin服务状态进行检查,如果检查结果不正常,则KerberosAdmin服务不可用。 恢复指导: 如果该指标项检查结果不正常,原因可能是KerberosAdmin服务所在节点故障,或者SlapdServer服务不可用。
- SparkSQL访问Hive分区表启动Job前耗时较长如何处理？本章节主要介绍翼MapReduce组件Spark使用的常见问题。 问题说明 使用Spark SQL 访问Hive 表的一个表分区,但是运行速度却很慢。 分析样例: select** x,y from test where **x=1 (其中x是test表的 Partition 字段) 原因分析 按照spark 源码逻辑,在解析逻辑计划时候回去调用 getPartitionsByFilter方法 去hive中只提取 x=1 分区信息。
- 配置HBase允许修改操作的IP地址白名单本章主要介绍翼MapReduce的配置HBase允许修改操作的IP地址白名单功能。 当HBase集群开启Replication功能时,为了保护主备集群的HBase数据一致性,对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时,首先检查发出该请求的用户的权限,只有HBase管理用户才有修改权限;其次检查发出该请求的IP的有效性,备集群只接收来自IP白名单中的机器发起的修改请求。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
