云主机开年特惠28.8元/年,0元秒杀等你来抢!
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 天翼云新春焕新季 NEW 云主机开年特惠28.8元/年,0元秒杀等你来抢!
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      天翼云翼停车_相关内容
      • 切换调度器
        本章节主要介绍翼MapReduce的切换调度器操作。 操作场景 新安装的MRS集群默认即使用了Superior调度器,如果是历史版本升级的集群,管理员可以根据以下指导,将Yarn的调度器从Capacity调度器一键式切换到Superior调度器。 前提条件 确保集群网络通畅,网络环境安全,Yarn服务状态正常。 在切换调度器期间,不允许做添加、删除、修改租户,以及启停服务等操作。 对系统的影响 调度器切换过程中,由于要重启Resource Manager,因此切换期间向Yarn提交任务会失败。 调度器切换过程中,正在Yarn上面执行的Job的Task任务会继续执行,但不会启动新的Task。 调度器切换完成后,在Yarn上面执行的任务有可能会失败进而导致业务中断。 调度器切换完成后,在租户管理中将使用Superior的相关参数。 调度器切换完成后,Capacity调度器中“资源容量”为“0”的租户队列在Superior调度器中分配不到资源,提交到该租户队列的任务会执行失败。建议在Capacity调度器中不要将租户队列的“资源容量”配置为“0”。 调度器切换完成后,在观察期内,不允许对资源池、Yarn节点标签(Label)和租户做添加、删除的操作。若添加或者删除了资源池、Yarn节点标签(Label)或租户,将不支持回退到Capacity调度器。 说明 切换调度器观察期建议为一周,如果对资源池、Yarn节点标签(Label)或租户做了添加、删除的操作,将视为观察期结束。 回退可能会丢失部分或者所有的Yarn任务信息。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        切换调度器
      • KrbServer健康检查指标项说明
        本章节主要介绍翼MapReduce服务KrbServer健康检查指标项说明。 KerberosAdmin服务可用性检查 指标项名称: KerberosAdmin服务可用性 指标项含义 :系统对KerberosAdmin服务状态进行检查,如果检查结果不正常,则KerberosAdmin服务不可用。 恢复指导: 如果该指标项检查结果不正常,原因可能是KerberosAdmin服务所在节点故障,或者SlapdServer服务不可用。操作人员进行KerberosAdmin服务恢复时,请尝试如下操作: 1. 检查KerberosAdmin服务所在节点是否故障。 2. 检查SlapdServer服务是否不可用。 KerberosServer服务可用性检查 指标项名称: KerberosServer服务可用性 指标项含义 :系统对KerberosServer服务状态进行检查,如果检查结果不正常,则KerberosServer服务不可用。 恢复指导: 如果该指标项检查结果不正常,原因可能是KerberosServer服务所在节点故障,或者SlapdServer服务不可用。操作人员进行KerberosServer服务恢复时,请尝试如下操作: 1. 检查KerberosServer服务所在节点是否故障。 2. 检查SlapdServer服务是否不可用。 服务健康状态 指标项名称: 服务状态 指标项含义 :系统对KrbServer服务状态进行检查,如果检查结果不正常,则KrbServer服务不可用。 恢复指导: 如果该指标项检查结果不正常,原因可能是KrbServer服务所在节点故障或者LdapServer服务不可用。详细操作请参见告警ALM25500处理。 检查告警 指标项名称: 告警信息 指标项含义 :系统对KrbServer服务的告警信息进行检查。如果存在告警信息,则KrbServer服务可能存在异常。 恢复指导: 如果该指标项检查结果不正常,建议根据告警内容,查看对应的告警资料,并进行相应的处理。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        健康检查管理
        KrbServer健康检查指标项说明
      • 配置服务参数
        本章节主要介绍翼MapReduce服务配置服务参数。 用户可以根据实际业务场景,在MRS Manager中快速查看和修改服务默认的配置,及导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后,需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时,不支持修改DBService服务的参数。 操作步骤 修改服务参数 1. 单击“服务管理”。 2. 单击服务列表中指定的服务名称。 3. 单击“服务配置”。 4. 在“参数类别”选择“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 5. 在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改,可以单击恢复。 说明 如果需要批量修改服务某个角色多个实例的配置,可以使用主机组实现实例参数的批量配置。在“角色”选择角色名称,然后在“主机”打开“ ”。“主机组名”填写一个名称,“主机”列表中勾选要修改的主机并加入“已选择的主机”,单击“确定”添加主机组。添加的主机组可以在“主机”中选择,且仅在当前页面有效,刷新页面后将无法保存。 6. 单击“保存配置”,勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。 界面提示“操作成功。”,单击“完成”,服务成功启动。 说明 更新YARN服务队列的配置且不重启服务时,选择“更多 > 刷新队列”更新队列使配置生效。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        对象管理
        配置服务参数
      • 添加资源池
        本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中,管理员可从逻辑上对所有Yarn的节点进行分区,使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池,便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 资源池”。 3. 单击“添加资源池”。 4. 设置资源池的属性。 “集群”:选择待添加资源池的集群名称。 “名称”:填写资源池的名称。长度为1~50个字符,可包含数字、字母或下划线( ) ,且不能以下划线 ( )开头。 “资源标签”:配置资源池的资源标签,包括数字、字母、下划线( )或减号(),长度为1~50个字符,且只能以数字或者字母开头。 “资源”:在界面左边可用主机列表中,勾选指定的主机,单击,将选中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 说明 根据业务需求,可以通过主机名称、CPU、内存、操作系统和平台类型,筛选需要选取的资源主机。 5. 单击“确定”保存。 完成资源池创建后,管理员可以在资源池的列表中查看资源池的名称、成员、类型。已加入自定义资源池的主机,不再是“default”资源池的成员。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Superior调度器的租户业务
        管理资源
        添加资源池
      • 添加资源池
        本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中,管理员可从逻辑上对所有Yarn的节点进行分区,使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池,便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 资源池”。 3. 单击“添加资源池”。 4. 设置资源池的属性。 “集群”:选择待添加资源池的集群名称。 “名称”:填写资源池的名称。长度为1~50个字符,可包含数字、字母或下划线(),且不能以下划线()开头。 “资源标签”:配置资源池的资源标签,包括数字、字母、下划线()或减号(),长度为1~50个字符,且只能以数字或者字母开头。 “资源”:在界面左边可用主机列表中,勾选指定的主机,单击,将选中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 说明 根据业务需求,可以通过主机名称、CPU、内存、操作系统和平台类型,筛选需要选取的资源主机。 5. 单击“确定”保存。 完成资源池创建后,管理员可以在资源池的列表中查看资源池的名称、成员、类型。已加入自定义资源池的主机,不再是“default”资源池的成员。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Capacity调度器的租户业务
        管理资源
        添加资源池
      • 查看主机概览
        本章节主要介绍翼MapReduce的查看主机概览操作。 总览 登录FusionInsight Manager以后,单击“主机”,在主机列表单击指定的主机名称,可以访问主机详情页面,主要包含基本信息区、磁盘状态区、角色列表区和监控图表等。 基本信息区 主机详情页面的基本信息包含该主机的各个关键信息,例如管理IP地址、业务IP地址、主机类型、机架、防火墙、CPU核数、操作系统等信息。 磁盘状态区 磁盘状态区包含了该主机所有为集群配置的磁盘分区,并显示每个磁盘分区的使用情况。 实例列表区 实例列表区显示了该主机所有安装的角色实例,并显示每个角色实例的状态,单击角色实例名称后的日志文件,可在线查看该实例对应日志文件内容。 告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录,系统最多可显示20条历史记录。 图表 主机详情页面的右侧展示图表区,包含该主机的各个关键监控指标报表。 用户可以单击右上角的“ > 定制”,自定义在图表区展示的监控报表。选择时间区间后,单击“ > 导出”,可以导出指定时间区间内的详细监控指标数据。 单击监控指标标题后的可以打开监控指标的解释说明。 单击主机的“图表”页签,可直接查看该主机的全量监控图表信息。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        主机管理
        主机管理页面
        查看主机概览
      • 管理员脱密工具
        本节介绍翼加密的管理员脱密工具下载以及使用的说明。 下载管理员脱密工具 管理员登录AI云电脑控制台,在文件加密模块的任意列表页面(密级管理、加密策略管理、加密桌面管理、脱密审计)右上角,点击“管理员脱密工具”进行下载。 使用管理员脱密工具 管理员脱密工具的脱密权限,与运行工具的AI云电脑的密级权限相关。 例如,将脱密工具安装到一个密级等级为3级的用户的加密AI云电脑内,则可以使用工具脱密密级等级为3级和3级以下的加密文件。 反之,如果将脱密工具安装到一个未加密的桌面,则无法脱密任何加密文件。 备注:建议管理员尽量在一个密级等级最高的用户的加密AI云电脑内,安装及使用此工具进行文件脱密。 使用工具脱密文件的步骤: 1.安装并运行“管理员脱密工具”; 2.添加需要脱密的文件,可点击“选取文件”添加;也可以直接拖入页面添加。单次添加的脱密文件个数和大小不做限制; 3.点击“选择目标路径”选择文件脱密后保存的路径; 4.点击“确认脱密”提交脱密操作。在执行脱密前,需要输入脱密UKey。脱密UKey在控制台文件加密模块的任意列表页面(密级管理、加密策略管理、加密桌面管理、脱密审计)右上角,点击“管理员脱密工具”即可看到; 注意:脱密UKey是一个随机生成的6位数密码。并且每1分钟会刷新重置。只有在脱密UKey刷新重置前及时输入才能完成脱密。 5.脱密完成后,弹窗结果弹窗。点击“前往所在位置”则打开脱密文件保存的目标路径。脱密文件在下一次编辑保存之前,将保持脱密状态,可直接明文外发。
        来自:
        帮助文档
        天翼云电脑(政企版)
        扩展功能
        翼加密
        管理员指南
        管理员脱密工具
      • 下载客户端
        本章节主要介绍翼MapReduce的下载客户端操作。 操作场景 MRS集群提供了默认的客户端,用户可以通过客户端执行管理操作、运行业务或进行二次开发。使用客户端前需要下载客户端软件包。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 概览 > 更多 > 下载客户端”。 界面显示“下载集群客户端”对话框。 3. 在“选择客户端类型”选择一个类型。 “完整客户端”表示下载包中包含了脚本、编译文件和配置文件。 “仅配置文件”表示下载包仅包含客户端配置文件。 一般适用于应用开发任务。例如完整客户端已下载并安装后,管理员通过Manager界面修改了服务配置,开发人员需要更新客户端配置文件的场景。 说明 平台类型包括x8664和aarch64两种,可分别在x86和TaiShan节点上安装使用。默认情况下,下载的客户端平台类型和服务端保持一致。 4. 是否在集群的节点中生成客户端软件包文件? 是,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsightClient/”。支持修改为其他目录且omm用户拥有目录的读、写与执行权限。如果路径中已存在客户端文件,会覆盖路径下已有的客户端文件。 等待文件生成后,使用omm用户或客户端安装用户将获取的下载包复制到其他目录,例如“/opt/Bigdata/client”。 否,单击“确定”,下载客户端文件至本地。 开始下载客户端软件包,并等待下载完成。 客户端下载成功后,参考安装客户端进行客户端的安装。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        管理集群
        下载客户端
      • 翼MR如何连接spark-beeline?
        本章节主要介绍翼MapReduce组件Spark的操作使用说明。 Sparkbeeline连接的目标可以是spark thrift server、也可以是kyuubi server。 我们以spark thrift server为例,提供链接流程如下: 1. 首先配置spark thrift相关配置。 1. Sparkenv.sh 中配置需要配置JAVAHOME、HADOOPHOME、HADOOPCLASSPATH、HADOOPCONFDIR等环境变量。 2. SPARKHOME/conf 路径下的hivesite.xml文件中,需要配置如下: hive.server2.transport.mode Set this to value: http hive.server2.thrift.http.port HTTP port number to listen on; default is 10001 如果hivesite.xml是软连接,且spark和hive混布,那么需要直接cp该文件到SPARKHOME/conf下面。 3. Sparkdefaults.conf中如果hadoop集群开启了Kerberos认证,那么需要配置spark.sql。 2. 启动spark thrift server。 SPARKHOME/sbin/startthriftserver.sh 3. 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 1. 首先klist kt ,获取keytab文件的principal,例如 klist kt user.keytab 获得 user/hostname@realm。 2. 然后kinit kt ,例如 kinit kt user.keytab user/hostname@realm。 3. Kinit认证完成登录后,可以klist l查看。 4. Beeline链接sparkthriftserver。 SPARKHOME/bin u ‘jdbc:hive2:// : / ;principaluser/hostname@realm?spark.yarn.queueroot.default’ n user 5. 执行如下命令查询所有表,返回结果中存在表test,即表示访问OBS成功。 show databases
        来自:
        帮助文档
        翼MapReduce
        常见问题
        大数据业务开发
        翼MR如何连接spark-beeline?
      • 集群管理概述
        本章节主要介绍翼MapReduce的集群管理操作。 总览 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 概览”可以查看当前集群的主要状态信息。 在“概览”页面上可对当前集群进行基本管理操作,如启动、停止、滚动重启、同步配置等,具体如下表所示。 维护管理功能 操作入口 说明 “启动” 将集群中所有服务启动。 “停止” 将集群中所有服务停止。 “更多 > 重启” 将集群中所有服务重启。 “更多 > 滚动重启” 为集群中所有服务提供不中断业务的重启操作,具体可参考滚动重启集群。 “更多 > 同步配置” 为集群中所有服务启用新的配置参数。 “更多 > 重启配置过期的实例” 为集群中所有服务重启配置过期的实例,具体可参考管理配置过期。 “更多 > 健康检查” 为OMS、集群所有服务和所有节点进行健康检查,健康检查可以包含三方面检查项:各检查对象的运行状态、相关的告警和自定义的监控指标,检查结果并不能等同于界面上显示的“运行状态”。健康检查的结果可直接在检查列表左上角单击“导出报告”,选择导出结果。如果发现问题,可以单击“查看帮助”。 “ 更多 > 下载客户端” 为用户下载默认的客户端,具体可参考下载客户端。 “ 更多 > 导出安装模板” 将集群所有安装配置批量导出,例如集群认证模式、节点信息、服务配置等,可用于相同环境下集群重新安装的场景。 “更多 > 导出配置” 将集群所有服务的配置批量导出。 “更多 > 进入维护模式/退出维护模式” 配置集群进入/退出维护模式。 “更多 > 维护模式视图” 查看集群进入维护状态的服务或主机。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        管理集群
        集群管理概述
      • 启用集群间拷贝功能
        本章主要介绍翼MapReduce的启用集群间拷贝功能。 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用。拷贝数据的集群双方都需要配置。 管理员可以根据以下指导,在FusionInsight Manager修改参数以启用集群间拷贝功能。启用之后即可创建将数据备份至远端HDFS(RemoteHDFS)的备份任务。 对系统的影响 启用集群间复制功能需要重启Yarn,服务重启期间无法访问。 前提条件 拷贝数据的集群的HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。默认设置为“privacy”表示加密,“authentication”表示不加密。 对于安全模式的集群,集群之间需要配置系统互信。 操作步骤 1.登录其中一个集群的FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 服务> Yarn > 配置”,单击“全部配置”。 3.左边菜单栏中选择“Yarn > 集群间拷贝”。 4.修改参数“dfs.namenode.rpcaddress”,在“haclusterX.remotenn1”右侧填写对端集群其中一个NameNode实例的业务IP和RPC端口,在“haclusterX.remotenn2”右侧填写对端集群另外一个NameNode实例的业务IP和RPC端口。 “haclusterX.remotenn1”和“haclusterX.remotenn2”不区分主备NameNode。NameNode RPC端口默认为“8020”,不支持通过Manager修改。 修改后参数值例如:“10.1.1.1:8020”和“10.1.1.2:8020”。 说明 如果本集群数据要备份至多个集群的HDFS中,可以继续配置对应的NameNode RPC地址至haclusterX1、haclusterX2、haclusterX3、haclusterX4。 5.单击“保存”,并在确认对话框中单击“确定”。 6.重启Yarn服务。 7.登录另外一个集群的FusionInsight Manager,重复2~6。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        启用集群间拷贝功能
      • 加固策略
        本章主要介绍翼MapReduce的加固策略功能。 加固Tomcat 在FusionInsight Manager软件安装及使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序webapplications之下的目录权限为500,对webapplications之下的部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 webapplications下针对工程禁用自动部署功能,只部署了web、cas和clientregistry三个工程。 禁用部分未使用的http方法,防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令,避免被黑客捕获利用关闭服务器,降低对服务器和应用的威胁。 出于安全考虑,更改“maxHttpHeaderSize”的取值,给服务器管理员更大的可控性,以控制客户端不正常的请求行为。 安装Tomcat后,修改Tomcat版本描述文件。 为了避免暴露Tomcat自身的信息,更改Connector的Server属性值,使攻击者不易获知服务器的相关信息。 控制Tomcat自身配置文件、可执行文件、日志目录、临时目录等文件和目录的权限。 关闭会话facade回收重用功能,避免请求泄漏风险。 CookieProcessor使用LegacyCookieProcessor,避免cookie中的敏感数据泄漏。 加固LDAP 在安装完集群后,针对LDAP做了如下功能增强: LDAP配置文件中管理员密码使用SHA加密,当升级openldap版本为2.4.39或更高时,主备LDAP节点服务自动采用SASL External机制进行数据同步,避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议,可安全使用。当升级openldap版本为2.4.39或更高时,LDAP将自动使用TLS1.0以上的协议通讯,避免未知的安全风险。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        安全管理
        安全加固
        加固策略
      • 恢复Kafka元数据
        本章主要介绍翼MapReduce的恢复Kafka元数据功能。 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对ZooKeeper进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,导致Kafka组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Kafka元数据,建议手动备份最新Kafka元数据后,再执行恢复操作。否则会丢失从备份时刻到恢复时刻之间的Kafka元数据信息。 对系统的影响 元数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后,Kafka的消费者在ZooKeeper上保存的offset信息将会回退,可能导致重复消费。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 先停止Kafka服务,待恢复完成后,再启动Kafka服务。 登录FusionInsight Manager,请参见登录管理系统。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        恢复数据
        恢复Kafka元数据
      • 备份HDFS业务数据
        本章主要介绍翼MapReduce的备份HDFS业务数据功能。 操作场景 为了确保HDFS日常用户的业务数据安全,或者系统管理员需要对HDFS进行重大操作(如升级或迁移等),需要对HDFS数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HDFS任务并备份数据。支持创建任务自动或手动备份数据。 说明 加密目录不支持备份恢复。 前提条件 如果数据要备份至远端HDFS中,需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端,以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单,确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照,否则无法创建备份任务。 如果数据要备份至NAS中,需要提前部署好NAS服务端。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        备份数据
        备份HDFS业务数据
      • 切换Ranger鉴权
        本章节主要介绍翼MapReduce的切换Ranger鉴权操作。 操作场景 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权,用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,管理员可在服务页面手动停用Ranger鉴权,停用Ranger鉴权后,访问组件资源时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 从历史版本升级的集群,用户访问组件资源时默认不使用Ranger鉴权,管理员可在安装了Ranger服务后手动启用Ranger鉴权。 说明 安全模式集群中,支持使用Ranger鉴权的组件包括:HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark2x、Impala。 非安全模式集群中,Ranger可以支持基于OS用户进行组件资源的权限控制,支持启用Ranger鉴权的组件包括:HBase、HDFS、Hive、Spark2x、Yarn。 启用Ranger鉴权后,该组件所有鉴权将由Ranger统一管理,原鉴权插件设置的权限将会失效(HDFS与Yarn的组件ACL规则仍将生效),请谨慎操作,建议提前在Ranger上做好权限部署。 停用Ranger鉴权后,该组件所有鉴权将由组件自身权限插件管理,Ranger上设置的权限将会失效,请谨慎操作,建议提前在Manager上做好权限部署。 启用Ranger鉴权 1. 登录FusionInsight Manager。 2. 选择“集群 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 在服务详情页面单击“更多”,选择“启用Ranger鉴权”。 5. 输入当前登录的用户密码确认身份,单击“确定”。 6. 在服务列表,重启配置过期的服务。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        管理服务
        其他服务管理操作
        切换Ranger鉴权
      • 恢复DBService数据
        本章主要介绍翼MapReduce的恢复DBService数据功能。 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对DBService进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对DBService进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie的元数据。恢复DBService的数据将恢复全部相关组件的元数据。 对系统的影响 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后,依赖DBService的组件可能配置过期,需要重启配置过期的服务。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常,不能执行恢复操作。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        恢复数据
        恢复DBService数据
      • 修改用户密码
        本章节主要介绍翼MapReduce的修改用户密码操作。 操作场景 出于安全的考虑,“人机”类型系统用户密码必须定期修改。 如果用户具备使用FusionInsight Manager的权限时,可以通过FusionInsight Manager完成修改自身密码工作。 如果用户不具备使用FusionInsight Manager的权限时,可以通过客户端修改自身密码。 前提条件 从管理员获取当前的密码策略。 已在集群内的任一节点安装了客户端,并获取此节点IP地址。请联系管理员获取客户端安装用户密码。 使用FusionInsight Manager修改密码 1. 登录FusionInsight Manager。 2. 移动鼠标到界面右上角的用户名。 在弹出菜单中单击“修改密码”。 3. 在“密码修改界面”分别输入“旧密码”、“新密码”、“确认新密码”,单击“确定”完成修改。 默认密码复杂度要求: 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~!@ $%^&()+[{}];', /? 。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同,N为配置密码策略中“重复使用规则”的值。 使用客户端修改密码 1. 以客户端安装用户登录安装客户端的节点。 2. 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 3. 执行以下命令,配置环境变量。 source bigdataenv 4. 执行以下命令,修改系统用户密码。此操作对所有服务器生效。 kpasswd 系统用户名称 例如,修改系统用户“test1”,执行 kpasswd test1 。 默认密码复杂度要求: 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~!@
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        系统设置
        权限设置
        用户管理
        修改用户密码
      • 简介
        本章节主要介绍翼MapReduce的多租户功能。 定义 多租户是MRS集群中的多个资源集合(每个资源集合是一个租户),具有分配和调度资源的能力。资源包括计算资源和存储资源。 背景 现代企业的数据集群在向集中化和云化方向发展,企业级大数据集群需要满足: 不同用户在集群上运行不同类型的应用和作业(分析、查询、流处理等),同时存放不同类型和格式的数据。 某些类型的用户(例如银行、政府单位等)对数据安全非常关注,很难容忍将自己的数据与其他用户的放在一起。 这给大数据集群带来了以下挑战: 合理地分配和调度资源,以支持多种应用和作业在集群上平稳运行。 对不同的用户进行严格的访问控制,以保证数据和业务的安全。 多租户将大数据集群的资源隔离成一个个资源集合,彼此互不干扰,用户通过“租用”需要的资源集合,来运行应用和作业,并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 对此,MRS企业级大数据集群提供了完整的企业级大数据多租户解决方案。 优势 合理配置和隔离资源 租户之间的资源是隔离的,一个租户对资源的使用不影响其他租户,保证了每个租户根据业务需求去配置相关的资源,可提高资源利用效率。 测量和统计资源消费 系统资源以租户为单位进行计划和分配,租户是系统资源的申请者和消费者,其资源消费能够被测量和统计。 保证数据安全和访问安全 多租户场景下,分开存放不同租户的数据,以保证数据安全;控制用户对租户资源的访问权限,以保证访问安全。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        多租户介绍
        简介
      • HBlock用户手册和安装包
        版本 发布日期 说明 4.0 2026年03月24日 1. 支持免费版本。 2. 新增调整HBlock服务占用服务器内存参数功能。 3. 上云卷新增挂起卷功能。 4. 支持通过API设置本地卷的扩展属性。 5. 增加设置鉴权方式。 3.10 2025年09月25日 1. 支持target访问权限,实现客户端和target端权限管理。 2. 支持备份,基于快照生成独立于源卷的数据备份文件。 3. 支持设置QoS规则,从带宽和IOPS维度管控流量。 3.9 2025年04月21日 1. 支持快照功能,实现数据的快速备份与恢复。 2. 支持克隆卷功能,用于数据复制、测试验证等场景。 3.8 2025年02月14日 1. API签名方法变更,提升安全性。 2. 存储卷和缓存卷支持将数据上传至兼容 S3 的对象存储。 3. 支持设置基础服务的数据存储目录。 4. Target增加回收策略,支持无卷关联后自动删除。 5. 针对智算、虚拟化以及高可用敏感度等场景,支持一键调整系统参数。 6. 支持设置折叠副本数,允许数据副本/分片放在同一个故障域中。 3.7 2024年08月08日 1. 支持设置集群拓扑。 2. 支持创建和管理多存储池。 3. 支持机房和机架级别故障域。 4. 支持设置卷的高速缓存池。 5. 支持基础服务迁移。 3.6 2024年06月03日 1. 支持存储卷和缓存卷,将数据从后端上传到天翼云对象存储(经典版)I型。 2. 硬件及HBlock监控数据支持对接到Prometheus。 3. 支持HBlock告警信息对接到智能运维平台。 4. 优化读写性能。 5. 增加对龙芯服务器的支持。 3.5 2024年03月04日 1. 支持服务器、数据目录级别的故障域,支持磁盘级别的数据服务。 2. 支持指定基础服务的安装节点。 3. 支持数据目录配额,设置HBlock可写入的数据量上限。 4. Target可被多个客户端发现并连接。 5. 设置卷的最小写入副本数,提高数据写入安全性。 6. 扩大纠删码EC N+M支持范围,满足N+M<128。 3.4 2023年07月12日 1. 卷连接支持一主多备,提高业务可用性。 2. 支持IPv6环境。 3. 控制台提供Dashboard一页式概览。 4. 支持通过命令行查询CHAP密码。 3.3 2022年12月23日 支持安全移除服务器。 3.2 2022年09月26日 1. 监控项增加,扩大覆盖范围。 2. 增加对告警、日志管理的支持。 3. 事件中增加对系统事件的支持。 3.1 2022年06月14日 1. 单机版支持添加多个数据目录。 2. 集群版支持创建Target时指定对应的服务器,支持Target迁移。 3. 支持用户事件的记录和查询。 3.0 2022年01月18日 1. 命令行变更为非交互式。 2. 支持WEB、API调用方式。 3. 卷操作:支持设置卷的高可用类型和卷的写策略。 2.1 2021年08月27日 1. 增加对ARM服务器的支持。 2. 软件许可证:查看许可证时,可以显示允许的容量。 3. 卷操作:支持对卷进行主备切换,即卷对应的Active Target和Standby Target切换。 2.0 2021年05月28日 1. 支持集群版部署。 2. 支持多副本和纠删码数据冗余。
        来自:
        帮助文档
        存储资源盘活系统
        文档下载
        HBlock用户手册和安装包
      • 图片处理概述
        使用说明 目前图片处理服务暂不支持客户自助开启,如需使用,请通过提交工单向天翼云客服申请。申请时,请说明具体希望达成如下哪种效果:自适应WEBP、自动瘦身、URL中携带特定参数实现图片处理。 自适应WEBP 自适应WEBP是图片格式转换的一种,开启自适应WEBP功能后,用户请求URL中无需携带相关参数,CDN节点可将Accept请求头值中包括image/webp的图片格式自动转换为WEBP,以获得更好的压缩率及图像质量。 注意 开启自适应WEBP功能后,原始图片缓存会失效,短时间内文件命中率会下降,一段时间后会自行恢复,请避免在业务高峰期开启该功能。 自动瘦身 自动瘦身是图片质量转换的一种,开启自动瘦身后,用户请求URL中无需携带相关参数,CDN节点可按照预先设定的相对质量比例自动完成图片质量转换,以对图片进行压缩,节省用户访问流量。 注意 如需配置自动瘦身功能,请在工单中注明自动瘦身比例。 URL中携带特定参数实现图片处理 开通图片处理功能后,用户可通过在URL中携带特定参数实现灵活的图片处理能力。 图片处理请求URL格式为: 具体字段含义如下: 参数 说明 www.ctyun.cn 在天翼云加速的CDN域名。 a.jpg 需要处理的图片名称。 action 图片处理的固定参数名。 key1:value1 图片处理的具体参数,例如:format:bmp,则表示对该图片进行格式转换动作,将a.jpg转换为bmp格式。 key2:value2 图片处理的具体参数2,支持对同个图片做多个处理动作。 1.存在多个处理参数时,getinfo优先级最高,如有该参数,其他参数忽略无效。 2.存在多个处理参数,且不包括getinfo时,format格式转换参数将作为最后动作来处理,其他处理参数将按参数携带的先后顺序依次进行处理。 示例: 处理效果为:对a.jpg先将其绝对质量转换为80,再对其进行居中宽400高200的裁剪,最后将其转换为bmp图片格式。 目前支持的图片处理操作及对应参数如下: 图片处理功能 参数 说明 格式转换 format 对图片格式进行转换。 质量转换 quality 对图片质量进行转换,支持绝对质量转换和相对质量转换。 图片裁剪 cut 对图片进行指定位置的裁剪。 图片缩放 resize 对图片进行缩放。 图片旋转 rotate 对图片进行旋转。 图片色彩 brightnesscontrast 对图片的亮度和对比度进行调整。 添加水印 textwatermarks、imagewatermarks 添加文字水印或图片水印。 图片置灰 grayscale 对图片进行置灰。 渐进式加载 progressive 将图片转换为渐进式加载格式。 获取图片信息 getinfo 获取图片信息,包括图片的大小、宽、高、图片格式、图片质量和图片方向信息。
        来自:
        帮助文档
        CDN加速
        用户指南
        域名管理
        文件处理
        图片处理
        图片处理概述
      • redis常见使用规范
        本节主要介绍Redis常见使用规范,主要从Key名称、Value值、Redis命令以及其他方面描述。 Key名称 Key名称的使用规范如下: 使用统一的命名规范。 一般使用业务名(或数据库名)为前缀,用冒号分隔,例如,业务名:表名:id。 控制key名称的长度。 在保证语义清晰的情况下,尽量减少Key的长度。有些常用单词可使用缩写,例如,user缩写为u,messages缩写为msg。 名称中不要包含特殊字符。 Value值 Value值的使用规范如下: 要避免大Key。 大Key会带来网卡流量风暴和慢查询,一般string类型控制在10KB以内,hash、list、set、zset元素个数不要超过5000。 选择合适的数据类型。 比如存储用户的信息,可用使用多个key,使用set u:1:name "X"、set u:1:age 20这样存储,也可以使用hash数据结构,存储成1个key,设置用户属性时使用hmset一次设置多个,同时这样存储也能节省内存。 设置合理的过期时间。 最好是过期时间打散,不要集中在某个时间点过期。 Redis命令 Redis命令的常用规范如下: 时间复杂度为O(N)的命令,需要特别注意N的值。 例如:hgetall、lrange、smembers、zrange、sinter这些命令都是做全集操作,如果元素很多,是很耗性能的。可使用hscan、sscan、zscan这些分批扫描的命令替代。 命令禁用,使用前,请参考Redis命令兼容性和WebCli命令兼容性。 慎重使用select。 Redis多数据库支持较弱,多业务用多数据库实际还是单线程处理,会有干扰。最好是拆分使用多个Redis。天翼云集群实例不支持多DB。 如果有批量操作,可使用mget、mset或pipeline,提高效率,但要注意控制一次批量操作的元素个数。 mget、mset和pipeline的区别如下: mget和mset是原子操作,pipeline是非原子操作。 pipeline可以打包不同的命令,mget和mset做不到。 使用pipeline,需要客户端和服务端同时支持。 lua脚本的执行超时时间为5秒钟,建议不要在lua脚本中使用比较耗时的代码,比如长时间的sleep、大的循环等语句。 调用lua脚本时,建议不要使用随机函数去指定key,否则在主备节点上执行结果不一致,从而导致主备节点数据不一致。 集群实例使用lua有如下限制: 使用EVAL和EVALSHA命令时,命令参数中必须带有至少1个key,否则客户端会提示“ERR eval/evalsha numkeys must be bigger than zero in redis cluster mode”的错误。 使用EVAL和EVALSHA命令时,DCS Redis集群实例使用第一个key来计算slot,用户代码需要保证操作的key是在同一个slot。
        来自:
        帮助文档
        分布式缓存服务Redis版
        最佳实践
        redis常见使用规范
      • 分配机架
        本章节主要介绍翼MapReduce的分配机架操作。 操作场景 大型集群的所有主机通常分布在多个机架上,不同机架间的主机通过交换机进行数据通信,且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求: 为了提高通信速率,希望不同主机之间的通信能够尽量发生在同一个机架之内,而不是跨机架。 为了提高容错能力,分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。两层网络的集群如下图所示,Node1的Rack建议设置为 /Switch1/Rack1 ,Node4的Rack建议设置为 /Switch1/Rack2 。 两层网络结构 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况,管理员需设置机架名称来确定主机所处的机架,NameNode才能绘出DataNode的网络拓扑图,并尽可能将DataNode的数据备份在不同机架中。同理,YARN需要获取机架信息,在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时,需要使用FusionInsight Manager为主机重新分配机架,相关服务才会自动调整。 对系统的影响 修改主机机架名称,将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka,使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载(包括CPU、内存、磁盘、网络)不平衡,降低集群的可靠性,影响集群的稳定运行。所以在分配机架之前,需要进行全局的统筹,合理地设置机架。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        主机管理
        主机维护操作
        分配机架
      • 与其他产品的关系
        与分布式缓存服务(DCS)的关系 分布式缓存服务(Distributed Cache Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。 • 数据来源:数据湖探索服务提供DataFrame和SQL方式从DCS中导入数据到数据湖探索。 • 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。 与文档数据库服务(DDS)的关系 文档数据库服务(Document Database Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。 • 数据来源:数据湖探索服务提供DataFrame和SQL方式从DDS中导入数据到数据湖探索。 • 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DDS表中。 与翼MapReduce服务(MRS)的关系 MapReduce服务(MapReduce Service)作为数据湖探索的数据来源及数据存储,与数据湖探索配合一起使用,关系有如下两种。 • 数据来源:数据湖探索服务提供DataFrame和SQL方式从MRS中导入数据到数据湖探索。 • 存储查询结果:数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到MapReduce服务表中。 与数据治理中心的关系 在数据湖治理中心(Data Lake Governance Center)中,数据开发是一个一站式的大数据协同开发平台,提供全托管的大数据调度能力。它可管理多种大数据服务,极大降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心。
        来自:
        帮助文档
        数据湖探索
        产品简介
        与其他产品的关系
      • 管理实例配置
        本章节主要介绍翼MapReduce的管理实例配置操作。 操作场景 每个单独的角色实例可以修改配置参数在迁移实例到新集群场景或者重新部署相同服务的场景下,管理员可以在FusionInsight Manager中将某服务所有配置数据导入或者导出,实现配置结果的快速复制。 FusionInsight Manager支持管理单个角色实例的配置参数,修改配置参数、导出实例配置或导入实例配置时不影响其他实例。 对系统的影响 修改角色实例配置后,如果实例状态为“配置过期”,则需要重启此实例。重启时对应的实例不可用。 修改实例配置 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作的集群名称 > 服务”。 3. 单击服务视图中指定的服务名称,并选择“实例”页签。 4. 单击指定的实例,选择“实例配置”。 默认显示“基础配置”,如果需要修改更多参数,请选择“全部配置”,界面上将显示该实例支持的所有参数分类。 5. 在导航树选择指定的参数分类,并在右侧修改参数值。 不确定参数的具体位置时,支持在右上角输入参数名,Manager将实时进行搜索并显示结果。 6. 单击“保存”,并在确认对话框中单击“确定”。 等待界面提示“操作成功”,单击“完成”,配置已修改。 说明 角色实例配置参数修改后,如果实例状态为“配置过期”则需要重启此实例,可在“实例”页面勾选“配置过期”的实例,选择“更多 > 重启实例”。 导出导入实例配置 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中待操作的服务名称,并选择“实例”页签。 4. 单击待操作的实例,选择“实例配置”。 5. 单击“导出”,导出配置参数文件到本地。 6. 在实例配置页面单击“导入”,在弹出的配置文件选择框中定位到实例的配置参数文件,即可导入所有配置。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        管理实例
        管理实例配置
      • 管理实例组
        本章节主要介绍翼MapReduce的管理实例组操作。 操作场景 FusionInsight Manager支持对多个实例组的管理功能,即用户可以按照具有相同硬件配置的节点或者其他原则将同一角色内的多个实例进行分组。针对实例组进行的配置参数修改,将同时对组内所有的实例生效。 在大集群场景中,通过实例组将提升大集群下异构环境批量实例的管理能力,分配好实例组后,后续可反复配置,减少实例配置项的冗余,提升系统性能。 创建实例组 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中待操作的服务名称。 4. 选择“实例组”。 单击,按照界面提示填写参数。 实例组配置参数 参数名 说明 组名称 实例组名称只能包含字母、数字、下划线()、中划线()和空格,仅以字母、数字、下划线()或中划线()开头,只能在中间包含空格,并且不能超过99个字符。 角色 表示实例组包含哪个角色的实例。 复制源 指从指定的实例组复制配置值到新组,若为空,则新组对应的各配置值为系统默认值。 描述 只可以包含汉字、英文字母、数字、中英文逗号、中英文句号、下划线()、空格和换行符,并且不能超过200个字符。 说明 每个实例必须且只能属于一个实例组,实例首次安装时默认属于的实例组为“ 角色名 DEFAULT”。 多余或者不再使用的实例组可以删除,删除前需要将组内的实例全部迁移至其他实例组,然后参照下方“删除实例组”对实例组进行删除,系统默认的实例组不可删除。 5. 单击“确定”完成创建实例组。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        管理实例
        实例组
        管理实例组
      • 管理租户目录
        本章节主要介绍翼MapReduce的管理租户目录操作。 操作场景 管理员通过FusionInsight Manager管理指定租户使用的HDFS存储目录,能根据业务需求对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加具有HDFS存储资源的租户。 查看租户目录 1. 在FusionInsight Manager,单击“租户资源”。 2. 在左侧租户列表,单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS存储”表格。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额 ”列表示租户目录的存储空间大小。 添加租户目录 1. 在FusionInsight Manager,单击“租户资源”。 2. 在左侧租户列表,单击需要修改HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格,单击“添加目录”。 “父目录”,表示当前租户对应父租户的存储目录。 说明 当前租户不是子租户则不显示此参数。 “路径”,填写租户目录的路径。 说明 当前租户不是子租户则新路径将在HDFS的根目录下创建。 “文件目录数上限”填写文件和目录数量配额。 文件数阈值配置(%),只有设置了“文件目录数上限”才会生效。表示当已使用的文件数超过了设置的“文件目录数上限”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 当前已使用的文件数的数据采集周期为1个小时,因此超过文件数阈值的告警上报会存在延迟。 “存储空间配额”,填写租户目录的存储空间大小。 存储空间阈值配置(%),表示已使用存储空间超过了设置的“存储空间配额”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 5. 单击“确定”完成租户目录添加。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Capacity调度器的租户业务
        管理租户
        管理租户目录
      • 更新集群密钥
        本章主要介绍翼MapReduce的更新集群密钥功能。 操作场景 在安装集群时,系统将自动生成加密密钥key值以对集群的部分安全信息(例如所有数据库用户密码、密钥文件访问密码等)进行加密存储。在集群安装成功后,如果原始密钥不慎意外泄露或者需要使用新的密钥,系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群密钥后,集群中新增加一个随机生成的新密钥,用于加密解密新保存的数据。旧的密钥不会删除,用于解密旧的加密数据。在修改安全信息后,例如修改数据库用户密码,新密码将使用新的密钥加密。 更新集群密钥需要停止集群,集群停止时无法访问。 前提条件 已确认主备管理节点IP。请参见登录管理节点。 停止依赖集群运行的上层业务应用。 操作步骤 1.登录FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 停止”,输入当前登录的用户密码确认身份。 在确认停止的对话框单击“确定”,等待界面提示停止成功。 3.以omm用户登录主管理节点。 4.执行以下命令,防止超时退出。 TMOUT0 说明 执行完本章节操作后,请及时恢复超时退出时间,执行命令 TMOUT 超时退出时间 。例如: TMOUT600 ,表示用户无操作600秒后超时退出。 5.执行以下命令,切换目录。 cd ${BIGDATAHOME}/omserver/om/tools 6.执行以下命令,更新集群密钥。 sh updateRootKey.sh 根据界面提示,输入 y : The root key update is a critical operation. Do you want to continue?(y/n): 界面提示以下信息表示更新密钥成功: Step 41: The key save path is obtained successfully. ... Step 44: The root key is sent successfully. 7.在FusionInsight Manager界面,选择“集群 > 待操作集群的名称 > 启动”。 在弹出窗口中单击“确定”,等待界面提示启动成功。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        安全管理
        安全加固
        更新集群密钥
      • 备份HBase元数据
        本章主要介绍翼MapReduce的备份HBase元数据功能。 操作场景 为了确保HBase元数据(主要包括tableinfo文件和HFile)安全,防止因HBase的系统表目录或者文件损坏导致HBase服务不可用,或者系统管理员需要对HBase系统表进行重大操作(如升级或迁移等)时,需要对HBase元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中,需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS,支持将HBase元数据备份到OBS。如果HBase数据存储在OBS,则不支持数据备份。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        备份数据
        备份HBase元数据
      • 隔离主机
        本章节主要介绍翼MapReduce的隔离主机操作。 操作场景 某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。 说明 隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后部分服务的实例不再工作,服务的配置状态可能过期。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 待操作节点的SSH端口需保持默认(22),否则将导致本章节任务操作失败。 操作步骤 1. 登录FusionInsight Manager。 2. 单击“主机”。 3. 勾选待隔离主机前的复选框。 4. 在“更多”选择“隔离”。 在弹出窗口中,输入当前登录的用户密码确认管理员身份,单击“确定”。 5. 在确认隔离的对话框中勾选“我确定隔离所选主机,接受可能出现的服务故障等后果。”单击“确定”。 界面提示“操作成功。”,单击“完成”,主机成功隔离,“运行状态”显示为“已隔离”。 6. 以root用户登录到被隔离主机上,执行pkill 9 u omm命令终止节点上的omm用户的进程,然后执行ps ef grep 'container' grep '${BIGDATAHOME}' awk '{print $2}' xargs I '{}' kill 9 '{}'命令查找并终止container的进程。 7. 管理员已排除主机的异常或故障后,需要将主机隔离状态取消才能继续使用该主机。 在“主机”界面勾选已隔离的主机,选择“更多 > 取消隔离”。 说明 取消隔离后,主机上所有角色实例默认不启动。若需要启动主机上角色实例,可以在“主机”页面勾选目标主机,然后选择“更多 > 启动所有实例”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        主机管理
        主机维护操作
        隔离主机
      • 配置资源池的队列容量策略
        本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后,需要为Yarn任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。 该任务指导系统管理员通过FusionInsight Manager配置队列策略。使用Superior调度器的租户队列,可以配置使用不同资源池的资源。 前提条件 已登录FusionInsight Manager。 已添加资源池。 任务队列不与其他队列相关联资源池,除了默认资源池。 操作步骤 1. 在FusionInsight Manager,单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“资源分布策略”页签。 4. “集群”参数选择待操作的集群名称,然后在“资源池”选择指定的资源池。 5. 在“资源分配”列表指定队列的“操作”列,单击“修改”。 6. 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。 “权重”:表示租户能获得的资源。其初始值与最小资源百分比值一致。 “最小资源”:表示租户能获得的最少资源。 “最大资源”:表示租户能获得的最多资源。 “预留资源”:表示保留给租户自身队列,且不能借用给其他租户队列的资源。 7. 在“修改资源分配”窗口的“用户策略”页签设置用户策略。 说明 defaultUser(builtin)表示如果一个用户未配置策略,则默认使用defaultUser所指定的策略。该策略不可删除。 单击“添加用户策略”添加用户策略。 − “用户名”:表示用户的名称。 − “权重”:表示用户能获得的资源。 − “最多核数”:表示用户最多可以使用的虚拟核数。 − “最大内存”:表示用户最大可以使用的内存。 单击“操作”列的“修改”修改现有用户策略。 单击“操作”列的“清除”删除现有用户策略。 8. 单击“确定”保存配置。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Superior调度器的租户业务
        管理资源
        配置资源池的队列容量策略
      • 配置Syslog北向参数
        本章节主要介绍翼MapReduce的配置Syslog北向参数。 操作场景 该任务指导用户以Syslog方式将MRS Manager的告警事件上报到指定的监控运维系统中。 须知:Syslog协议未做加密,传输数据容易被窃取,存在安全风险。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC,且Master节点可以访问对接服务器的IP地址和指定端口。 操作步骤 在MRS Manager,单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下,单击“Syslog配置”。 “Syslog服务”的开关默认为关闭,单击启用Syslog服务。 2. 设置如下表所示的对接参数。 详见下表:对接参数 参数区域 参数名称 参数说明 Syslog协议 服务IP 设置对接服务器IP地址。 服务端口 设置对接端口。 协议 设置协议类型,取值范围: l “TCP” l “UDP” 安全级别 设置上报消息的严重程度,取值范围: l “Informational” l “Emergency” l “Alert” l “Critical” l “Error” l “Warning” l “Notice” l “Debug” Facility 设置产生日志的模块。 标识符 设置产品标识,默认为“MRS Manager”。 报告信息 报文格式 设置告警报告的消息格式,具体要求请参考界面帮助。 报告告警类型 设置需要上报的告警类型。 l “故障”表示Manager产生告警时会上报Syslog告警消息。 l “清除”表示清除Manager告警时会上报Syslog告警消息。 l “事件”表示Manager产生事件时会上报Syslog告警消息。 报告告警级别 设置需要上报的告警级别。支持“提示”、“一般”、“严重”和 “致命”。 未恢复告警上报设置 周期上报未恢复告警 设置是否按指定周期上报未清除的告警。“周期上报未恢复告警”的开关默认为关闭,单击启用此功能。 间隔时间(分钟) 设置周期上报未恢复告警到远程Syslog服务的时间间隔,当“周期上报未恢复告警”开关打开时启用。单位为分钟,默认值为“15”,取值范围为5分钟到一天(1440分钟)。 心跳设置 上报心跳 设置是否开启周期上报Syslog心跳消息。“周期上报未恢复告警”的开关默认为关闭,单击启用此功能。 心跳周期(分钟) 设置周期上报心跳的时间间隔,当“上报心跳”开关打开时启用。单位为分钟,默认值为“15”,取值范围为160。 心跳报文 设置心跳上报的内容,当“上报心跳”开关打开时启用,不能为空。支持数字、字母、下划线、竖线、冒号、空格、英文逗号和句号等字符,长度小于等于256。 说明:设置周期上报心跳报文后,在某些集群容错自动恢复的场景下(例如主备管理节点倒换)可能会出现报文上报中断的现象,此时等待自动恢复即可。 3. 单击“确定”,设置完成。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        告警管理
        配置Syslog北向参数
      • 配置监控与告警阈值
        本章节主要介绍翼MapReduce 的配置监控与告警阈值功能。 操作场景 配置监控与告警阈值用于关注各指标的健康情况。勾选“发送告警”后,当监控数据达到告警阈值,系统将会触发一条告警信息,将在“告警管理”中出现此告警信息。 操作步骤 在MRS Manager,单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下,单击“阈值配置”,依据规划选择监控指标并设置其基线。 2. 单击某一指标例如“CPU使用率”,单击“添加规则”。 3. 在“配置”对话框中填写监控指标规则参数。 详见下表:监控指标规则参数 参数名 参数解释 参数值 规则名称 规则名称 CPUMAX(举例) 参考日期 查看某指标的历史参考数据 2014/11/06(举例) 阈值类型 选择某指标的最大值或最小值,类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警,类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 l 最大值 l 最小值 告警级别 告警级别 l 致命 l 严重 l 一般 l 提示 时间范围 设置规则生效时监控指标的具体时间段 从00:00到23:59(举例) 阈值 设置规则监控指标的阈值 设置数值80(举例) 日期 设置规则生效的日期类型 l 工作日 l 周末 l 其它 添加日期 日期选择“其他”时该参数生效。可选择多个日期。 11/30(举例) 4. 单击“确定”。界面右上角弹出提示“模板保存成功。”。 “发送告警”默认已勾选。Manager会检查监控指标数值是否满足阈值条件,若连续检查且不满足的次数等于“平滑次数”设置的值则发送告警,支持自定义。“检查周期(秒)”表示Manager检查监控指标的时间间隔。 5. 在新添加规则所在的行,单击“操作”下的“应用”,界面右上角弹出提示规则xx应用成功,完成添加。单击“操作”下的“取消应用”,界面右上角弹出提示规则xx取消成功。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        告警管理
        配置监控与告警阈值
      • 1
      • ...
      • 36
      • 37
      • 38
      • 39
      • 40
      • ...
      • 514
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      天翼云新春焕新季

      云主机开年特惠28.8元/年,0元秒杀等你来抢!

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      多活容灾服务

      弹性高性能计算 E-HPC

      天翼云CTyunOS系统

      训推服务

      公共算力服务

      模型推理服务

      科研助手

      一站式智算服务平台

      知识库问答

      推荐文档

      篡改告警分析

      云课堂 第十一课:天翼云虚拟IP地址及其在高可用集群中

      入驻条件

      常见问题

      产品定义

      产品功能

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号