爆款云主机低至25.83元/年
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 云聚517 · 好价翼起拼 NEW 爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
Token服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V4-Flash
  • GLM-5.1
  • Qwen3.5-122B-A10B
  • DeepSeek-V3.2(旗舰版)
  • GLM-5(正式版)
智算一体机
  • 智算一体机
智能体引擎
  • 智能体引擎
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      HBASE数据库_相关内容
      • HBase/CloudTable增量迁移
        本章节主要介绍HBase/CloudTable增量迁移。 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。 在创建CDM表/文件迁移的作业,源连接选择为HBase连接或CloudTable连接时,高级属性的可选参数中可以配置时间区间。 详见下图:HBase时间区间 起始时间(包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间及以后的数据。 终止时间(不包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间以前的数据。 这2个参数支持配置为 时间宏变量使用解析,例如: 起始时间配置为 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 时,表示只导出昨天以后的数据。 终止时间配置为 ${dateformat(yyyyMMdd HH:mm:ss)} 时,表示只导出当前时间以前的数据。 这2个参数同时配置后,CDM就只导出前一天内的数据,再将该作业配置为每天0点执行一次,就可以增量同步每天新生成的数据。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        进阶实践
        增量迁移原理介绍
        HBase/CloudTable增量迁移
      • 配置HBase/CloudTable源端参数
        本章节主要介绍配置HBase/CloudTable源端参数。 作业中源连接为配置HBase连接或配置CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如下表所示。 说明 CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含该表的所有字段,用户需要自己手工添加字段。 由于HBase的无Schema技术特点,CDM无法获知数据类型,如果数据内容是使用二进制格式存储的,CDM会无法解析。 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段是以字符串格式存储,而不能是二进制格式,例如数值100需存储格式是字符串“100”,不能是二进制“01100100”。 表 HBase/CloudTable作为源端时的作业参数 参数名 说明 取值样例 表名 导出数据的HBase表名。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 TBL2 列族 可选参数,导出数据所属的列族。 CF1&CF2 切分Rowkey 可选参数,选择是否拆分Rowkey,默认为“否”。 是 Rowkey分隔符 可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。 l 起始时间 可选参数,起始时间(包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间及以后的数据。 该参数支持配置为时间宏变量,使用时间宏变量和定时任务配合,可以实现定期同步新增数据。 20190101 20:00:00 终止时间 可选参数,终止时间(不包含该值),格式为“yyyyMMdd HH:mm:ss”,表示只抽取该时间以前的数据。 该参数支持配置为时间宏变量。 20190201 20:00:00
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理作业
        配置作业源端参数
        配置HBase/CloudTable源端参数
      • ALM-19013 region处在RIT状态的时长超过阈值
        本章节主要介绍ALM19013 region处在RIT状态的时长超过阈值的告警。 告警解释 系统按300秒周期性检测HBase上的region处在RIT状态的数量。当检测到处在RIT状态的region时长超过阈值时长(连续两次超过阈值),上报该告警。当处在超时状态的region都恢复后,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用,则“定位信息”中显示服务名HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19013 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 表的部分数据丢失或不可用。 可能原因 Compaction永久阻塞。 HDFS文件异常。 处理步骤 检查告警原因 1.在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19013”的告警,查看“定位信息”中的主机名及角色名。 2.选择“集群 > 待操作集群的名称 > 服务 > HBase ”,单击图表区域右上角的下拉菜单,选择“定制 > 服务 > 处在RIT状态的region数”,单击“确定”,查看该图表中“处在RIT状态达到阈值时长的region数”监控项是否在连续3个检测周期内检测到值。(默认阈值为60秒)。 是,执行步骤3。 否,执行步骤7。 3.选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主) > Tables” ,查看是否只是某一个表的region RIT状态超时。 是,执行步骤4。 否,执行步骤7。 4.在客户端执行hbase hbck是否报错“No table descriptor file under hdfs://hacluster/hbase/data/default/table”。 是,执行步骤5。 否,执行步骤7。 5.以root用户登录客户端。执行如下命令: cd 客户端安装目录 source bigdataenv 如为安全模式集群,请执行kinit hbase 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,在Procedures查看是否有处于Waiting状态的process id。如果有,需要执行以下命令将procedure lock释放: hbase hbck j 客户端安装目录/HBase/hbase/tools/hbasehbck2.jar bypass o pid 查看State是否处于Bypass状态,如果界面上的procedures一直处于RUNNABLE(Bypass)状态,需要进行主备切换。执行assigns命令使region重新上线。 hbase hbck j 客户端安装目录/HBase/hbase/tools/hbasehbck2.jar assigns o regionName 6.在客户端执行 hbase hbck,查看否报错“No table descriptor file under hdfs://hacluster/hbase/data/default/table”。 是,执行步骤7。 否,处理完毕。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19013 region处在RIT状态的时长超过阈值
      • ALM-19014 在ZooKeeper上的容量配额使用率严重超过阈值
        本章节主要介绍ALM19014 在ZooKeeper上的容量配额使用率严重超过阈值的告警。 告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode容量使用率超出紧急告警的阈值(默认90%)时产生该告警。 当znode的容量使用率小于严重告警的阈值时,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示“服务名HBase1”,处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19014 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的容量使用率已经严重超过规定的阈值,会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢。 HBase集群存在大量的WAL文件在进行split。 处理步骤
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19014 在ZooKeeper上的容量配额使用率严重超过阈值
      • ALM-19016 在ZooKeeper上的数量配额使用率严重超过阈值
        本章节主要介绍ALM19016 在ZooKeeper上的数量配额使用率严重超过阈值的告警。 告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode数量使用率超出紧急告警的阈值(默认90%)时产生该告警。 当znode的数量使用率小于严重告警的阈值时,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示服务名HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19016 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的数量使用率已经严重超过规定的阈值,会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢; HBase集群存在大量的WAL文件在进行split。 处理步骤
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19016 在ZooKeeper上的数量配额使用率严重超过阈值
      • ALM-19008 HBase服务进程堆内存使用率超出阈值
        本章节主要介绍ALM19008 HBase服务进程堆内存使用率超出阈值的告警。 告警解释 系统每30秒周期性检测HBase服务堆内存使用状态,当检测到HBase服务堆内存使用率超出阈值(最大内存的90%)时产生该告警。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用,则“定位信息”中显示服务名HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase可用内存不足,可能会造成内存溢出导致服务崩溃。 可能原因 该节点HBase服务堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率 1.在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19008”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster,执行步骤2。 告警上报的角色是RegionServer,执行步骤3。 2.在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”,单击告警上报的HMaster,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > HMaster堆内存使用率与直接内存使用率统计”,单击“确定”,查看HBase服务进程使用的堆内存是否已达到HBase服务进程设定的最大堆内存的90%。 是,执行步骤4。 否,执行步骤6。 3.在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”,单击告警上报的RegionServer,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > RegionServer堆内存使用率与直接内存使用率统计”,单击“确定”,查看HBase服务进程使用的堆内存是否已达到HBase服务进程设定的最大堆内存的90%。 是,执行步骤4。 否,执行步骤6。 4.在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”,单击“全部配置”, 选择“HMaster/RegionServer > 系统”,将“GCOPTS”参数中“Xmx”的值参考以下说明进行调大。 说明 a.HMaster的GC参数配置建议 建议“Xms”和“Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 调整“XX:NewSize”大小的时候,建议把其设置成和“XX:MaxNewSize”相同,均为“Xmx”大小的1/8。 当HBase集群规模越大、Region数量越多时,可以适当调大HMaster的GCOPTS参数,配置建议如下:Region总数小于10万个,“Xmx”设置为4G;超过10万个,“Xmx”设置为不小于6G;超过10万时,每增加35000个Region,增加2G的“Xmx”,整体的“Xmx”的大小不超过32G。 b.RegionServer的GC参数配置建议 建议“Xms”和“Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 调整“XX:NewSize”大小的时候,建议把其设置为“Xmx”大小的1/8。 RegionServer需要的内存一般比HMaster要大。在内存充足的情况下,堆内存可以相对设置大一些。 根据机器的内存大小设置“Xmx”大小:机器内存>200G,“Xmx”设置为32G;128G<机器内存<200G,“Xmx”设置为16G;机器内存<128G,“Xmx”设置为8G。“Xmx”配置为32G,可支持单RegionServer节点2000个Region,200个热点Region。 5.观察界面告警是否清除。 是,处理完毕。 否,执行步骤6。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19008 HBase服务进程堆内存使用率超出阈值
      • 恢复HBase业务数据
        本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时,系统管理员对HBase进行重大操作(如升级、重大数据调整等)后,系统数据出现异常或未达到预期结果,模块全部故障无法使用,或者迁移数据到新集群的场景中,需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段,系统会把待恢复的HBase表禁用,此时无法访问该表。还原阶段可能需要几分钟时间,此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证,用户无法开始新的连接。 数据恢复后,会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后,需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据,需要准备备集群。如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager,请参见登录管理系统。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        恢复数据
        恢复HBase业务数据
      • 服务基础配置修改建议
        组件 配置文件 配置项 推荐值 说明 RegionServer hbaseenv.sh HBASEREGIONSERVEROPTS Xms32g Xmx32g(具体根据内存配额) 一般配置内存配额的一半或更多;超过64 GB 可考虑使用 G1GC Master hbaseenv.sh HBASEMASTEROPTS Xms4g Xmx4g 集群规模不大(region < 10000)时 4~8 GB 足够 RegionServer hbasesite.xml hbase.regionserver.handler.count 与CPU 核数相同 控制处理客户端请求的线程数
        来自:
        帮助文档
        翼MapReduce
        用户指南
        服务配置修改建议
        服务基础配置修改建议
      • ALM-19000 HBase服务不可用
        本章节主要介绍ALM19000 HBase服务不可用的告警。 告警解释 告警模块按120秒周期检测HBase服务状态。当HBase服务不可用时产生该告警。 HBase服务恢复时,告警清除。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用,则“定位信息”中显示服务名HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 无法进行数据读写和创建表等操作。 可能原因 ZooKeeper服务异常。 HDFS服务异常。 HBase服务异常。 网络异常。 处理步骤 检查ZooKeeper服务状态 1.在FusionInsight Manager的服务列表中,查看ZooKeeper运行状态是否为“良好”。 是,执行步骤5。 否,执行步骤2。 2.在告警列表中,查看是否有“ALM13000 ZooKeeper服务不可用”告警产生。 是,执行步骤3。 否,执行步骤5。 3.参考“ALM13000 ZooKeeper服务不可用”的处理步骤处理该故障。 4.等待几分钟后检查本告警是否恢复。 是,处理完毕。 否,执行步骤5。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19000 HBase服务不可用
      • 自动续订
        本文主要介绍自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作,资源被到期冻结或超期释放,客户购买包月包年产品后,可设置开通自动续订。开通自动续订后,系统将在资源到期前自动续订,无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ,不适用于非付费用户。 目前支持设置自动续订的产品有:弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能,变更自动续约周期,或关闭自动续订。 不关闭自动续订的情况下,只要预付费账户余额充足,或为后付费客户,系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。
        来自:
        帮助文档
        弹性云主机 ECS
        购买指南
        续费说明
        自动续订
      • 自动续订
        本文主要介绍了自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作,资源被到期冻结或超期释放,客户购买包月包年产品后,可设置开通自动续订。开通自动续订后,系统将在资源到期前自动续订,无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ,不适用于非付费用户。 目前支持设置自动续订的产品有:弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能,变更自动续约周期,或关闭自动续订。 不关闭自动续订的情况下,只要预付费账户余额充足,或为后付费客户,系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。
        来自:
        帮助文档
        费用中心
        订单管理
        续订管理
        自动续订
      • 创建角色
        支持权限管理的资源 权限设置说明 “SUPERUSERGROUP” 选中时表示授予HBase管理员权限。 “Global” HBase的一种资源类型,表示HBase整体组件。 “Namespace” HBase的一种资源类型,表示命名空间,用来保存HBase表。 具体权限: “Admin”:表示管理此命名空间的权限。 “Create”:表示在此命名空间创建HBase表的权限。 “Read”:表示访问此命名空间的权限。 “Write”:表示写入此命名空间数据的权限。 “Execute”:表示可执行协处理器(Endpoint)的权限。 “Table” HBase的一种资源类型,表示数据表,用来保存数据。 具体权限: “Admin”:表示管理此数据表的权限。 “Create”:表示在此数据表创建列族和列的权限。 “Read”:表示读取数据表的权限。 “Write”:表示写入数据到表的权限。 “Execute”:表示可执行协处理器(Endpoint)的权限。 “ColumnFamily” HBase的一种资源类型,表示列族,用来保存数据。 具体权限: “Create”:表示在此列族创建列的权限。 “Read”:表示读取列族的权限。 “Write”:表示写入数据到列族的权限。 “Qualifier” HBase的一种资源类型,表示列,用来保存数据。具体权限: “Read”:表示读取列的权限。 “Write”:表示写入数据到列的权限。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        权限管理
        创建角色
      • 创建角色
        支持权限管理的资源 权限设置说明 “SUPERUSERGROUP” 选中时表示授予HBase管理员权限。 “Global” HBase的一种资源类型,表示HBase整体组件。 “Namespace” HBase的一种资源类型,表示命名空间,用来保存HBase表。 具体权限: “Admin”:表示管理此命名空间的权限。 “Create”:表示在此命名空间创建HBase表的权限。 “Read”:表示访问此命名空间的权限。 “Write”:表示写入此命名空间数据的权限。 “Execute”:表示可执行协处理器(Endpoint)的权限。 “Table” HBase的一种资源类型,表示数据表,用来保存数据。 具体权限: “Admin”:表示管理此数据表的权限。 “Create”:表示在此数据表创建列族和列的权限。 “Read”:表示读取数据表的权限。 “Write”:表示写入数据到表的权限。 “Execute”:表示可执行协处理器(Endpoint)的权限。 “ColumnFamily” HBase的一种资源类型,表示列族,用来保存数据。 具体权限: “Create”:表示在此列族创建列的权限。 “Read”:表示读取列族的权限。 “Write”:表示写入数据到列族的权限。 “Qualifier” HBase的一种资源类型,表示列,用来保存数据。具体权限: “Read”:表示读取列的权限。 “Write”:表示写入数据到列的权限。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        MRS多用户权限管理
        创建角色
      • ALM-19015 在ZooKeeper上的数量配额使用率超过阈值
        本章节主要介绍ALM19015 在ZooKeeper上的数量配额使用率超过阈值的告警。 告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode数量使用率超出告警的阈值(默认75%)时产生该告警。 当znode的数量使用率小于告警的阈值时,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示服务名HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19015 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的数量使用率已经超过规定的阈值,如果不及时处理,可能会导致问题级别升级为紧急,影响数据写入。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢; HBase集群存在大量的WAL文件在进行split。 处理步骤
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19015 在ZooKeeper上的数量配额使用率超过阈值
      • ALM-19017 在ZooKeeper上的容量配额使用率超过阈值
        本章节主要介绍ALM19017 在ZooKeeper上的容量配额使用率超过阈值的告警。 告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode容量使用率超出告警的阈值(默认75%)时产生该告警。 当znode的容量使用率小于告警的阈值时,告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示服务名HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19017 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的容量使用率已经超过规定的阈值,如果不及时处理,可能会导致问题级别升级为紧急,影响数据写入。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢。 HBase集群存在大量的WAL文件在进行split。 处理步骤
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19017 在ZooKeeper上的容量配额使用率超过阈值
      • 高危操作一览表
        操作名称 操作风险 风险等级 规避措施 重大操作观察项目 修改加密的相关配置项 l hbase.regionserver.wal.encryption l hbase.crypto.keyprovider.parameters.uri l hbase.crypto.keyprovider.parameters.encryptedtext 导致服务启动异常 ★★★★ 修改相关配置项时请严格按照提示描述,加密相关配置项是有关联的,确保修改后的值有效 观察服务能否正常启动 已使用加密的情况下关闭或者切换加密算法,关闭主要指修改hbase.regionserver.wal.encryption为false,切换主要指AES和SMS4的切换 导致服务启动失败,数据丢失 ★★★★ 加密HFile和WAL内容的时候,如果已经使用一种加密算法加密并且已经建表,请不要随意关闭或者切换加密算法。 未建加密表(ENCRYPTION>AES/SMS4)的情况下可以切换,否则禁止操作 无 修改HBase实例的启动参数GCOPTS、HBASEHEAPSIZE 导致服务启动异常 ★★ 修改相关配置项时请严格按照提示描述,确保修改后的值有效,且GCOPTS与HBASEHEAPSIZE参数值无冲突 观察服务能否正常启动 使用OfflineMetaRepair工具 导致服务启动异常 ★★★★ 必须在HBase下线的情况下才可以使用该命令,而且不能在数据迁移的场景中使用该命令 观察HBase服务是否可以正常启动。
        来自:
      • ALM-19006 HBase容灾同步失败
        本章节主要介绍ALM19006 HBase容灾同步失败的告警。 告警解释 告警模块每30s检查一次HBase容灾数据的同步状态,当同步容灾数据到备集群失败时,发送该告警。 当容灾数据同步成功后,告警清除。 说明 若集群启用了多实例功能且安装了多个HBase服务,请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用,则“定位信息”中显示服务名HBase1,处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19006 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法同步集群中HBase的数据到备集群,导致主备集群数据不一致。 可能原因 备集群HBase服务异常。 网络异常。 处理步骤 观察告警是否自动修复 1.在主集群的FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 2.在告警列表中单击该告警,从完整的告警信息中的“产生时间”处获得告警的产生时间,查看告警是否持续超过5分钟。 是,执行步骤4。 否,执行步骤3。 3.等待5分钟后检查本告警是否自动恢复。 是,处理完毕。 否,执行步骤4。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19006 HBase容灾同步失败
      • 高危操作一览表
        操作名称 操作风险 风险等级 规避措施 重大操作观察项目 修改加密的相关配置项:hbase.regionserver.wal.encryption、hbase.crypto.keyprovider.parameters.uri、hbase.crypto.keyprovider.parameters.encryptedtext 导致服务启动异常。 ★★★★ 修改相关配置项时请严格按照提示描述,加密相关配置项是有关联的,确保修改后的值有效。 观察服务能否正常启动。 已使用加密的情况下关闭或者切换加密算法,关闭主要指修改hbase.regionserver.wal.encryption为false,切换主要指AES和SMS4的切换 导致服务启动失败,数据丢失。 ★★★★ 加密HFile和WAL内容的时候,如果已经使用一种加密算法加密并且已经建表,请不要随意关闭或者切换加密算法。未建加密表(ENCRYPTION>AES/SMS4)的情况下可以切换,否则禁止操作。 无。 修改HBase实例的启动参数GCOPTS、HBASEHEAPSIZE 导致服务启动异常。 ★★ 修改相关配置项时请严格按照提示描述,确保修改后的值有效,且GCOPTS与HBASEHEAPSIZE参数值无冲突。 观察服务能否正常启动。 使用OfflineMetaRepair工具 导致服务启动异常。 ★★★★ 必须在HBase下线的情况下才可以使用该命令,而且不能在数据迁移的场景中使用该命令。 观察HBase服务是否可以正常启动。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        高危操作一览表
      • ALM-19020 HBase容灾等待同步的wal文件数量超过阈值
        本章节主要介绍ALM19020 HBase容灾等待同步的wal文件数量超过阈值的告警。 告警解释 系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的wal文件数量。该指标可以在RegionServer角色监控界面查看,当检测到某个RegionServer上的等待同步wal文件数量超出阈值(默认连续20次超过默认阈值128)时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 待操作集群 > HBase”修改阈值。当等待同步的wal文件数量小于或等于阈值时,告警消除。 告警属性 告警ID 告警级别 是否自动清除 19020 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 RegionServer等待同步的wal文件数量超出阈值,会影响HBase使用的znode超出阈值,影响HBase服务状态。 可能原因 网络异常。 RegionServer的Region分布不均匀。 备集群HBase服务规模过小。 处理步骤 查看告警定位信息 1.在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选择“告警ID”为“19020”的告警,查看“定位信息”中产生该告警的服务实例和主机名。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19020 HBase容灾等待同步的wal文件数量超过阈值
      • ALM-19019 HBase容灾等待同步的HFile文件数量超过阈值
        检查备集群HBase服务规模 12.对HBase集群扩容,增加节点,并在节点上增加RegionServer实例。然后执行步骤步骤6 步骤步骤10,打开负载均衡功能并手动触发。 13.在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase”,单击“HMaster(主)”,打开该HBase实例的WebUI,刷新页面查看Region分布是否均衡。 是,执行步骤14。 否,执行步骤15。 14.观察该告警是否清除。 是,处理完毕。 否,执行步骤15。 收集故障信息 15.在主备群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 16.在“服务”中勾选待操作集群的“HBase”。 17.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 18.请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-19019 HBase容灾等待同步的HFile文件数量超过阈值
      • 开源组件端口列表
        本章节主要介绍开源组件端口列表 。 HBase常用端口 表中涉及端口的协议类型均为:TCP。 配置参数 默认端口 端口说明 hbase.master.port 16000 HMaster RPC端口。该端口用于HBase客户端连接到HMaster。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.master.info.port 16010 HMaster HTTPS端口。该端口用于远程Web客户端连接到HMaster UI。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.regionserver.port 16020 RS (RegoinServer) RPC端口。该端口用于HBase客户端连接到RegionServer。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.regionserver.info.port 16030 Region server HTTPS端口。该端口用于远程Web客户端连接到RegionServer UI。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.thrift.info.port 9095 Thrift Server的Thrift Server侦听端口。 该端口用于: 客户端链接时使用该端口侦听。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.regionserver.thrift.port 9090 RegionServer的Thrift Server侦听端口 。 该端口用于: 客户端链接RegionServer时使用该端口侦听。 说明 端口的取值范围为一个建议值,由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用:是 安全加固后是否启用:是 hbase.rest.info.port 8085 RegionServer RESTServer原生Web界面的端口。 21309 RegionServer RESTServer的REST端口。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        访问MRS集群上托管的开源组件Web页面
        开源组件端口列表
      • 创建方式简介
        本章节介绍创建MRS服务的方式。 快速创建Hadoop分析集群:快速创建Hadoop分析集群为您提高了配置效率,可以在几分钟之内快速创建Hadoop集群,更加方便快捷的进行海量数据分析与查询。 快速创建HBase查询集群:快速创建HBase查询集群为您提高了配置效率,可以在几分钟之内快速创建HBase集群,更加方便快捷的进行海量数据存储以及分布式计算。 快速创建Kafka流式集群:快速创建Kafka流式集群为您提高了配置效率,可以在几分钟之内快速创建Kafka集群,更加方便快捷的进行流式数据采集,实时数据处理存储等。 快速创建ClickHouse集群:快速创建一个ClickHouse集群,ClickHouse是一个用于联机分析的列式数据库管理系统,具有极致压缩率和极速查询性能。 快速创建实时分析集群:快速创建一个实时分析集群为您提高了配置效率,可以在几分钟之内快速创建实时分析集群,更加方便快捷的进行海量的数据采集、数据的实时分析和查询。 创建自定义集群:自定义创建可以灵活地选择配置项,针对不同的应用场景,可以选择不同规格的弹性云主机,全方位贴合您的业务诉求。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        创建方式简介
      • 大数据业务开发
        MRS是否支持通过Hive的HBase外表将数据写入到HBase? 不支持。 Hive on HBase只支持查询,不支持更改数据。 如何查看HBase日志? 1.使用root用户登录集群的Master节点。 2.执行su omm 命令,切换到omm用户。 3.执行 cd /var/log/Bigdata/hbase/ 命令,进入到“/var/log/Bigdata/hbase/”目录,即可查看HBase日志信息。 HBase表如何设置和修改数据保留期? 创建表时指定: 创建ttasklog表,列族f, TTL设置86400秒过期。 create 'ttasklog',{NAME > 'f', TTL>'86400'} 在已有表的基础上指定: alter "ttasklog",NAME>'data',TTL>'86400' 设置TTL值,作用于列族data 如何修改HDFS的副本数? 搜索并修改“dfs.replication”的值,合理修改这个数值,该参数取值范围为1~16,重启HDFS实例。 如何修改HDFS主备倒换类? 当MRS 3.x版本集群使用HDFS连接NameNode报类org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider无法找到时,是由于MRS 3.x版本集群HDFS的主备倒换类默认为该类,可通过如下方式解决。 方式一:添加hadooppluginsxxx.jar到程序的classpath或者lib目录中。 hadooppluginsxxx.jar包一般在HDFS客户端目录下:$HADOOPHOME/share/hadoop/common/lib/hadoopplugins8.0.2302023.jar 方式二:将HDFS的如下配置项修改为开源类: dfs.client.failover.proxy.provider.haclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider DynamoDB的number在Hive表中用什么类型比较好? Hive支持smallint。 推荐使用smallint类型。
        来自:
        帮助文档
        翼MapReduce
        常见问题
        操作类
        大数据业务开发
      • 支持滚动重启
        服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        支持滚动重启
      • 支持滚动补丁
        服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        补丁操作指导
        支持滚动补丁
      • 术语解释
        本章节主要介绍翼MapReduce服务的术语解释。 节点 翼MR集群中每个节点即为一台云服务器,节点类型及节点功能如下所示。 节点类型 功能 master节点 翼MR集群管理节点,用于管理集群服务,主要负责ResourceManager和NameNode等控制进程的部署。master节点组默认采用反亲和技术,以此保证业务高可用性。 core节点 翼MR集群工作节点,主要负责存储和计算数据。 task节点 翼MR集群计算节点,主要负责计算数据,不存储数据(如HDFS 数据)。默认不开启,按需使用。 Doris Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Elasticsearch(仅存量支持) Elasticsearch是一个具备高扩展性的分布式全文检索引擎,能够近乎实时地存储、检索数据。它能集中存储您的数据,提供快速搜索、精细调整的相关性和强大的分析能力。 HBase HBase提供业务键值数据的结构化存储与检索能力,主要包括键值数据存储、键值数据查询功能,提供键值数据管理和键值数据库监测功能。兼容社区HBase接口,提供Java API,Restful接口形式。是一个分布式、数据多版本、面向列的NoSQL数据库。提供可弹性扩展的多维表格键值存储和即席查询能力。支持上亿行、可扩展列,具备强一致性、高扩展、高可用的特性。
        来自:
        帮助文档
        翼MapReduce
        产品介绍
        术语解释
      • 自定义服务配置
        本章节主要介绍自定义服务配置的使用方法。 操作场景 HDFS、YARN、Hive等服务含有大量配置项,为便于服务使用,您可使用自定义服务配置功能,在创建集群或新增服务前修改或添加配置项。 前提条件 当前支持用户对HDFS、Hive、Spark、HBase、YARN、Kyuubi的部分文件进行修改与添加配置项。其他组件服务暂不支持使用自定义服务配置功能。 操作步骤 1、支持用户在订购环节对所选服务进行配置修改与添加。 1)在翼MR订购页软件配置环节选择所需组件服务。 2)在软件配置环节,开启自定义服务配置开关。 3)在输入框中添加JSON 格式的配置信息。 2、支持用户在新增集群服务环节对所选服务的配置进行修改与添加。 1)在翼MR控制台集群服务管理页面选择需要新增部署的组件服务。 2)在弹窗中开启自定义服务配置开关。 3)在输入框中添加JSON 格式的配置信息。 配置说明 在创建集群或新增集群服务过程中,可通过自定义服务配置功能,添加JSON格式的配置文件,覆盖或添加集群服务的默认参数。JSON文件的内容示例如下: plaintext [ { "applicationName":"YARN", "configFileName":"mapredsite.xml", "configItemKey":"mapreduce.task.timeout", "configItemValue":"200000" }, { "applicationName":"HDFS", "configFileName":"hdfssite.xml", "configItemKey":"dfs.replication", "configItemValue":"2" } ] 参数含义说明: 参数名称 说明 applicationName 服务的名称。 configFileName 配置文件的名称。 configItemKey 配置项的名称。 configItemValue 该配置需要设置的具体内容。 针对不同文件自定义服务配置的修改方式有所不同 1、全文修改 部分配置文件只能进行全文覆盖。用户需要使用CONFCONTENT作为configItemKey,在configItemValue中输入转义后的配置文件内容,输入的配置文件内容会在部署后自动覆盖到服务对应的配置上。文件内容的字符串需要用户对常见字符进行转义,如双引号、单引号、换行符、反斜杠等。需要通过全文覆盖方式进行配置修改的文件如下: 服务名称 配置文件 HBase hbaseenv.sh HBase log4j.properties HDFS hadoopenv.sh YARN mapredenv.sh YARN yarnenv.sh Hive hiveenv.sh Hive hivelog4j2.properties Kyuubi kyuubienv.sh 2、按配置项修改 部分配置文件支持按配置项进行修改,支持修改的配置项如下: 说明 1)Kerberos的krb5.conf文件,只支持使用kerberosRealm作为configItemKey来配realm,暂不支持配置其它配置项。 2)Spark的sparkenv.sh文件中,customsparkenv配置项需要对参照上文全文修改的方式,对文件内容进行转义。 服务名称 配置文件 配置项 HBase hbasesite.xml hbase.cluster.distributed HBase hbasesite.xml hbase.coprocessor.abortonerror HBase hbasesite.xml hbase.coprocessor.master.classes HBase hbasesite.xml hbase.coprocessor.region.classes HBase hbasesite.xml hbase.master.kerberos.principal HBase hbasesite.xml hbase.master.keytab.file HBase hbasesite.xml hbase.master.loadbalancer.class HBase hbasesite.xml hbase.quota.enabled HBase hbasesite.xml hbase.quota.refresh.period HBase hbasesite.xml hbase.regionserver.kerberos.principal HBase hbasesite.xml hbase.regionserver.keytab.file HBase hbasesite.xml hbase.rest.authentication.kerberos.keytab HBase hbasesite.xml hbase.rest.authentication.kerberos.principal HBase hbasesite.xml hbase.rest.kerberos.principal HBase hbasesite.xml hbase.rootdir HBase hbasesite.xml hbase.security.authentication HBase hbasesite.xml hbase.security.authorization HBase hbasesite.xml hbase.superuser HBase hbasesite.xml hbase.thrift.kerberos.principal HBase hbasesite.xml hbase.thrift.keytab.file HBase hbasesite.xml hbase.tmp.dir HBase hbasesite.xml hbase.unsafe.stream.capability.enforce HBase hbasesite.xml hbase.wal.provider HBase hbasesite.xml hbase.zookeeper.property.clientPort HBase hbasesite.xml hbase.zookeeper.quorum HBase hbasesite.xml zookeeper.znode.parent HDFS coresite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS coresite.xml fs.AbstractFileSystem.jfs.impl HDFS coresite.xml fs.defaultFS HDFS coresite.xml fs.du.interval HDFS coresite.xml fs.getspaceused.jitterMillis HDFS coresite.xml fs.jfs.impl HDFS coresite.xml fs.permissions.umaskmode HDFS coresite.xml fs.trash.checkpoint.interval HDFS coresite.xml fs.trash.interval HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.m HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.ms HDFS coresite.xml ha.healthmonitor.rpctimeout.ms HDFS coresite.xml ha.zookeeper.quorum HDFS coresite.xml ha.zookeeper.sessiontimeout.ms HDFS coresite.xml hadoop.caller.context.enabled HDFS coresite.xml hadoop.kerberos.kinit.command HDFS coresite.xml hadoop.proxyuser.hdfs.groups HDFS coresite.xml hadoop.proxyuser.hdfs.hosts HDFS coresite.xml hadoop.proxyuser.hive.groups HDFS coresite.xml hadoop.proxyuser.hive.hosts HDFS coresite.xml hadoop.proxyuser.HTTP.groups HDFS coresite.xml hadoop.proxyuser.HTTP.hosts HDFS coresite.xml hadoop.proxyuser.httpfs.groups HDFS coresite.xml hadoop.proxyuser.httpfs.hosts HDFS coresite.xml hadoop.proxyuser.yarn.groups HDFS coresite.xml hadoop.proxyuser.yarn.hosts HDFS coresite.xml hadoop.rpc.protection HDFS coresite.xml hadoop.security.authtolocal HDFS coresite.xml hadoop.security.authentication HDFS coresite.xml hadoop.security.authorization HDFS coresite.xml hadoop.security.group.mapping HDFS coresite.xml hadoop.security.group.mapping.ldap.base HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.password.file HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.user HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts.before.failover HDFS coresite.xml hadoop.security.group.mapping.ldap.posix.attr.uid.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.group.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.member HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.group HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.user HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users.ldap.url HDFS coresite.xml hadoop.security.group.mapping.provider.shell4services HDFS coresite.xml hadoop.security.group.mapping.providers HDFS coresite.xml hadoop.security.group.mapping.providers.combined HDFS coresite.xml httpfs.proxyuser.mapred.groups HDFS coresite.xml httpfs.proxyuser.mapred.hosts HDFS coresite.xml io.compression.codec.lzo.class HDFS coresite.xml io.file.buffer.size HDFS coresite.xml ipc.client.connection.maxidletime HDFS coresite.xml ipc.server.listen.queue.size HDFS coresite.xml ipc.server.log.slow.rpc HDFS coresite.xml jeekefs.cachedir HDFS coresite.xml jeekefs.cachesize HDFS coresite.xml jeekefs.discovernodesurl HDFS coresite.xml jeekefs.meta HDFS coresite.xml jeekefs.serverprincipal HDFS coresite.xml topology.script.file.name HDFS hdfssite.xml dfs.block.access.token.enable HDFS hdfssite.xml dfs.blockreport.incremental.intervalMsec HDFS hdfssite.xml dfs.blockreport.initialDelay HDFS hdfssite.xml dfs.blockreport.intervalMsec HDFS hdfssite.xml dfs.blockreport.split.threshold HDFS hdfssite.xml dfs.blocksize HDFS hdfssite.xml dfs.client.failover.proxy.provider.ctyunns HDFS hdfssite.xml dfs.client.read.shortcircuit HDFS hdfssite.xml dfs.client.sockettimeout HDFS hdfssite.xml dfs.cluster.administrators HDFS hdfssite.xml dfs.datanode.address HDFS hdfssite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS hdfssite.xml dfs.datanode.data.dir HDFS hdfssite.xml dfs.datanode.data.dir.perm HDFS hdfssite.xml dfs.datanode.directoryscan.threads HDFS hdfssite.xml dfs.datanode.du.reserved.calculator HDFS hdfssite.xml dfs.datanode.du.reserved.pct HDFS hdfssite.xml dfs.datanode.failed.volumes.tolerated HDFS hdfssite.xml dfs.datanode.fileio.profiling.sampling.percentage HDFS hdfssite.xml dfs.datanode.handler.count HDFS hdfssite.xml dfs.datanode.http.address HDFS hdfssite.xml dfs.datanode.kerberos.principal HDFS hdfssite.xml dfs.datanode.keytab.file HDFS hdfssite.xml dfs.datanode.max.transfer.threads HDFS hdfssite.xml dfs.datanode.max.xcievers HDFS hdfssite.xml dfs.datanode.peer.stats.enabled HDFS hdfssite.xml dfs.domain.socket.path HDFS hdfssite.xml dfs.encrypt.data.transfer.cipher.suites HDFS hdfssite.xml dfs.ha.automaticfailover.enabled HDFS hdfssite.xml dfs.ha.fencing.methods HDFS hdfssite.xml dfs.ha.namenodes.ctyunns HDFS hdfssite.xml dfs.hosts.exclude HDFS hdfssite.xml dfs.image.transfer.bandwidthPerSec HDFS hdfssite.xml dfs.internal.nameservices HDFS hdfssite.xml dfs.journalnode.edits.dir.ctyunns HDFS hdfssite.xml dfs.journalnode.httpaddress HDFS hdfssite.xml dfs.journalnode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.journalnode.kerberos.principal HDFS hdfssite.xml dfs.journalnode.keytab.file HDFS hdfssite.xml dfs.journalnode.rpcaddress HDFS hdfssite.xml dfs.namenode.accesstime.precision HDFS hdfssite.xml dfs.namenode.acls.enabled HDFS hdfssite.xml dfs.namenode.audit.log.async HDFS hdfssite.xml dfs.namenode.avoid.read.stale.datanode HDFS hdfssite.xml dfs.namenode.avoid.write.stale.datanode HDFS hdfssite.xml dfs.namenode.block.deletion.increment HDFS hdfssite.xml dfs.namenode.checkpoint.dir HDFS hdfssite.xml dfs.namenode.checkpoint.edits.dir HDFS hdfssite.xml dfs.namenode.checkpoint.period HDFS hdfssite.xml dfs.namenode.checkpoint.txns HDFS hdfssite.xml dfs.namenode.deletefiles.limit HDFS hdfssite.xml dfs.namenode.edit.log.autoroll.multiplier.threshold HDFS hdfssite.xml dfs.namenode.fslimits.maxdirectoryitems HDFS hdfssite.xml dfs.namenode.fslock.fair HDFS hdfssite.xml dfs.namenode.handler.count HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.namenode.kerberos.principal HDFS hdfssite.xml dfs.namenode.keytab.file HDFS hdfssite.xml dfs.namenode.lock.detailedmetrics.enabled HDFS hdfssite.xml dfs.namenode.name.dir HDFS hdfssite.xml dfs.namenode.name.dir.restore HDFS hdfssite.xml dfs.namenode.quota.initthreads HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.safemode.thresholdpct HDFS hdfssite.xml dfs.namenode.service.handler.count HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.shared.edits.dir.ctyunns HDFS hdfssite.xml dfs.namenode.stale.datanode.interval HDFS hdfssite.xml dfs.namenode.startup.delay.block.deletion.sec HDFS hdfssite.xml dfs.namenode.support.allow.format HDFS hdfssite.xml dfs.namenode.write.stale.datanode.ratio HDFS hdfssite.xml dfs.nameservices HDFS hdfssite.xml dfs.permissions.superusergroup HDFS hdfssite.xml dfs.qjournal.selectinputstreams.timeout.ms HDFS hdfssite.xml dfs.qjournal.startsegment.timeout.ms HDFS hdfssite.xml dfs.qjournal.writetxns.timeout.ms HDFS hdfssite.xml dfs.replication HDFS hdfssite.xml dfs.replication.max HDFS hdfssite.xml dfs.web.authentication.kerberos.keytab HDFS hdfssite.xml dfs.web.authentication.kerberos.principal HDFS hdfssite.xml dfs.webhdfs.enabled HDFS hdfssite.xml hadoop.caller.context.enabled HDFS hdfssite.xml rpc.metrics.percentiles.intervals HDFS hdfssite.xml rpc.metrics.quantile.enable Hive hivesite.xml hive.auto.convert.join Hive hivesite.xml hive.auto.convert.sortmerge.join Hive hivesite.xml hive.auto.convert.sortmerge.join.to.mapjoin Hive hivesite.xml hive.compactor.initiator.on Hive hivesite.xml hive.default.fileformat Hive hivesite.xml hive.default.fileformat.managed Hive hivesite.xml hive.exec.compress.output Hive hivesite.xml hive.exec.dynamic.partition Hive hivesite.xml hive.exec.stagingdir Hive hivesite.xml hive.execution.engine Hive hivesite.xml hive.hook.proto.basedirectory Hive hivesite.xml hive.insert.into.multilevel.dirs Hive hivesite.xml hive.limit.optimize.enable Hive hivesite.xml hive.mapred.reduce.tasks.speculative.execution Hive hivesite.xml hive.merge.mapredfiles Hive hivesite.xml hive.metastore.authorization.storage.checks Hive hivesite.xml hive.metastore.warehouse.dir Hive hivesite.xml hive.metastore.warehouse.external.dir Hive hivesite.xml hive.optimize.bucketmapjoin Hive hivesite.xml hive.optimize.dynamic.partition.hashjoin Hive hivesite.xml hive.optimize.index.filter Hive hivesite.xml hive.optimize.metadataonly Hive hivesite.xml hive.optimize.remove.identity.project Hive hivesite.xml hive.server2.proxy.user Hive hivesite.xml hive.stats.fetch.column.stats Hive hivesite.xml hive.txn.strict.locking.mode Hive hivesite.xml hive.update.last.access.time.interval Hive hivesite.xml hive.user.install.directory Hive hivesite.xml hive.vectorized.execution.mapjoin.minmax.enabled Hive hivesite.xml hive.vectorized.execution.mapjoin.native.fast.hashtable.enabled Hive hivesite.xml hive.vectorized.groupby.checkinterval Hive hivesite.xml metastore.expression.proxy Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.json.log.path Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.loggers Kyuubi kyuubidefaults.conf kyuubi.delegation.token.renew.interval Kyuubi kyuubidefaults.conf kyuubi.ha.namespace Kyuubi kyuubidefaults.conf kyuubi.metrics.reporters Kyuubi kyuubidefaults.conf kyuubi.operation.getTables.ignoreTableProperties Kyuubi kyuubidefaults.conf kyuubi.session.engine.idle.timeout Kyuubi kyuubidefaults.conf kyuubi.session.idle.timeout Kyuubi kyuubidefaults.conf spark.master Kyuubi kyuubidefaults.conf spark.submit.deployMode Kyuubi kyuubidefaults.conf spark.yarn.queue Spark sparkdefaults.conf spark.driver.cores Spark sparkdefaults.conf spark.driver.extraJavaOptions Spark sparkdefaults.conf spark.driver.extraLibraryPath Spark sparkdefaults.conf spark.driver.maxResultSize Spark sparkdefaults.conf spark.driver.memory Spark sparkdefaults.conf spark.dynamicAllocation.enabled Spark sparkdefaults.conf spark.dynamicAllocation.initialExecutors Spark sparkdefaults.conf spark.dynamicAllocation.maxExecutors Spark sparkdefaults.conf spark.dynamicAllocation.minExecutors Spark sparkdefaults.conf spark.eventLog.dir Spark sparkdefaults.conf spark.executor.cores Spark sparkdefaults.conf spark.executor.extraJavaOptions Spark sparkdefaults.conf spark.executor.extraLibraryPath Spark sparkdefaults.conf spark.executor.heartbeatInterval Spark sparkdefaults.conf spark.executor.memory Spark sparkdefaults.conf spark.executorEnv.JAVAHOME Spark sparkdefaults.conf spark.files.openCostInBytes Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress.codec Spark sparkdefaults.conf spark.hadoop.yarn.timelineservice.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.interval Spark sparkdefaults.conf spark.history.fs.cleaner.maxAge Spark sparkdefaults.conf spark.history.fs.logDirectory Spark sparkdefaults.conf spark.history.kerberos.enabled Spark sparkdefaults.conf spark.history.kerberos.keytab Spark sparkdefaults.conf spark.history.store.maxDiskUsage Spark sparkdefaults.conf spark.history.ui.maxApplications Spark sparkdefaults.conf spark.history.ui.port Spark sparkdefaults.conf spark.io.compression.lz4.blockSize Spark sparkdefaults.conf spark.kryo.unsafe Spark sparkdefaults.conf spark.kryoserializer.buffer.max Spark sparkdefaults.conf spark.locality.wait Spark sparkdefaults.conf spark.master Spark sparkdefaults.conf spark.memory.offHeap.enabled Spark sparkdefaults.conf spark.memory.offHeap.size Spark sparkdefaults.conf spark.network.timeout Spark sparkdefaults.conf spark.port.maxRetries Spark sparkdefaults.conf spark.rdd.parallelListingThreshold Spark sparkdefaults.conf spark.reducer.maxSizeInFlight Spark sparkdefaults.conf spark.resultGetter.threads Spark sparkdefaults.conf spark.rpc.io.backLog Spark sparkdefaults.conf spark.scheduler.maxReqisteredResourcesWaitingTime Spark sparkdefaults.conf spark.shuffle.accurateBlockThreshold Spark sparkdefaults.conf spark.shuffle.file.buffer Spark sparkdefaults.conf spark.shuffle.io.connectionTimeout Spark sparkdefaults.conf spark.shuffle.manager Spark sparkdefaults.conf spark.shuffle.mapOutput.dispatcher.numThreads Spark sparkdefaults.conf spark.shuffle.memoryFraction Spark sparkdefaults.conf spark.shuffle.push.enabled Spark sparkdefaults.conf spark.shuffle.push.maxBlockSizeToPush Spark sparkdefaults.conf spark.shuffle.push.merge.finalizeThreads Spark sparkdefaults.conf spark.shuffle.push.mergersMinStaticThreshold Spark sparkdefaults.conf spark.shuffle.readHostLocalDisk Spark sparkdefaults.conf spark.shuffle.service.enabled Spark sparkdefaults.conf spark.shuffle.unsafe.file.output.buffer Spark sparkdefaults.conf spark.speculation Spark sparkdefaults.conf spark.speculation.interval Spark sparkdefaults.conf spark.speculation.minTaskRuntime Spark sparkdefaults.conf spark.speculation.multiplier Spark sparkdefaults.conf spark.speculation.quantile Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.initialPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.enabled Spark sparkdefaults.conf spark.sql.adaptive.forceApply Spark sparkdefaults.conf spark.sql.adaptive.forceOptimizeSkewedJoin Spark sparkdefaults.conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize Spark sparkdefaults.conf spark.sql.autoBroadcastJoinThreshold Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog.type Spark sparkdefaults.conf spark.sql.cbo.joinReorder.enabled Spark sparkdefaults.conf spark.sql.extensions Spark sparkdefaults.conf spark.sql.files.maxPartitionBytes Spark sparkdefaults.conf spark.sql.files.openCostInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionFactor Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionThresholdInBytes Spark sparkdefaults.conf spark.sql.hive.convertMetastoreOrc Spark sparkdefaults.conf spark.sql.hive.dropPartitionByName.enabled Spark sparkdefaults.conf spark.sql.inMemoryColumnarStorage.batchSize Spark sparkdefaults.conf spark.sql.join.preferSortMergeJoin Spark sparkdefaults.conf spark.sql.legacy.charVarcharAsString Spark sparkdefaults.conf spark.sql.legacy.timeParserPolicy Spark sparkdefaults.conf spark.sql.optimizer.finalStageConfigIsolation.enabled Spark sparkdefaults.conf spark.sql.optimizer.inferRebalanceAndSortOrders.enabled Spark sparkdefaults.conf spark.sql.optimizer.insertRepartitionBeforeWriteIfNoShuffle.enabled Spark sparkdefaults.conf spark.sql.optimizer.inSetConversionThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.enabled Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.number.threshold Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled Spark sparkdefaults.conf spark.sql.orc.aggregatePushdown Spark sparkdefaults.conf spark.sql.orc.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.orc.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.aggregatePushdown Spark sparkdefaults.conf spark.sql.parquet.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.parquet.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.pushdown.inFilterThreshold Spark sparkdefaults.conf spark.sql.query.table.file.max.count Spark sparkdefaults.conf spark.sql.query.table.file.max.length Spark sparkdefaults.conf spark.sql.query.table.partition.max.count Spark sparkdefaults.conf spark.sql.sessionWindow.buffer.in.memory.threshold Spark sparkdefaults.conf spark.sql.shuffle.partitions Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.parallelism Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.threshold Spark sparkdefaults.conf spark.sql.statistics.fallBackToHdfs Spark sparkdefaults.conf spark.sql.storeAssignmentPolicy Spark sparkdefaults.conf spark.sql.subquery.maxThreadThreshold Spark sparkdefaults.conf spark.sql.support.block.inferior.sql Spark sparkdefaults.conf spark.storage.decommission.shuffleBlocks.maxThreads Spark sparkdefaults.conf spark.task.reaper.enabled Spark sparkdefaults.conf spark.unsafe.sorter.spill.reader.buffer.size Spark sparkdefaults.conf spark.yarn.appMasterEnv.JAVAHOME Spark sparkdefaults.conf spark.yarn.containerLauncherMaxThreads Spark sparkdefaults.conf spark.yarn.scheduler.heartbeat.intervalms Spark sparkdefaults.conf spark.yarn.scheduler.initialallocation.interval Spark sparkenv.sh customsparkenv Spark sparkenv.sh sparkengine YARN mapredsite.xml mapreduce.application.classpath YARN mapredsite.xml mapreduce.cluster.acls.enabled YARN mapredsite.xml mapreduce.framework.name YARN mapredsite.xml mapreduce.job.aclmodifyjob YARN mapredsite.xml mapreduce.job.counters.counter.name.max YARN mapredsite.xml mapreduce.job.counters.group.name.max YARN mapredsite.xml mapreduce.job.counters.groups.max YARN mapredsite.xml mapreduce.job.counters.max YARN mapredsite.xml mapreduce.jobhistory.admin.acl YARN mapredsite.xml mapreduce.jobhistory.bindhost YARN mapredsite.xml mapreduce.jobhistory.donedir YARN mapredsite.xml mapreduce.jobhistory.http.policy YARN mapredsite.xml mapreduce.jobhistory.intermediatedonedir YARN mapredsite.xml mapreduce.jobhistory.recovery.enable YARN mapredsite.xml mapreduce.jobhistory.recovery.store.leveldb.path YARN mapredsite.xml mapreduce.map.env YARN mapredsite.xml mapreduce.map.java.opts YARN mapredsite.xml mapreduce.map.log.level YARN mapredsite.xml mapreduce.map.memory.mb YARN mapredsite.xml mapreduce.map.output.compress YARN mapredsite.xml mapreduce.map.output.compress.codec YARN mapredsite.xml mapreduce.map.sort.spill.percent YARN mapredsite.xml mapreduce.map.speculative YARN mapredsite.xml mapreduce.output.fileoutputformat.compress YARN mapredsite.xml mapreduce.output.fileoutputformat.compress.codec YARN mapredsite.xml mapreduce.reduce.env YARN mapredsite.xml mapreduce.reduce.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.java.opts YARN mapredsite.xml mapreduce.reduce.log.level YARN mapredsite.xml mapreduce.reduce.memory.mb YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.enabled YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.intervalms YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.timeoutms YARN mapredsite.xml mapreduce.reduce.shuffle.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.shuffle.merge.percent YARN mapredsite.xml mapreduce.reduce.shuffle.parallelcopies YARN mapredsite.xml mapreduce.reduce.speculative YARN mapredsite.xml mapreduce.shuffle.port YARN mapredsite.xml mapreduce.task.io.sort.factor YARN mapredsite.xml mapreduce.task.io.sort.mb YARN mapredsite.xml mapreduce.task.timeout YARN mapredsite.xml yarn.app.mapreduce.am.env YARN mapredsite.xml yarn.app.mapreduce.am.log.level YARN mapredsite.xml yarn.app.mapreduce.am.resource.mb YARN mapredsite.xml yarn.app.mapreduce.am.stagingdir YARN yarnsite.xml hadoop.http.authentication.simple.anonymous.allowed YARN yarnsite.xml hadoop.http.filter.initializers YARN yarnsite.xml hadoop.registry.client.auth YARN yarnsite.xml yarn.acl.enable YARN yarnsite.xml yarn.logaggregation.retainseconds YARN yarnsite.xml yarn.logaggregationenable YARN yarnsite.xml yarn.nodelabels.enabled YARN yarnsite.xml yarn.nodelabels.fsstore.rootdir YARN yarnsite.xml yarn.nodemanager.address YARN yarnsite.xml yarn.nodemanager.containerexecutor.class YARN yarnsite.xml yarn.nodemanager.diskhealthchecker.maxdiskutilizationperdiskpercentage YARN yarnsite.xml yarn.nodemanager.localizer.cache.targetsizemb YARN yarnsite.xml yarn.nodemanager.localizer.client.threadcount YARN yarnsite.xml yarn.nodemanager.localizer.fetch.threadcount YARN yarnsite.xml yarn.nodemanager.log.retainseconds YARN yarnsite.xml yarn.nodemanager.logaggregation.compressiontype YARN yarnsite.xml yarn.nodemanager.logaggregation.debugenabled YARN yarnsite.xml yarn.nodemanager.logaggregation.numlogfilesperapp YARN yarnsite.xml yarn.nodemanager.logaggregation.rollmonitoringintervalseconds YARN yarnsite.xml yarn.nodemanager.recovery.dir YARN yarnsite.xml yarn.nodemanager.recovery.enabled YARN yarnsite.xml yarn.nodemanager.recovery.supervised YARN yarnsite.xml yarn.nodemanager.remoteapplogdir YARN yarnsite.xml yarn.nodemanager.remoteapplogdirsuffix YARN yarnsite.xml yarn.nodemanager.resource.cpuvcores YARN yarnsite.xml yarn.nodemanager.resource.memorymb YARN yarnsite.xml yarn.nodemanager.resource.percentagephysicalcpulimit YARN yarnsite.xml yarn.nodemanager.resourcemanager.connect.wait.secs YARN yarnsite.xml yarn.nodemanager.vmemcheckenabled YARN yarnsite.xml yarn.nodemanager.vmempmemratio YARN yarnsite.xml yarn.nodemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.resourcemanager.clusterid YARN yarnsite.xml yarn.resourcemanager.fusing.enable YARN yarnsite.xml yarn.resourcemanager.fusingmaxapigetjobs YARN yarnsite.xml yarn.resourcemanager.ha.rmids YARN yarnsite.xml yarn.resourcemanager.hostname.rm1 YARN yarnsite.xml yarn.resourcemanager.hostname.rm2 YARN yarnsite.xml yarn.resourcemanager.maxcompletedapplications YARN yarnsite.xml yarn.resourcemanager.recovery.enabled YARN yarnsite.xml yarn.resourcemanager.scheduler.autocorrect.container.allocation YARN yarnsite.xml yarn.resourcemanager.scheduler.class YARN yarnsite.xml yarn.resourcemanager.scheduler.monitor.enable YARN yarnsite.xml yarn.resourcemanager.store.class YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm1 YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm2 YARN yarnsite.xml yarn.resourcemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.scheduler.maximumallocationmb YARN yarnsite.xml yarn.scheduler.maximumallocationvcores YARN yarnsite.xml yarn.scheduler.minimumallocationmb YARN yarnsite.xml yarn.scheduler.minimumallocationvcores YARN yarnsite.xml yarn.timelineservice.client.besteffort YARN yarnsite.xml yarn.timelineservice.client.maxretries YARN yarnsite.xml yarn.timelineservice.enabled YARN yarnsite.xml yarn.timelineservice.httpcrossorigin.enabled YARN yarnsite.xml yarn.webapp.ui2.enable
        来自:
        帮助文档
        翼MapReduce
        用户指南
        服务配置修改建议
        自定义服务配置
      • 资产管理
        本章节为您介绍数据库安全网关的资产管理功能 在数据库安全网关中,资产是指系统需要防护和管理的数据库系统。资产管理是系统核心功能之一,涵盖了对各种数据库类型的安全监控与防护操作。 手动添加资产 1.登录数据库安全网关。 2.在左侧菜单栏选择“资产 > 资产管理”进入“资产管理”页面 ,单击页面的“新增”按钮。 注意 如果资产是集群,需要先在资产管理页面添加 集群的所有资产,包括每个节点的地址 和端口,以及ScanIP(集群扫描IP)等信息,然后切换到“集群配置”页面进行集群设置。 3.在弹出的“新增资产”对话框中,填写相关信息。 配置项 说明 类型 选择数据库的类型,系统支持数据库类型如下: 通用数据库:Oracle(包含RAC)、MySQL、MSSQL、Sybase ASE、DB2、Informix、Oscar、达梦(DM)、Cache、PostgreSQL、Teradata、人大金仓(Kingbase) 、GBase、MariaDB、Hana、MongoDB、GaussDB、GreenPlum、TiDB、Vertica、GoldenDB、UXDB、Doris、虚谷、HifhGo、OceanBase 大数据:HBase、Hive、Elasticsearch、Impala、SparkSQL、Clickhouse、Presto、Tdh、Odps 其他:HTTP、Trino 天翼云RDS:MySQL、PostgreSQL、MSSQL 说明 若您选择的资产类型为:Oracle、Hive、Trino,需要额外配置相关参数。 操作系统 设置资产所在主机的操作系统。 IP/域名 设置资产所在主机的IPv4 或者IPv6 或者域名。 端口 设置资产原生端口号。 代理端口 设置访问资产的反向代理端口。 防护模式 入侵检测模式:对数据库进行入侵检测,可以产生审计、告警、脱敏、运维日志,但不会对请求进行阻断和脱敏; 入侵防护模式:对数据库进行入侵检测和防护,除可以生成审计、告警、脱敏、运维日志外,还可以对请求进行阻断和脱敏。 默认数据源 默认关闭,可启用。 支持Oracle、MySQL、MSSQL、DB2、达梦(DM)、PostgreSQL、MariaDB、UXDB、Hive、Tdh等。 默认数据源用途: 1. 新增敏感数据扫描任务时,自动带出数据源信息,减少用户操作步骤; 2. 安全规则配置“影响行数”维度,该规则匹配依赖资产的默认数据源。 数据库名 填写数据库名。(MSSQL、DB2、PostgreSQL、UXDB等) 用户名 填写数据库的用户名。 密码 填写数据库的密码。 测试 测试数据库的连通性。 4.配置完成后,单击“测试”进行资产连接测试,若正常则会提示连接成功。 5.单击“保存” ,弹出是否需要立即进行敏感数据扫描的提示框: 若选择“确定” ,则跳转到“资产 > 敏感数据 > 敏感数据扫描”页面进行下一步。 若选择“取消” ,则停留在资产管理页面。
        来自:
        帮助文档
        数据安全专区
        用户指南
        数据库安全网关操作指导
        资产
        资产管理
      • 添加数据库
        数据库安全审计支持对云上的RDS关系型数据库、ECS/BMS自建数据库进行审计。 购买数据库安全审计实例后,您需要将待审计的数据库添加至数据库安全审计实例中。 前提条件 已成功购买数据库安全审计实例,且实例的状态为“运行中”。 添加数据库 1. 登录管理控制台。 2. 单击右上角的,选择区域。 3. 选择“安全 > 数据库安全服务”,进入数据库安全防护实例列表界面。 4. 在左侧导航树中,选择“数据库安全审计 > 数据库列表”,进入数据库列表界面。 5. 在“选择实例”下拉列表框中,选择需要添加数据库的实例。 6. 在数据库列表框左上方,单击“添加数据库”。 7. 在弹出的对话框中,设置数据库的信息,如图所示,相关数据库参数说明所示,添加数据库对话框。 8. 单击“确定”,数据库列表中将新增一条“审计状态”为“已关闭”的数据库。 注意 数据库添加完成后,请您确认添加的数据库信息正确。如果数据库信息不正确,请您在数据库所在行单击“删除”,删除数据库后,再重新添加数据库。 数据库参数说明 参数名称 说明 取值样例 数据库名称 您可以自定义添加的数据库的名称。 test1 IP地址 添加的数据库的IP地址。IP必须为内网IP地址,支持IPv4和IPv6格式。 IPv4:192.168.1.1 IPv6:fe80:0000:0000:0000:0000:0000:0000:0000 数据库类型 支持的数据库类型,您可以选择以下类型: MYSQL ORACEL POSTGRESQL SQLSERVER DWS TAURUS GaussDB DAMENG KINGBASE MongoDB Hbase SHENTONG GBase 8a GBase XDM Custer Greenpum HighGo Mariadb说明当数据库类型选择ORACE时,待审计的应用程序需重启,重新登录数据库。 MySQL 端口 添加的数据库的端口。 3306 数据库版本 支持的数据库版本。 当“数据库类型”选择“MYSQL”时,您可以选择以下版本: 当“数据库类型”选择“ORACEL”时,您可以选择以下版本:− 11g − 12c − 19c 当“数据库类型”选择“POSTGRESQL”时,您可以选择以下版本:− 7.4 − 8.0 8.0、8.1、8.2、8.3、8.4 − 9.0 9.0、9.1、9.2、9.3、9.4、9.5、9.6 − 10.0 10.0、10.1、10.2、10.3、10.4、10.5 − 11.0 − 12.0 − 13.0 当“数据库类型”选择“SQLSERVER”时,您可以选择以下版本:− 2008 − 2012 − 2014 − 2016 − 2017
        数据库类型”选择“DWS”时,您可以选择以下版本:− 1.5 当“数据库类型”选择“TAURUS”时,您可以选择以下版本:− MySQL 8.0 当“数据库类型”选择“GaussDB”时,您可以选择以下版本:− 1.4企业版 当“数据库类型”选择“DAMENG”时,您可以选择以下版本:− DM8 当“数据库类型”选择“KINGBASE”时,您可以选择以下版本:− V8 5.0 实例名 您可以指定需要审计的数据库的实例名称。说明 如果实例名为空,数据库安全审计将审计数据库中所有的实例。 如果填写实例名,数据库安全审计将审计填写的实例,最多可填写5个实例名,且实例名以“;”分隔。 选择字符集 支持的数据库字符集的编码格式,您可以选择以下编码格式: UTF8 GBK UTF8 操作系统 添加的数据库运行的操作系统,您可以选择以下操作系统: INUX64 WINDOWS64 INUX64 数据库类别 选择添加的数据库类别,“RDS数据库”或“自建数据库”。 RDS数据库
        来自:
        帮助文档
        数据库安全
        快速入门
        添加数据库
      • 滚动补丁
        服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        补丁管理
        滚动补丁
      • 支持滚动重启
        服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        组件管理
        支持滚动重启
      • 术语解释
        此小节介绍数据库安全相关术语解释。 可用区(AZ) 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 非关系型数据库 按照非关系型数据结构来联系和组织的数据库。按不同的数据结构,可细分为以下几种:键值存储数据库(keyvalue)、列存储(Columnoriented)数据库、面向文档(DocumentOriented)数据库、图形数据库。常用非关系型数据库有:Memcached、Redis、MongoDB、Cassandra、HBase、MemacheDB、BerkeleyDB等。 非系统数据库 非系统数据库是指除系统数据库以外的数据库,比如用户自建数据库。 内存数据库 将数据放在内存中直接操作的数据库。相对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。 SQL注入 SQL注入攻击是一种常见的Web攻击方法,攻击者通过把SQL命令注入到Web后台数据库的查询字符串中,最终达到欺骗服务器执行恶意SQL命令的目的。例如可以从数据库获取敏感信息,或者利用数据库的特性执行添加用户、导出文件等一系列恶意操作,甚至有可能获取数据库乃至系统用户最高权限。 正则表达式 用于指定和识别文本字符串(如特定字符,单词或字符模式)的一种简洁而灵活的方式。正则表达式模式是包含下列字段的对象:名称和正则表达式定义字符串。
        来自:
        帮助文档
        数据库安全
        产品介绍
        术语解释
      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • ...
      • 195
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      云聚517 · 好价翼起拼

      爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      产品推荐

      弹性云主机 ECS

      物理机 DPS

      多活容灾服务 MDR

      GPU云主机

      轻量型云主机

      弹性伸缩服务 AS

      天翼云CTyunOS系统

      训推服务

      公共算力服务

      推荐文档

      卸载

      导入数据

      iOS客户端需求

      产品优势

      批量登录主机

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号