本章节主要介绍ALM19008 HBase服务进程堆内存使用率超出阈值的告警。 告警解释 系统每30秒周期性检测HBase服务堆内存使用状态，当检测到HBase服务堆内存使用率超出阈值（最大内存的90%）时产生该告警。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用，则“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase可用内存不足，可能会造成内存溢出导致服务崩溃。 可能原因 该节点HBase服务堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19008”的告警，查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster，执行步骤2。 告警上报的角色是RegionServer，执行步骤3。 2.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”，单击告警上报的HMaster，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存 > HMaster堆内存使用率与直接内存使用率统计”，单击“确定”，查看HBase服务进程使用的堆内存是否已达到HBase服务进程设定的最大堆内存的90%。 是，执行步骤4。 否，执行步骤6。 3.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”，单击告警上报的RegionServer，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存 > RegionServer堆内存使用率与直接内存使用率统计”，单击“确定”，查看HBase服务进程使用的堆内存是否已达到HBase服务进程设定的最大堆内存的90%。 是，执行步骤4。 否，执行步骤6。 4.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase > 配置”，单击“全部配置”， 选择“HMaster/RegionServer > 系统”，将“GCOPTS”参数中“Xmx”的值参考以下说明进行调大。 说明 a.HMaster的GC参数配置建议 建议“Xms”和“Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“XX:NewSize”大小的时候，建议把其设置成和“XX:MaxNewSize”相同，均为“Xmx”大小的1/8。 当HBase集群规模越大、Region数量越多时，可以适当调大HMaster的GCOPTS参数，配置建议如下：Region总数小于10万个，“Xmx”设置为4G；超过10万个，“Xmx”设置为不小于6G；超过10万时，每增加35000个Region，增加2G的“Xmx”，整体的“Xmx”的大小不超过32G。 b.RegionServer的GC参数配置建议 建议“Xms”和“Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“XX:NewSize”大小的时候，建议把其设置为“Xmx”大小的1/8。 RegionServer需要的内存一般比HMaster要大。在内存充足的情况下，堆内存可以相对设置大一些。 根据机器的内存大小设置“Xmx”大小：机器内存>200G，“Xmx”设置为32G；128G<机器内存<200G，“Xmx”设置为16G；机器内存<128G，“Xmx”设置为8G。“Xmx”配置为32G，可支持单RegionServer节点2000个Region，200个热点Region。 5.观察界面告警是否清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍配置HBase/CloudTable源端参数。 作业中源连接为配置HBase连接或配置CloudTable连接时，即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时，源端作业参数如下表所示。 说明 CloudTable或HBase作为源端时，CDM会读取表的首行数据作为字段列表样例，如果首行数据未包含该表的所有字段，用户需要自己手工添加字段。 由于HBase的无Schema技术特点，CDM无法获知数据类型，如果数据内容是使用二进制格式存储的，CDM会无法解析。 从HBase/CloudTable导出数据时，由于HBase/CloudTable是无Schema的存储系统，CDM要求源端数值型字段是以字符串格式存储，而不能是二进制格式，例如数值100需存储格式是字符串“100”，不能是二进制“01100100”。 表 HBase/CloudTable作为源端时的作业参数 参数名 说明 取值样例 表名 导出数据的HBase表名。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 TBL2 列族 可选参数，导出数据所属的列族。 CF1&CF2 切分Rowkey 可选参数，选择是否拆分Rowkey，默认为“否”。 是 Rowkey分隔符 可选参数，用于拆分Rowkey的分隔符，若不设置则不切分。 l 起始时间 可选参数，起始时间（包含该值），格式为“yyyyMMdd HH:mm:ss”，表示只抽取该时间及以后的数据。 该参数支持配置为时间宏变量，使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 20190101 20:00:00 终止时间 可选参数，终止时间（不包含该值），格式为“yyyyMMdd HH:mm:ss”，表示只抽取该时间以前的数据。 该参数支持配置为时间宏变量。 20190201 20:00:00

本章节主要介绍ALM19014 在ZooKeeper上的容量配额使用率严重超过阈值的告警。 告警解释 系统每120秒周期性检测HBase服务的znode使用情况，当检测到HBase服务的znode容量使用率超出紧急告警的阈值（默认90%）时产生该告警。 当znode的容量使用率小于严重告警的阈值时，告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示“服务名HBase1”，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19014 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的容量使用率已经严重超过规定的阈值，会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢。 HBase集群存在大量的WAL文件在进行split。 处理步骤

本章节主要介绍ALM19016 在ZooKeeper上的数量配额使用率严重超过阈值的告警。 告警解释 系统每120秒周期性检测HBase服务的znode使用情况，当检测到HBase服务的znode数量使用率超出紧急告警的阈值（默认90%）时产生该告警。 当znode的数量使用率小于严重告警的阈值时，告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19016 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Threshold 产生告警的阈值。 对系统的影响 产生该告警表示HBase服务的znode的数量使用率已经严重超过规定的阈值，会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢； HBase集群存在大量的WAL文件在进行split。 处理步骤

本章节主要介绍ALM19013 region处在RIT状态的时长超过阈值的告警。 告警解释 系统按300秒周期性检测HBase上的region处在RIT状态的数量。当检测到处在RIT状态的region时长超过阈值时长（连续两次超过阈值），上报该告警。当处在超时状态的region都恢复后，告警恢复。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用，则“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19013 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 表的部分数据丢失或不可用。 可能原因 Compaction永久阻塞。 HDFS文件异常。 处理步骤 检查告警原因 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19013”的告警，查看“定位信息”中的主机名及角色名。 2.选择“集群 > 待操作集群的名称 > 服务 > HBase ”，单击图表区域右上角的下拉菜单，选择“定制 > 服务 > 处在RIT状态的region数”，单击“确定”，查看该图表中“处在RIT状态达到阈值时长的region数”监控项是否在连续3个检测周期内检测到值。（默认阈值为60秒）。 是，执行步骤3。 否，执行步骤7。 3.选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster（主） > Tables” ，查看是否只是某一个表的region RIT状态超时。 是，执行步骤4。 否，执行步骤7。 4.在客户端执行hbase hbck是否报错“No table descriptor file under hdfs://hacluster/hbase/data/default/table”。 是，执行步骤5。 否，执行步骤7。 5.以root用户登录客户端。执行如下命令： cd 客户端安装目录 source bigdataenv 如为安全模式集群，请执行kinit hbase 登录HMaster WebUI，在导航栏选择“Procedure & Locks”，在Procedures查看是否有处于Waiting状态的process id。如果有，需要执行以下命令将procedure lock释放： hbase hbck j 客户端安装目录/HBase/hbase/tools/hbasehbck2.jar bypass o pid 查看State是否处于Bypass状态，如果界面上的procedures一直处于RUNNABLE(Bypass)状态，需要进行主备切换。执行assigns命令使region重新上线。 hbase hbck j 客户端安装目录/HBase/hbase/tools/hbasehbck2.jar assigns o regionName 6.在客户端执行 hbase hbck，查看否报错“No table descriptor file under hdfs://hacluster/hbase/data/default/table”。 是，执行步骤7。 否，处理完毕。

检查znode数量配额和使用量 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19015”的告警，查看“附加信息”中的阈值。 2.以root用户登录HBase客户端。执行以下命令进入客户端安装目录： cd 客户端安装目录 然后执行以下命令设置环境变量： source bigdataenv 如果集群采用安全版本，要执行以下命令进行安全认证： kinit hbase 按提示输入密码（向管理员获取密码）。 3.执行hbase zkcli命令进入ZooKeeper客户端，然后执行命令listquota /hbase查看对应HBase服务的znode数量配额，其中命令中的znode根目录为对应HBase服务的参数“zookeeper.znode.parent”所指定。下图标注所示即为当前HBase服务根znode的数量配额。 4.执行命令getusage /hbase/splitWAL查看该znode的数量使用情况，查看返回结果的“ Node count ”跟znode数量配额的比值是否接近告警的阈值。 是，执行步骤5。 否，执行步骤6。 5.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否存在“告警ID”为“12007”、“19000”或者“19013”且“定位信息”中的“服务名”为当前HBase服务的告警。 是，单击对应告警右侧的“查看帮助”并按照帮助文档进行处理，执行步骤8。 否，执行步骤9。 6.执行命令getusage /hbase/replication查看该znode的数量使用情况，查看返回结果的“ Node count ”跟znode数量配额的比值是否接近告警的阈值。 是，执行步骤7。 否，执行步骤9。 7.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否存在“告警ID”为“19006”并且“定位信息”中的“服务名”为当前HBase服务的告警。 是，单击对应告警右侧的“查看帮助”并按照帮助文档进行处理，执行步骤8。 否，执行步骤9。 8.观察界面告警是否清除。 是，处理完毕。 否，执行步骤9。

检查znode容量配置和使用量 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19017”的告警，查看“附加信息”中的阈值。 2.以root用户登录HBase客户端。执行以下命令进入客户端安装目录： cd 客户端安装目录 然后执行以下命令设置环境变量： source bigdataenv 如果集群采用安全版本，要执行以下命令进行安全认证： kinit hbase 按提示输入密码（向管理员获取密码）。 3.执行hbase zkcli命令进入ZooKeeper客户端，然后执行命令listquota /hbase查看对应HBase服务的znode容量配额，其中命令中的znode根目录为对应HBase服务的参数“zookeeper.znode.parent”所指定。下图标注所示即为当前HBase服务根znode的容量配置。 4.执行命令getusage /hbase/splitWAL查看该znode的容量使用情况，查看返回结果的“ Data size ”跟znode容量配额的比值是否接近告警的阈值。 是，执行步骤5。 否，执行步骤6。 5.在FusionInsight Manager首页，查看是否存在“告警ID”为“12007”、“19000”或者“19013”且“定位信息”中的“服务名”为当前HBase服务的告警。 是，单击对应告警右侧的“查看帮助”并按照帮助文档进行处理，执行步骤8。 否，执行步骤7。 6.执行命令getusage /hbase/replication查看该znode的容量使用情况，查看返回结果的“ Data size ”跟znode容量配额的比值是否接近告警的阈值。 是，执行步骤7。 否，执行步骤9。 7.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，查看是否存在“告警ID”为“19006”并且“定位信息”中的“服务名”为当前HBase服务的告警。 是，单击对应告警右侧的“查看帮助”并按照帮助文档进行处理，执行步骤8。 否，执行步骤9。 8.观察界面告警是否清除。 是，处理完毕。 否，执行步骤9。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

检查HDFS服务状态 5.在告警列表中，查看是否有“ALM14000 HDFS服务不可用”告警产生。 是，执行步骤6。 否，执行步骤8。 6.参考“ALM14000 HDFS服务不可用”的处理步骤处理该故障。 7.等待几分钟后检查本告警是否恢复。 是，处理完毕。 否，执行步骤8。 8.在FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > HDFS”，查看HDFS“安全模式”是否为“ON”。 是，执行步骤9。 否，执行步骤12。 9.以root用户登录HDFS客户端。执行cd命令进入客户端安装目录，然后执行 source bigdataenv 。 如果集群采用安全版本，要进行安全认证。预先向管理员获取hdfs用户的密码，执行kinit hdfs命令，按提示输入密码。 10.执行以下命令手动退出安全模式。 hdfs dfsadmin safemode leave 11.等待几分钟后检查本告警是否恢复。 是，处理完毕。 否，执行步骤12。 检查HBase服务状态 12.在FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > HBase”。 13.查看2个HMaster的状态是否为一“主”一“备”。 是，执行步骤15。 否，执行步骤14。 14.单击“实例”，选择非主状态的HMaster实例，单击“更多 > 重启实例”重启HMaster，再次查看2个HMaster的状态是否为一“主”一“备”。 是，执行步骤15。 否，执行步骤21。 15.选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”，进入HMaster的WebUI页面。 说明 admin用户默认不具备其他组件的管理权限，如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时，可手动创建具备对应组件管理权限的用户进行登录。 16.查看Region Servers下是否存在至少一个RegionServer。 是，执行步骤17。 否，执行步骤21。 17.查看“Tables > System Tables”，如下图，查看该标签的“Table Name”列下是否存在“hbase:meta”、“hbase:namespace”和“hbase:acl”。 是，执行步骤18。 否，执行步骤19。 HBase系统表 18.如上图，分别单击“hbase:meta”、“hbase:namespace”和“hbase:acl”超链接，查看所有页面是否能正常打开。如果页面能正常打开，说明表都正常。 是，执行步骤19。 否，执行步骤23。 说明 由于普通模式下的HBase默认未开启ACL权限控制，只有在手动开启ACL权限控制后才会存在“hbase:acl”表，需要检查该表，否则不需要检查该表。 19.查看HMaster的启动状态。 如下图在“Tasks” 下有“RUNNING”的状态表示HMaster正在启动，“State”列有HMaster处于“RUNNING”状态的时间。如下图中的“COMPLETE”状态表示HMaster启动完成。 查看HMaster是否持续了很长一段时间处于“RUNNING”状态。 HMaster正在启动的状态 HMaster启动完成的状态 是，执行步骤20。 否，执行步骤21。 20.查看HMaster页面是否有hbase:meta长时间处于“Region in Transition”的状态。 详见下图：Region处于Region in Transition的状态 是，执行步骤21。 否，执行步骤22。 21.确认在不影响业务的情况下，登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > HBase > 更多 > 重启服务”，输入密码，单击“确定”。 是，执行步骤22。 否，执行步骤23。 22.等待几分钟后检查本告警是否恢复。 是，处理完毕。 否，执行步骤23。

本章节主要介绍ALM19006 HBase容灾同步失败的告警。 告警解释 告警模块每30s检查一次HBase容灾数据的同步状态，当同步容灾数据到备集群失败时，发送该告警。 当容灾数据同步成功后，告警清除。 说明 若集群启用了多实例功能且安装了多个HBase服务，请根据“定位信息”的“服务名”值来确定具体产生告警的HBase服务。例如HBase1服务不可用，则“定位信息”中显示服务名HBase1，处理步骤中的操作对象也应由HBase调整为HBase1。 告警属性 告警ID 告警级别 是否自动清除 19006 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法同步集群中HBase的数据到备集群，导致主备集群数据不一致。 可能原因 备集群HBase服务异常。 网络异常。 处理步骤 观察告警是否自动修复 1.在主集群的FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 2.在告警列表中单击该告警，从完整的告警信息中的“产生时间”处获得告警的产生时间，查看告警是否持续超过5分钟。 是，执行步骤4。 否，执行步骤3。 3.等待5分钟后检查本告警是否自动恢复。 是，处理完毕。 否，执行步骤4。

检查备集群HBase服务规模 12.对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤步骤6 步骤步骤10，打开负载均衡功能并手动触发。 13.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。 是，执行步骤14。 否，执行步骤15。 14.观察该告警是否清除。 是，处理完毕。 否，执行步骤15。 收集故障信息 15.在主备群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 16.在“服务”中勾选待操作集群的“HBase”。 17.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 18.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM19020 HBase容灾等待同步的wal文件数量超过阈值的告警。 告警解释 系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的wal文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步wal文件数量超出阈值（默认连续20次超过默认阈值128）时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 待操作集群 > HBase”修改阈值。当等待同步的wal文件数量小于或等于阈值时，告警消除。 告警属性 告警ID 告警级别 是否自动清除 19020 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 RegionServer等待同步的wal文件数量超出阈值，会影响HBase使用的znode超出阈值，影响HBase服务状态。 可能原因 网络异常。 RegionServer的Region分布不均匀。 备集群HBase服务规模过小。 处理步骤 查看告警定位信息 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选择“告警ID”为“19020”的告警，查看“定位信息”中产生该告警的服务实例和主机名。

本章节主要介绍开源组件端口列表 。 HBase常用端口 表中涉及端口的协议类型均为：TCP。 配置参数 默认端口 端口说明 hbase.master.port 16000 HMaster RPC端口。该端口用于HBase客户端连接到HMaster。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.master.info.port 16010 HMaster HTTPS端口。该端口用于远程Web客户端连接到HMaster UI。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.port 16020 RS (RegoinServer) RPC端口。该端口用于HBase客户端连接到RegionServer。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.info.port 16030 Region server HTTPS端口。该端口用于远程Web客户端连接到RegionServer UI。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.thrift.info.port 9095 Thrift Server的Thrift Server侦听端口。 该端口用于： 客户端链接时使用该端口侦听。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.thrift.port 9090 RegionServer的Thrift Server侦听端口 。 该端口用于： 客户端链接RegionServer时使用该端口侦听。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.rest.info.port 8085 RegionServer RESTServer原生Web界面的端口。 21309 RegionServer RESTServer的REST端口。

操作名称 操作风险 风险等级 规避措施 重大操作观察项目 修改加密的相关配置项：hbase.regionserver.wal.encryption、hbase.crypto.keyprovider.parameters.uri、hbase.crypto.keyprovider.parameters.encryptedtext 导致服务启动异常。 ★★★★ 修改相关配置项时请严格按照提示描述，加密相关配置项是有关联的，确保修改后的值有效。 观察服务能否正常启动。 已使用加密的情况下关闭或者切换加密算法，关闭主要指修改hbase.regionserver.wal.encryption为false，切换主要指AES和SMS4的切换 导致服务启动失败，数据丢失。 ★★★★ 加密HFile和WAL内容的时候，如果已经使用一种加密算法加密并且已经建表，请不要随意关闭或者切换加密算法。未建加密表（ENCRYPTION>AES/SMS4）的情况下可以切换，否则禁止操作。 无。 修改HBase实例的启动参数GCOPTS、HBASEHEAPSIZE 导致服务启动异常。 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效，且GCOPTS与HBASEHEAPSIZE参数值无冲突。 观察服务能否正常启动。 使用OfflineMetaRepair工具 导致服务启动异常。 ★★★★ 必须在HBase下线的情况下才可以使用该命令，而且不能在数据迁移的场景中使用该命令。 观察HBase服务是否可以正常启动。

类别 指标名称 主机 cpu使用率 主机 系统15分钟负载 主机 内存空闲率 主机 磁盘存储空闲率 主机 磁盘inode空闲率 主机 磁盘IO使用率 主机 网卡每秒接收丢包数 主机 网卡每秒接收错误包 主机 网卡每秒发送丢包数 主机 网卡每秒发送错误包数 主机 节点指标采集器可用状态 主机 主机运行时间 主机 磁盘挂载状态 主机 磁盘是否只读异常 主机 网卡每秒接收的比特数 主机 网卡每秒发送的比特数 HDFS HDFS进程状态 HDFS HDFS NameNode主备状态 HDFS HDFS rpc端口处理平均耗时 HDFS HDFS rpc端口请求队列长度 HDFS HDFS存储使用率 HDFS PendingDeletionBlocks HDFS MissingBlocks HDFS HDFS每秒创建文件数 HDFS hdfs锁队列等待线程数 HDFS HDFS距离上次checkpoint时间 HDFS HDFS NameNode内存使用率 HDFS HDFS DataNode节点存活比例 HDFS 存储使用总量 HDFS 数据块总量 YARN YARN进程状态 YARN YARN ResourceManager主从状态 YARN pending作业数 YARN pending container数 YARN 心跳处理时延 YARN 每秒心跳次数 YARN YARN NodeManager存活节点比例 YARN YARN ResourceManager内存使用率 YARN YARN ResourceManager主备状态 Hive Hive进程状态 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive hiveserver2 端口监听状态 Hive hiveserver2堆内存使用率 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive Hive metastore 端口监听状态 Hive hiveserver2堆内存使用率 ZooKeeper ZooKeeper进程状态 ZooKeeper ZooKeeper watch数量 ZooKeeper ZooKeeper活跃连接数 ZooKeeper ZooKeeper数据节点存储总量 ZooKeeper Kafka进程状态 ZooKeeper 离线目录数量 ZooKeeper 离线副本数 ZooKeeper 低于 min.insync.replicas 的分区数量 ZooKeeper 未保持同步的分区数量 ZooKeeper 活跃controller数量 ZOOKEEPER ZooKeeper请求延迟 HBase HBase 进程状态 HBase HBase master主从状态 HBase HBase regionserver rit数 HBase HBase master堆内存使用率 HBase HBase regionserver节点存活比例 HBase HBase regionserver堆内存使用率 HBase get操作平均耗时 HBase 99%的get操作耗时 HBase 请求平均处理耗时 HBase 每秒读请求数 HBase 每秒写请求数 Doris Doris进程状态 Doris 每分钟GC时间 Doris 平均每分钟查询错误数 Doris be存储资源使用率 Doris Doris 前端主机cpu平均使用率 Doris Doris 前端主机内存平均使用率 Doris Doris 后端主机cpu平均使用率 Doris Doris 后端主机内存平均使用率 Doris Doris 前端每秒查询数量 Doris Doris 前端每秒请求数量 Elasticsearch es进程状态 Elasticsearch es集群状态 Elasticsearch es 未分配shard数 Elasticsearch pending任务数量 Elasticsearch 文件系统剩余容量百分比 Elasticsearch JVM堆使用率 Elasticsearch rejected线程数 Trino Trino进程状态 Trino 健康节点比例 Trino JVM堆使用率 OpenLDAP openldap进程状态 OpenLDAP 389端口连接数 Flink Flink进程状态 Flume Flume进程状态 Spark Spark进程状态 Kerberos Kerberos进程状态 Ranger Ranger进程状态 Kyuubi Kyuubi进程状态 Knox Knox进程状态 Kibana Kibana进程状态 Logstash Logstash进程状态 JeekeFS JeekeFS进程状态 KafkaUI KafkaUI进程状态 Amoro Amoro 进程状态 Tezui TezUI 进程状态 Tezui TezUI 端口监听状态 Hue Hue 进程状态 Hue Hue 端口监听状态 Hue Hue Python第0代不可回收对象的5分钟增量 Hue Hue Python第1代不可回收对象的5分钟增量 Hue Hue Python第2代不可回收对象的5分钟增量 Hue Hue Django 500错误响应的5分钟增量 DolphinScheduler DolphinScheduler 进程状态 DolphinScheduler DolphinScheduler 系统当前的CPU使用率 DolphinScheduler DolphinScheduler 系统的平均负荷（1分钟） DolphinScheduler DolphinScheduler 各JVM进程CPU使用率 DolphinScheduler DolphinScheduler 各服务GC后长期存活堆内存的使用率 DolphinScheduler DolphinScheduler 各服务垃圾回收时间占比 DolphinScheduler DSApiServer 未捕获异常个数 DolphinScheduler DSAlertServer 等待发送的告警数量 DolphinScheduler DSApiServer 响应状态码的接口个数 DolphinScheduler DSMasterServer 1小时过载次数 DolphinScheduler DolphinScheduler 正在运行的工作流实例数量 DolphinScheduler DSWorkerServer 1小时过载次数 DolphinScheduler DSWorkerServer 上等待提交的任务总数 DolphinScheduler DSWorkerServer 上正在执行的任务总数 DolphinScheduler DSWorkerServer 1小时提交队列全满次数 DolphinScheduler DSAlertServer 5分钟未捕获异常个数

本文主要介绍了自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

本文主要介绍自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

MRS是否支持通过Hive的HBase外表将数据写入到HBase？ 不支持。 Hive on HBase只支持查询，不支持更改数据。 如何查看HBase日志？ 1.使用root用户登录集群的Master节点。 2.执行su omm 命令，切换到omm用户。 3.执行 cd /var/log/Bigdata/hbase/ 命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。 HBase表如何设置和修改数据保留期？ 创建表时指定： 创建ttasklog表，列族f, TTL设置86400秒过期。 create 'ttasklog',{NAME > 'f', TTL>'86400'} 在已有表的基础上指定： alter "ttasklog",NAME>'data',TTL>'86400' 设置TTL值，作用于列族data 如何修改HDFS的副本数？ 搜索并修改“dfs.replication”的值，合理修改这个数值，该参数取值范围为1~16，重启HDFS实例。 如何修改HDFS主备倒换类？ 当MRS 3.x版本集群使用HDFS连接NameNode报类org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider无法找到时，是由于MRS 3.x版本集群HDFS的主备倒换类默认为该类，可通过如下方式解决。 方式一：添加hadooppluginsxxx.jar到程序的classpath或者lib目录中。 hadooppluginsxxx.jar包一般在HDFS客户端目录下：$HADOOPHOME/share/hadoop/common/lib/hadoopplugins8.0.2302023.jar 方式二：将HDFS的如下配置项修改为开源类： dfs.client.failover.proxy.provider.haclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider DynamoDB的number在Hive表中用什么类型比较好？ Hive支持smallint。 推荐使用smallint类型。

本章节介绍创建MRS服务的方式。 快速创建Hadoop分析集群：快速创建Hadoop分析集群为您提高了配置效率，可以在几分钟之内快速创建Hadoop集群，更加方便快捷的进行海量数据分析与查询。 快速创建HBase查询集群：快速创建HBase查询集群为您提高了配置效率，可以在几分钟之内快速创建HBase集群，更加方便快捷的进行海量数据存储以及分布式计算。 快速创建Kafka流式集群：快速创建Kafka流式集群为您提高了配置效率，可以在几分钟之内快速创建Kafka集群，更加方便快捷的进行流式数据采集，实时数据处理存储等。 快速创建ClickHouse集群：快速创建一个ClickHouse集群，ClickHouse是一个用于联机分析的列式数据库管理系统，具有极致压缩率和极速查询性能。 快速创建实时分析集群：快速创建一个实时分析集群为您提高了配置效率，可以在几分钟之内快速创建实时分析集群，更加方便快捷的进行海量的数据采集、数据的实时分析和查询。 创建自定义集群：自定义创建可以灵活地选择配置项，针对不同的应用场景，可以选择不同规格的弹性云主机，全方位贴合您的业务诉求。

本章节主要介绍翼MapReduce服务的术语解释。 节点 翼MR集群中每个节点即为一台云服务器，节点类型及节点功能如下所示。 节点类型 功能 master节点 翼MR集群管理节点，用于管理集群服务，主要负责ResourceManager和NameNode等控制进程的部署。master节点组默认采用反亲和技术，以此保证业务高可用性。 core节点 翼MR集群工作节点，主要负责存储和计算数据。 task节点 翼MR集群计算节点，主要负责计算数据，不存储数据（如HDFS 数据）。默认不开启，按需使用。 Doris Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Elasticsearch Elasticsearch是一个开源的、高扩展性的分布式全文检索引擎，能够近乎实时地存储、检索数据。它能集中存储您的数据，提供快速搜索、精细调整的相关性和强大的分析能力。 HBase HBase提供业务键值数据的结构化存储与检索能力，主要包括键值数据存储、键值数据查询功能，提供键值数据管理和键值数据库监测功能。兼容社区HBase接口，提供Java API，Restful接口形式。是一个分布式、数据多版本、面向列的NoSQL数据库。提供可弹性扩展的多维表格键值存储和即席查询能力。支持上亿行、可扩展列，具备强一致性、高扩展、高可用的特性。

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

本章节主要介绍自定义服务配置的使用方法。 操作场景 HDFS、YARN、Hive等服务含有大量配置项，为便于服务使用，您可使用自定义服务配置功能，在创建集群或新增服务前修改或添加配置项。 前提条件 当前支持用户对HDFS、Hive、Spark、HBase、YARN、Kyuubi的部分文件进行修改与添加配置项。其他组件服务暂不支持使用自定义服务配置功能。 操作步骤 1、支持用户在订购环节对所选服务进行配置修改与添加。 1）在翼MR订购页软件配置环节选择所需组件服务。 2）在软件配置环节，开启自定义服务配置开关。 3）在输入框中添加JSON 格式的配置信息。 2、支持用户在新增集群服务环节对所选服务的配置进行修改与添加。 1）在翼MR控制台集群服务管理页面选择需要新增部署的组件服务。 2）在弹窗中开启自定义服务配置开关。 3）在输入框中添加JSON 格式的配置信息。 配置说明 在创建集群或新增集群服务过程中，可通过自定义服务配置功能，添加JSON格式的配置文件，覆盖或添加集群服务的默认参数。JSON文件的内容示例如下： plaintext [ { "applicationName":"YARN", "configFileName":"mapredsite.xml", "configItemKey":"mapreduce.task.timeout", "configItemValue":"200000" }, { "applicationName":"HDFS", "configFileName":"hdfssite.xml", "configItemKey":"dfs.replication", "configItemValue":"2" } ] 参数含义说明： 参数名称 说明 applicationName 服务的名称。 configFileName 配置文件的名称。 configItemKey 配置项的名称。 configItemValue 该配置需要设置的具体内容。 针对不同文件自定义服务配置的修改方式有所不同 1、全文修改 部分配置文件只能进行全文覆盖。用户需要使用CONFCONTENT作为configItemKey，在configItemValue中输入转义后的配置文件内容，输入的配置文件内容会在部署后自动覆盖到服务对应的配置上。文件内容的字符串需要用户对常见字符进行转义，如双引号、单引号、换行符、反斜杠等。需要通过全文覆盖方式进行配置修改的文件如下： 服务名称 配置文件 HBase hbaseenv.sh HBase log4j.properties HDFS hadoopenv.sh YARN mapredenv.sh YARN yarnenv.sh Hive hiveenv.sh Hive hivelog4j2.properties Kyuubi kyuubienv.sh 2、按配置项修改 部分配置文件支持按配置项进行修改，支持修改的配置项如下： 说明 1）Kerberos的krb5.conf文件，只支持使用kerberosRealm作为configItemKey来配realm，暂不支持配置其它配置项。 2）Spark的sparkenv.sh文件中，customsparkenv配置项需要对参照上文全文修改的方式，对文件内容进行转义。 服务名称 配置文件 配置项 HBase hbasesite.xml hbase.cluster.distributed HBase hbasesite.xml hbase.coprocessor.abortonerror HBase hbasesite.xml hbase.coprocessor.master.classes HBase hbasesite.xml hbase.coprocessor.region.classes HBase hbasesite.xml hbase.master.kerberos.principal HBase hbasesite.xml hbase.master.keytab.file HBase hbasesite.xml hbase.master.loadbalancer.class HBase hbasesite.xml hbase.quota.enabled HBase hbasesite.xml hbase.quota.refresh.period HBase hbasesite.xml hbase.regionserver.kerberos.principal HBase hbasesite.xml hbase.regionserver.keytab.file HBase hbasesite.xml hbase.rest.authentication.kerberos.keytab HBase hbasesite.xml hbase.rest.authentication.kerberos.principal HBase hbasesite.xml hbase.rest.kerberos.principal HBase hbasesite.xml hbase.rootdir HBase hbasesite.xml hbase.security.authentication HBase hbasesite.xml hbase.security.authorization HBase hbasesite.xml hbase.superuser HBase hbasesite.xml hbase.thrift.kerberos.principal HBase hbasesite.xml hbase.thrift.keytab.file HBase hbasesite.xml hbase.tmp.dir HBase hbasesite.xml hbase.unsafe.stream.capability.enforce HBase hbasesite.xml hbase.wal.provider HBase hbasesite.xml hbase.zookeeper.property.clientPort HBase hbasesite.xml hbase.zookeeper.quorum HBase hbasesite.xml zookeeper.znode.parent HDFS coresite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS coresite.xml fs.AbstractFileSystem.jfs.impl HDFS coresite.xml fs.defaultFS HDFS coresite.xml fs.du.interval HDFS coresite.xml fs.getspaceused.jitterMillis HDFS coresite.xml fs.jfs.impl HDFS coresite.xml fs.permissions.umaskmode HDFS coresite.xml fs.trash.checkpoint.interval HDFS coresite.xml fs.trash.interval HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.m HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.ms HDFS coresite.xml ha.healthmonitor.rpctimeout.ms HDFS coresite.xml ha.zookeeper.quorum HDFS coresite.xml ha.zookeeper.sessiontimeout.ms HDFS coresite.xml hadoop.caller.context.enabled HDFS coresite.xml hadoop.kerberos.kinit.command HDFS coresite.xml hadoop.proxyuser.hdfs.groups HDFS coresite.xml hadoop.proxyuser.hdfs.hosts HDFS coresite.xml hadoop.proxyuser.hive.groups HDFS coresite.xml hadoop.proxyuser.hive.hosts HDFS coresite.xml hadoop.proxyuser.HTTP.groups HDFS coresite.xml hadoop.proxyuser.HTTP.hosts HDFS coresite.xml hadoop.proxyuser.httpfs.groups HDFS coresite.xml hadoop.proxyuser.httpfs.hosts HDFS coresite.xml hadoop.proxyuser.yarn.groups HDFS coresite.xml hadoop.proxyuser.yarn.hosts HDFS coresite.xml hadoop.rpc.protection HDFS coresite.xml hadoop.security.authtolocal HDFS coresite.xml hadoop.security.authentication HDFS coresite.xml hadoop.security.authorization HDFS coresite.xml hadoop.security.group.mapping HDFS coresite.xml hadoop.security.group.mapping.ldap.base HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.password.file HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.user HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts.before.failover HDFS coresite.xml hadoop.security.group.mapping.ldap.posix.attr.uid.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.group.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.member HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.group HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.user HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users.ldap.url HDFS coresite.xml hadoop.security.group.mapping.provider.shell4services HDFS coresite.xml hadoop.security.group.mapping.providers HDFS coresite.xml hadoop.security.group.mapping.providers.combined HDFS coresite.xml httpfs.proxyuser.mapred.groups HDFS coresite.xml httpfs.proxyuser.mapred.hosts HDFS coresite.xml io.compression.codec.lzo.class HDFS coresite.xml io.file.buffer.size HDFS coresite.xml ipc.client.connection.maxidletime HDFS coresite.xml ipc.server.listen.queue.size HDFS coresite.xml ipc.server.log.slow.rpc HDFS coresite.xml jeekefs.cachedir HDFS coresite.xml jeekefs.cachesize HDFS coresite.xml jeekefs.discovernodesurl HDFS coresite.xml jeekefs.meta HDFS coresite.xml jeekefs.serverprincipal HDFS coresite.xml topology.script.file.name HDFS hdfssite.xml dfs.block.access.token.enable HDFS hdfssite.xml dfs.blockreport.incremental.intervalMsec HDFS hdfssite.xml dfs.blockreport.initialDelay HDFS hdfssite.xml dfs.blockreport.intervalMsec HDFS hdfssite.xml dfs.blockreport.split.threshold HDFS hdfssite.xml dfs.blocksize HDFS hdfssite.xml dfs.client.failover.proxy.provider.ctyunns HDFS hdfssite.xml dfs.client.read.shortcircuit HDFS hdfssite.xml dfs.client.sockettimeout HDFS hdfssite.xml dfs.cluster.administrators HDFS hdfssite.xml dfs.datanode.address HDFS hdfssite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS hdfssite.xml dfs.datanode.data.dir HDFS hdfssite.xml dfs.datanode.data.dir.perm HDFS hdfssite.xml dfs.datanode.directoryscan.threads HDFS hdfssite.xml dfs.datanode.du.reserved.calculator HDFS hdfssite.xml dfs.datanode.du.reserved.pct HDFS hdfssite.xml dfs.datanode.failed.volumes.tolerated HDFS hdfssite.xml dfs.datanode.fileio.profiling.sampling.percentage HDFS hdfssite.xml dfs.datanode.handler.count HDFS hdfssite.xml dfs.datanode.http.address HDFS hdfssite.xml dfs.datanode.kerberos.principal HDFS hdfssite.xml dfs.datanode.keytab.file HDFS hdfssite.xml dfs.datanode.max.transfer.threads HDFS hdfssite.xml dfs.datanode.max.xcievers HDFS hdfssite.xml dfs.datanode.peer.stats.enabled HDFS hdfssite.xml dfs.domain.socket.path HDFS hdfssite.xml dfs.encrypt.data.transfer.cipher.suites HDFS hdfssite.xml dfs.ha.automaticfailover.enabled HDFS hdfssite.xml dfs.ha.fencing.methods HDFS hdfssite.xml dfs.ha.namenodes.ctyunns HDFS hdfssite.xml dfs.hosts.exclude HDFS hdfssite.xml dfs.image.transfer.bandwidthPerSec HDFS hdfssite.xml dfs.internal.nameservices HDFS hdfssite.xml dfs.journalnode.edits.dir.ctyunns HDFS hdfssite.xml dfs.journalnode.httpaddress HDFS hdfssite.xml dfs.journalnode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.journalnode.kerberos.principal HDFS hdfssite.xml dfs.journalnode.keytab.file HDFS hdfssite.xml dfs.journalnode.rpcaddress HDFS hdfssite.xml dfs.namenode.accesstime.precision HDFS hdfssite.xml dfs.namenode.acls.enabled HDFS hdfssite.xml dfs.namenode.audit.log.async HDFS hdfssite.xml dfs.namenode.avoid.read.stale.datanode HDFS hdfssite.xml dfs.namenode.avoid.write.stale.datanode HDFS hdfssite.xml dfs.namenode.block.deletion.increment HDFS hdfssite.xml dfs.namenode.checkpoint.dir HDFS hdfssite.xml dfs.namenode.checkpoint.edits.dir HDFS hdfssite.xml dfs.namenode.checkpoint.period HDFS hdfssite.xml dfs.namenode.checkpoint.txns HDFS hdfssite.xml dfs.namenode.deletefiles.limit HDFS hdfssite.xml dfs.namenode.edit.log.autoroll.multiplier.threshold HDFS hdfssite.xml dfs.namenode.fslimits.maxdirectoryitems HDFS hdfssite.xml dfs.namenode.fslock.fair HDFS hdfssite.xml dfs.namenode.handler.count HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.namenode.kerberos.principal HDFS hdfssite.xml dfs.namenode.keytab.file HDFS hdfssite.xml dfs.namenode.lock.detailedmetrics.enabled HDFS hdfssite.xml dfs.namenode.name.dir HDFS hdfssite.xml dfs.namenode.name.dir.restore HDFS hdfssite.xml dfs.namenode.quota.initthreads HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.safemode.thresholdpct HDFS hdfssite.xml dfs.namenode.service.handler.count HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.shared.edits.dir.ctyunns HDFS hdfssite.xml dfs.namenode.stale.datanode.interval HDFS hdfssite.xml dfs.namenode.startup.delay.block.deletion.sec HDFS hdfssite.xml dfs.namenode.support.allow.format HDFS hdfssite.xml dfs.namenode.write.stale.datanode.ratio HDFS hdfssite.xml dfs.nameservices HDFS hdfssite.xml dfs.permissions.superusergroup HDFS hdfssite.xml dfs.qjournal.selectinputstreams.timeout.ms HDFS hdfssite.xml dfs.qjournal.startsegment.timeout.ms HDFS hdfssite.xml dfs.qjournal.writetxns.timeout.ms HDFS hdfssite.xml dfs.replication HDFS hdfssite.xml dfs.replication.max HDFS hdfssite.xml dfs.web.authentication.kerberos.keytab HDFS hdfssite.xml dfs.web.authentication.kerberos.principal HDFS hdfssite.xml dfs.webhdfs.enabled HDFS hdfssite.xml hadoop.caller.context.enabled HDFS hdfssite.xml rpc.metrics.percentiles.intervals HDFS hdfssite.xml rpc.metrics.quantile.enable Hive hivesite.xml hive.auto.convert.join Hive hivesite.xml hive.auto.convert.sortmerge.join Hive hivesite.xml hive.auto.convert.sortmerge.join.to.mapjoin Hive hivesite.xml hive.compactor.initiator.on Hive hivesite.xml hive.default.fileformat Hive hivesite.xml hive.default.fileformat.managed Hive hivesite.xml hive.exec.compress.output Hive hivesite.xml hive.exec.dynamic.partition Hive hivesite.xml hive.exec.stagingdir Hive hivesite.xml hive.execution.engine Hive hivesite.xml hive.hook.proto.basedirectory Hive hivesite.xml hive.insert.into.multilevel.dirs Hive hivesite.xml hive.limit.optimize.enable Hive hivesite.xml hive.mapred.reduce.tasks.speculative.execution Hive hivesite.xml hive.merge.mapredfiles Hive hivesite.xml hive.metastore.authorization.storage.checks Hive hivesite.xml hive.metastore.warehouse.dir Hive hivesite.xml hive.metastore.warehouse.external.dir Hive hivesite.xml hive.optimize.bucketmapjoin Hive hivesite.xml hive.optimize.dynamic.partition.hashjoin Hive hivesite.xml hive.optimize.index.filter Hive hivesite.xml hive.optimize.metadataonly Hive hivesite.xml hive.optimize.remove.identity.project Hive hivesite.xml hive.server2.proxy.user Hive hivesite.xml hive.stats.fetch.column.stats Hive hivesite.xml hive.txn.strict.locking.mode Hive hivesite.xml hive.update.last.access.time.interval Hive hivesite.xml hive.user.install.directory Hive hivesite.xml hive.vectorized.execution.mapjoin.minmax.enabled Hive hivesite.xml hive.vectorized.execution.mapjoin.native.fast.hashtable.enabled Hive hivesite.xml hive.vectorized.groupby.checkinterval Hive hivesite.xml metastore.expression.proxy Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.json.log.path Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.loggers Kyuubi kyuubidefaults.conf kyuubi.delegation.token.renew.interval Kyuubi kyuubidefaults.conf kyuubi.ha.namespace Kyuubi kyuubidefaults.conf kyuubi.metrics.reporters Kyuubi kyuubidefaults.conf kyuubi.operation.getTables.ignoreTableProperties Kyuubi kyuubidefaults.conf kyuubi.session.engine.idle.timeout Kyuubi kyuubidefaults.conf kyuubi.session.idle.timeout Kyuubi kyuubidefaults.conf spark.master Kyuubi kyuubidefaults.conf spark.submit.deployMode Kyuubi kyuubidefaults.conf spark.yarn.queue Spark sparkdefaults.conf spark.driver.cores Spark sparkdefaults.conf spark.driver.extraJavaOptions Spark sparkdefaults.conf spark.driver.extraLibraryPath Spark sparkdefaults.conf spark.driver.maxResultSize Spark sparkdefaults.conf spark.driver.memory Spark sparkdefaults.conf spark.dynamicAllocation.enabled Spark sparkdefaults.conf spark.dynamicAllocation.initialExecutors Spark sparkdefaults.conf spark.dynamicAllocation.maxExecutors Spark sparkdefaults.conf spark.dynamicAllocation.minExecutors Spark sparkdefaults.conf spark.eventLog.dir Spark sparkdefaults.conf spark.executor.cores Spark sparkdefaults.conf spark.executor.extraJavaOptions Spark sparkdefaults.conf spark.executor.extraLibraryPath Spark sparkdefaults.conf spark.executor.heartbeatInterval Spark sparkdefaults.conf spark.executor.memory Spark sparkdefaults.conf spark.executorEnv.JAVAHOME Spark sparkdefaults.conf spark.files.openCostInBytes Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress.codec Spark sparkdefaults.conf spark.hadoop.yarn.timelineservice.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.interval Spark sparkdefaults.conf spark.history.fs.cleaner.maxAge Spark sparkdefaults.conf spark.history.fs.logDirectory Spark sparkdefaults.conf spark.history.kerberos.enabled Spark sparkdefaults.conf spark.history.kerberos.keytab Spark sparkdefaults.conf spark.history.store.maxDiskUsage Spark sparkdefaults.conf spark.history.ui.maxApplications Spark sparkdefaults.conf spark.history.ui.port Spark sparkdefaults.conf spark.io.compression.lz4.blockSize Spark sparkdefaults.conf spark.kryo.unsafe Spark sparkdefaults.conf spark.kryoserializer.buffer.max Spark sparkdefaults.conf spark.locality.wait Spark sparkdefaults.conf spark.master Spark sparkdefaults.conf spark.memory.offHeap.enabled Spark sparkdefaults.conf spark.memory.offHeap.size Spark sparkdefaults.conf spark.network.timeout Spark sparkdefaults.conf spark.port.maxRetries Spark sparkdefaults.conf spark.rdd.parallelListingThreshold Spark sparkdefaults.conf spark.reducer.maxSizeInFlight Spark sparkdefaults.conf spark.resultGetter.threads Spark sparkdefaults.conf spark.rpc.io.backLog Spark sparkdefaults.conf spark.scheduler.maxReqisteredResourcesWaitingTime Spark sparkdefaults.conf spark.shuffle.accurateBlockThreshold Spark sparkdefaults.conf spark.shuffle.file.buffer Spark sparkdefaults.conf spark.shuffle.io.connectionTimeout Spark sparkdefaults.conf spark.shuffle.manager Spark sparkdefaults.conf spark.shuffle.mapOutput.dispatcher.numThreads Spark sparkdefaults.conf spark.shuffle.memoryFraction Spark sparkdefaults.conf spark.shuffle.push.enabled Spark sparkdefaults.conf spark.shuffle.push.maxBlockSizeToPush Spark sparkdefaults.conf spark.shuffle.push.merge.finalizeThreads Spark sparkdefaults.conf spark.shuffle.push.mergersMinStaticThreshold Spark sparkdefaults.conf spark.shuffle.readHostLocalDisk Spark sparkdefaults.conf spark.shuffle.service.enabled Spark sparkdefaults.conf spark.shuffle.unsafe.file.output.buffer Spark sparkdefaults.conf spark.speculation Spark sparkdefaults.conf spark.speculation.interval Spark sparkdefaults.conf spark.speculation.minTaskRuntime Spark sparkdefaults.conf spark.speculation.multiplier Spark sparkdefaults.conf spark.speculation.quantile Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.initialPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.enabled Spark sparkdefaults.conf spark.sql.adaptive.forceApply Spark sparkdefaults.conf spark.sql.adaptive.forceOptimizeSkewedJoin Spark sparkdefaults.conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize Spark sparkdefaults.conf spark.sql.autoBroadcastJoinThreshold Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog.type Spark sparkdefaults.conf spark.sql.cbo.joinReorder.enabled Spark sparkdefaults.conf spark.sql.extensions Spark sparkdefaults.conf spark.sql.files.maxPartitionBytes Spark sparkdefaults.conf spark.sql.files.openCostInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionFactor Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionThresholdInBytes Spark sparkdefaults.conf spark.sql.hive.convertMetastoreOrc Spark sparkdefaults.conf spark.sql.hive.dropPartitionByName.enabled Spark sparkdefaults.conf spark.sql.inMemoryColumnarStorage.batchSize Spark sparkdefaults.conf spark.sql.join.preferSortMergeJoin Spark sparkdefaults.conf spark.sql.legacy.charVarcharAsString Spark sparkdefaults.conf spark.sql.legacy.timeParserPolicy Spark sparkdefaults.conf spark.sql.optimizer.finalStageConfigIsolation.enabled Spark sparkdefaults.conf spark.sql.optimizer.inferRebalanceAndSortOrders.enabled Spark sparkdefaults.conf spark.sql.optimizer.insertRepartitionBeforeWriteIfNoShuffle.enabled Spark sparkdefaults.conf spark.sql.optimizer.inSetConversionThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.enabled Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.number.threshold Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled Spark sparkdefaults.conf spark.sql.orc.aggregatePushdown Spark sparkdefaults.conf spark.sql.orc.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.orc.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.aggregatePushdown Spark sparkdefaults.conf spark.sql.parquet.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.parquet.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.pushdown.inFilterThreshold Spark sparkdefaults.conf spark.sql.query.table.file.max.count Spark sparkdefaults.conf spark.sql.query.table.file.max.length Spark sparkdefaults.conf spark.sql.query.table.partition.max.count Spark sparkdefaults.conf spark.sql.sessionWindow.buffer.in.memory.threshold Spark sparkdefaults.conf spark.sql.shuffle.partitions Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.parallelism Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.threshold Spark sparkdefaults.conf spark.sql.statistics.fallBackToHdfs Spark sparkdefaults.conf spark.sql.storeAssignmentPolicy Spark sparkdefaults.conf spark.sql.subquery.maxThreadThreshold Spark sparkdefaults.conf spark.sql.support.block.inferior.sql Spark sparkdefaults.conf spark.storage.decommission.shuffleBlocks.maxThreads Spark sparkdefaults.conf spark.task.reaper.enabled Spark sparkdefaults.conf spark.unsafe.sorter.spill.reader.buffer.size Spark sparkdefaults.conf spark.yarn.appMasterEnv.JAVAHOME Spark sparkdefaults.conf spark.yarn.containerLauncherMaxThreads Spark sparkdefaults.conf spark.yarn.scheduler.heartbeat.intervalms Spark sparkdefaults.conf spark.yarn.scheduler.initialallocation.interval Spark sparkenv.sh customsparkenv Spark sparkenv.sh sparkengine YARN mapredsite.xml mapreduce.application.classpath YARN mapredsite.xml mapreduce.cluster.acls.enabled YARN mapredsite.xml mapreduce.framework.name YARN mapredsite.xml mapreduce.job.aclmodifyjob YARN mapredsite.xml mapreduce.job.counters.counter.name.max YARN mapredsite.xml mapreduce.job.counters.group.name.max YARN mapredsite.xml mapreduce.job.counters.groups.max YARN mapredsite.xml mapreduce.job.counters.max YARN mapredsite.xml mapreduce.jobhistory.admin.acl YARN mapredsite.xml mapreduce.jobhistory.bindhost YARN mapredsite.xml mapreduce.jobhistory.donedir YARN mapredsite.xml mapreduce.jobhistory.http.policy YARN mapredsite.xml mapreduce.jobhistory.intermediatedonedir YARN mapredsite.xml mapreduce.jobhistory.recovery.enable YARN mapredsite.xml mapreduce.jobhistory.recovery.store.leveldb.path YARN mapredsite.xml mapreduce.map.env YARN mapredsite.xml mapreduce.map.java.opts YARN mapredsite.xml mapreduce.map.log.level YARN mapredsite.xml mapreduce.map.memory.mb YARN mapredsite.xml mapreduce.map.output.compress YARN mapredsite.xml mapreduce.map.output.compress.codec YARN mapredsite.xml mapreduce.map.sort.spill.percent YARN mapredsite.xml mapreduce.map.speculative YARN mapredsite.xml mapreduce.output.fileoutputformat.compress YARN mapredsite.xml mapreduce.output.fileoutputformat.compress.codec YARN mapredsite.xml mapreduce.reduce.env YARN mapredsite.xml mapreduce.reduce.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.java.opts YARN mapredsite.xml mapreduce.reduce.log.level YARN mapredsite.xml mapreduce.reduce.memory.mb YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.enabled YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.intervalms YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.timeoutms YARN mapredsite.xml mapreduce.reduce.shuffle.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.shuffle.merge.percent YARN mapredsite.xml mapreduce.reduce.shuffle.parallelcopies YARN mapredsite.xml mapreduce.reduce.speculative YARN mapredsite.xml mapreduce.shuffle.port YARN mapredsite.xml mapreduce.task.io.sort.factor YARN mapredsite.xml mapreduce.task.io.sort.mb YARN mapredsite.xml mapreduce.task.timeout YARN mapredsite.xml yarn.app.mapreduce.am.env YARN mapredsite.xml yarn.app.mapreduce.am.log.level YARN mapredsite.xml yarn.app.mapreduce.am.resource.mb YARN mapredsite.xml yarn.app.mapreduce.am.stagingdir YARN yarnsite.xml hadoop.http.authentication.simple.anonymous.allowed YARN yarnsite.xml hadoop.http.filter.initializers YARN yarnsite.xml hadoop.registry.client.auth YARN yarnsite.xml yarn.acl.enable YARN yarnsite.xml yarn.logaggregation.retainseconds YARN yarnsite.xml yarn.logaggregationenable YARN yarnsite.xml yarn.nodelabels.enabled YARN yarnsite.xml yarn.nodelabels.fsstore.rootdir YARN yarnsite.xml yarn.nodemanager.address YARN yarnsite.xml yarn.nodemanager.containerexecutor.class YARN yarnsite.xml yarn.nodemanager.diskhealthchecker.maxdiskutilizationperdiskpercentage YARN yarnsite.xml yarn.nodemanager.localizer.cache.targetsizemb YARN yarnsite.xml yarn.nodemanager.localizer.client.threadcount YARN yarnsite.xml yarn.nodemanager.localizer.fetch.threadcount YARN yarnsite.xml yarn.nodemanager.log.retainseconds YARN yarnsite.xml yarn.nodemanager.logaggregation.compressiontype YARN yarnsite.xml yarn.nodemanager.logaggregation.debugenabled YARN yarnsite.xml yarn.nodemanager.logaggregation.numlogfilesperapp YARN yarnsite.xml yarn.nodemanager.logaggregation.rollmonitoringintervalseconds YARN yarnsite.xml yarn.nodemanager.recovery.dir YARN yarnsite.xml yarn.nodemanager.recovery.enabled YARN yarnsite.xml yarn.nodemanager.recovery.supervised YARN yarnsite.xml yarn.nodemanager.remoteapplogdir YARN yarnsite.xml yarn.nodemanager.remoteapplogdirsuffix YARN yarnsite.xml yarn.nodemanager.resource.cpuvcores YARN yarnsite.xml yarn.nodemanager.resource.memorymb YARN yarnsite.xml yarn.nodemanager.resource.percentagephysicalcpulimit YARN yarnsite.xml yarn.nodemanager.resourcemanager.connect.wait.secs YARN yarnsite.xml yarn.nodemanager.vmemcheckenabled YARN yarnsite.xml yarn.nodemanager.vmempmemratio YARN yarnsite.xml yarn.nodemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.resourcemanager.clusterid YARN yarnsite.xml yarn.resourcemanager.fusing.enable YARN yarnsite.xml yarn.resourcemanager.fusingmaxapigetjobs YARN yarnsite.xml yarn.resourcemanager.ha.rmids YARN yarnsite.xml yarn.resourcemanager.hostname.rm1 YARN yarnsite.xml yarn.resourcemanager.hostname.rm2 YARN yarnsite.xml yarn.resourcemanager.maxcompletedapplications YARN yarnsite.xml yarn.resourcemanager.recovery.enabled YARN yarnsite.xml yarn.resourcemanager.scheduler.autocorrect.container.allocation YARN yarnsite.xml yarn.resourcemanager.scheduler.class YARN yarnsite.xml yarn.resourcemanager.scheduler.monitor.enable YARN yarnsite.xml yarn.resourcemanager.store.class YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm1 YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm2 YARN yarnsite.xml yarn.resourcemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.scheduler.maximumallocationmb YARN yarnsite.xml yarn.scheduler.maximumallocationvcores YARN yarnsite.xml yarn.scheduler.minimumallocationmb YARN yarnsite.xml yarn.scheduler.minimumallocationvcores YARN yarnsite.xml yarn.timelineservice.client.besteffort YARN yarnsite.xml yarn.timelineservice.client.maxretries YARN yarnsite.xml yarn.timelineservice.enabled YARN yarnsite.xml yarn.timelineservice.httpcrossorigin.enabled YARN yarnsite.xml yarn.webapp.ui2.enable

组件名称 组件告警目录 Hbase /hbase Hive /beelinesql Yarn /rmstore Storm /stormroot Streaming /storm Kafka /kafka

本章节主要介绍翼MapReduce服务HBase健康检查指标项说明。 运行良好的RegionServer数 指标项名称： 运行良好的RegionServer数 指标项含义 ：检查HBase集群中运行良好的RegionServer数。 恢复指导： 如果该指标项异常，请检查RegionServer的状态是否正常并处理，然后建议检查网络是否正常。 服务健康状态 指标项名称： 服务状态 指标项含义 ：检查HBase服务状态是否正常。如果状态不正常，则认为不健康。 恢复指导： 如果该指标项异常，请检查HMaster和RegionServer的状态是否正常并先处理，然后检查ZooKeeper服务的状态是否为故障并处理。使用客户端，确认是否可以正确读取HBase表中的数据，排查读数据失败的原因。最后参见告警进行处理。 检查告警 指标项名称： 告警信息 指标项含义 ：检查服务是否存在未清除的告警。如果存在，则认为不健康。 恢复指导： 如果该指标项异常，建议参见告警进行处理。

本章节主要介绍翼MapReduce组件HBase支持的压缩算法。 HBase目前默认支持的压缩算法有snappy和gz，根据需要可以增加lzo、lz4、bzip2等算法支持。

2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）重启FlinkHistoryServer服务，推荐滚动重启。 Kyuubi 1、修改配置 1）前往Manager页面，集群服务> Kyuubi集群> 配置管理> default配置组> 配置文件kyuubidefaults.conf > 配置项kyuubi.ha.addresses。 2）将新的ZK节点，添加到配置项kyuubi.ha.addresses中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kyuubi服务，推荐滚动重启。 HBase 1、修改配置 1）前往Manager页面，集群服务> HBase集群> 配置管理> default配置组> 配置文件hbasesite.xml > 配置项hbase.zookeeper.quorum。 2）将新的ZK节点，添加到配置项hbase.zookeeper.quorum中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启HBase所有服务，包含HMaster和HRegionServer，推荐滚动重启。 Kafka 警告：Kafka不建议重启，所以不建议修改ZK节点。 原因：Kafka每个节点都是有状态的，每个节点的主分区都不一样，重启会导致业务受影响。 1、修改配置 1）前往Manager页面，集群服务> Kafka集群> 配置管理> default配置组> 配置文件server.properties > 配置项zookeeper.connect。 2）将新的ZK节点，通过vs统一修改3个配置，添加到配置项zookeeper.connect中。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kafka所有服务。请谨慎进行Kafka集群的重启操作。

可能原因 HQL命令语法错误。 执行Hive on HBase任务时HBase服务异常。 执行Hive on Spark任务时Spark服务异常。 依赖的基础服务HDFS、Yarn、ZooKeeper等异常。 处理步骤 检查HQL命令是否符合语法 1.在FusionInsight Manager界面选择“运维 > 告警”，查看告警详情，获取产生告警的节点信息。 2.使用Hive客户端连接到产生该告警的HiveServer节点，查询Apache提供的HQL语法规范，确认输入的命令是否正确。详情请参见 是，执行步骤4。 否，执行步骤3。 说明 若想查看执行错误语句的用户，可下载产生该告警的HiveServer节点的HiveServerAudit日志，下载的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟。打开日志文件查找“ResultFAIL”关键字筛选执行错误语句的日志信息，再根据日志信息中的“UserName”查看执行错误语句的用户。 3.输入正确的HQL语句，观察命令是否正确执行。 是，执行步骤12。 否，执行步骤4。 检查HBase服务是否异常 4.与执行HQL命令的用户确认是否执行的是Hive on HBase任务。 是，执行步骤5。 否，执行步骤8。 5.在FusionInsight Manager界面选择“集群 > 待操作集群的名称 > 服务”，在服务列表查看HBase服务状态是否正常。 是，执行步骤8。 否，执行步骤6。 6.选择“运维 > 告警”，查看告警界面的HBase相关告警，参照对应告警帮助进行处理。 7.输入正确的HQL语句，观察命令是否正确执行。 是，执行步骤12。 否，执行步骤8。

类别 默认用户 初始密码 描述 组件运行用户 hdfs Hdfs@123 HDFS系统管理员，用户权限： 1. 文件系统操作权限： 查看、修改、创建文件 查看、创建目录 查看、修改文件属组 查看、设置用户磁盘配额 2. HDFS管理操作权限： 查看webUI页面状态 查看、设置HDFS主备状态 进入、退出HDFS安全模式 检查HDFS文件系统。 hbase Hbase@123 HBase系统管理员，用户权限： 集群管理权限:表的Enable、Disable操作，触发MajorCompact，ACL操作 授权或回收权限，集群关闭等操作相关的权限 表管理权限:建表、修改表、删除表等操作权限 数据管理权限：表级别、列族级别以及列级别的数据读写权限 访问HBase WebUI的权限。 mapred Mapred@123 MapReduce系统管理员，用户权限： 提交、停止和查看MapReduce任务的权限 修改Yarn配置参数的权限 访问Yarn、MapReduce WebUI的权限。 spark Spark@123 Spark系统管理员，用户权限： 访问Spark WebUI的权限 提交Spark任务的权限。

本章节为您介绍数据库安全网关的资产管理功能 在数据库安全网关中，资产是指系统需要防护和管理的数据库系统。资产管理是系统核心功能之一，涵盖了对各种数据库类型的安全监控与防护操作。 手动添加资产 1.登录数据库安全网关。 2.在左侧菜单栏选择“资产 > 资产管理”进入“资产管理”页面 ，单击页面的“新增”按钮。 注意 如果资产是集群，需要先在资产管理页面添加 集群的所有资产，包括每个节点的地址 和端口，以及ScanIP（集群扫描IP）等信息，然后切换到“集群配置”页面进行集群设置。 3.在弹出的“新增资产”对话框中，填写相关信息。 配置项 说明 类型 选择数据库的类型，系统支持数据库类型如下： 通用数据库：Oracle(包含RAC)、MySQL、MSSQL、Sybase ASE、DB2、Informix、Oscar、达梦(DM)、Cache、PostgreSQL、Teradata、人大金仓(Kingbase) 、GBase、MariaDB、Hana、MongoDB、GaussDB、GreenPlum、TiDB、Vertica、GoldenDB、UXDB、Doris、虚谷、HifhGo、OceanBase 大数据：HBase、Hive、Elasticsearch、Impala、SparkSQL、Clickhouse、Presto、Tdh、Odps 其他：HTTP、Trino CTcloud：TeledbMySQL、TeledbPostgreSQL 说明 若您选择的资产类型为：Oracle、Hive、Trino，需要额外配置相关参数。 操作系统 设置资产所在主机的操作系统。 IP/域名 设置资产所在主机的IPv4 或者IPv6 或者域名。 端口 设置资产原生端口号。 代理端口 设置访问资产的反向代理端口。 防护模式 入侵检测模式：对数据库进行入侵检测，可以产生审计、告警、脱敏、运维日志，但不会对请求进行阻断和脱敏； 入侵防护模式：对数据库进行入侵检测和防护，除可以生成审计、告警、脱敏、运维日志外，还可以对请求进行阻断和脱敏。 默认数据源 默认关闭，可启用。 支持Oracle、MySQL、MSSQL、DB2、达梦(DM)、PostgreSQL、MariaDB、UXDB、Hive、Tdh等。 默认数据源用途： 1. 新增敏感数据扫描任务时，自动带出数据源信息，减少用户操作步骤； 2. 安全规则配置“影响行数”维度，该规则匹配依赖资产的默认数据源。 数据库名 填写数据库名。（MSSQL、DB2、PostgreSQL、UXDB等） 用户名 填写数据库的用户名。 密码 填写数据库的密码。 测试 测试数据库的连通性。 4.配置完成后，单击“测试”进行资产连接测试，若正常则会提示连接成功。 5.单击“保存” ，弹出是否需要立即进行敏感数据扫描的提示框： 若选择“确定” ，则跳转到“资产 > 敏感数据 > 敏感数据扫描”页面进行下一步。 若选择“取消” ，则停留在资产管理页面。