本文主要介绍自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

本文主要介绍了自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

检查备集群HBase服务规模 12.对HBase集群扩容，增加节点，并在节点上增加RegionServer实例。然后执行步骤步骤6 步骤步骤10，打开负载均衡功能并手动触发。 13.在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > HBase”，单击“HMaster(主)”，打开该HBase实例的WebUI，刷新页面查看Region分布是否均衡。 是，执行步骤14。 否，执行步骤15。 14.观察该告警是否清除。 是，处理完毕。 否，执行步骤15。 收集故障信息 15.在主备群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 16.在“服务”中勾选待操作集群的“HBase”。 17.单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 18.请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 无。

本章节主要介绍ALM19020 HBase容灾等待同步的wal文件数量超过阈值的告警。 告警解释 系统每30秒周期性检测每个HBase服务实例RegionServer等待同步的wal文件数量。该指标可以在RegionServer角色监控界面查看，当检测到某个RegionServer上的等待同步wal文件数量超出阈值（默认连续20次超过默认阈值128）时产生该告警。用户可通过“运维 > 告警 > 阈值设置> 待操作集群 > HBase”修改阈值。当等待同步的wal文件数量小于或等于阈值时，告警消除。 告警属性 告警ID 告警级别 是否自动清除 19020 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 RegionServer等待同步的wal文件数量超出阈值，会影响HBase使用的znode超出阈值，影响HBase服务状态。 可能原因 网络异常。 RegionServer的Region分布不均匀。 备集群HBase服务规模过小。 处理步骤 查看告警定位信息 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选择“告警ID”为“19020”的告警，查看“定位信息”中产生该告警的服务实例和主机名。

操作名称 操作风险 风险等级 规避措施 重大操作观察项目 修改加密的相关配置项：hbase.regionserver.wal.encryption、hbase.crypto.keyprovider.parameters.uri、hbase.crypto.keyprovider.parameters.encryptedtext 导致服务启动异常。 ★★★★ 修改相关配置项时请严格按照提示描述，加密相关配置项是有关联的，确保修改后的值有效。 观察服务能否正常启动。 已使用加密的情况下关闭或者切换加密算法，关闭主要指修改hbase.regionserver.wal.encryption为false，切换主要指AES和SMS4的切换 导致服务启动失败，数据丢失。 ★★★★ 加密HFile和WAL内容的时候，如果已经使用一种加密算法加密并且已经建表，请不要随意关闭或者切换加密算法。未建加密表（ENCRYPTION>AES/SMS4）的情况下可以切换，否则禁止操作。 无。 修改HBase实例的启动参数GCOPTS、HBASEHEAPSIZE 导致服务启动异常。 ★★ 修改相关配置项时请严格按照提示描述，确保修改后的值有效，且GCOPTS与HBASEHEAPSIZE参数值无冲突。 观察服务能否正常启动。 使用OfflineMetaRepair工具 导致服务启动异常。 ★★★★ 必须在HBase下线的情况下才可以使用该命令，而且不能在数据迁移的场景中使用该命令。 观察HBase服务是否可以正常启动。

本章节主要介绍开源组件端口列表 。 HBase常用端口 表中涉及端口的协议类型均为：TCP。 配置参数 默认端口 端口说明 hbase.master.port 16000 HMaster RPC端口。该端口用于HBase客户端连接到HMaster。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.master.info.port 16010 HMaster HTTPS端口。该端口用于远程Web客户端连接到HMaster UI。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.port 16020 RS (RegoinServer) RPC端口。该端口用于HBase客户端连接到RegionServer。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.info.port 16030 Region server HTTPS端口。该端口用于远程Web客户端连接到RegionServer UI。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.thrift.info.port 9095 Thrift Server的Thrift Server侦听端口。 该端口用于： 客户端链接时使用该端口侦听。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.thrift.port 9090 RegionServer的Thrift Server侦听端口 。 该端口用于： 客户端链接RegionServer时使用该端口侦听。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.rest.info.port 8085 RegionServer RESTServer原生Web界面的端口。 21309 RegionServer RESTServer的REST端口。

本章节主要介绍了通过DRS将其他云数据库实时迁移至本云DDS的任务配置流程。 包括以下迁移场景： 其他云MongoDB数据库实时迁移至本云DDS。 其他云内云主机自建自维护的MongoDB数据库迁移至本云DDS。 网络示意图和MySQL的场景相同 迁移步骤 图 迁移流程图 迁移建议（重要） 数据库迁移与环境多样性和人为操作均有密切关系，为了确保迁移的平顺，建议您在进行正式的数据库迁移之前进行一次演练，可以帮助您提前发现问题并解决问题，如何最小化对数据库的影响请参考如下建议。 强烈建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性迁移成功率，避免迁移对业务造成性能影响。 迁移须知（重要） 注意 在创建迁移任务之前，请您务必仔细阅读迁移须知。 参考《数据库复制服务快速入门》中的“使用须知”章节。 迁移准备 1.权限准备： 当使用 DRS 将其他云MongoDB数据库的数据迁移到本DDS实例时，在不同迁移类型情况下，对源数据库和目标数据库的帐号权限要求如表： 表 迁移账号权限 迁移类型 全量迁移 全量+增量迁移 源数据库 o 副本集：连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限。 o 集群：连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限，对config数据库有read权限。 o 单节点：连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限。 如果需要迁移源数据库用户和角色信息，连接源数据库的用户权限需要对admin数据库的系统表system.users，system.roles有读权限。 o 副本集：连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限，对local数据库有read权限。 o 单节点：连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限，对local数据库有read权限。 o 集群：连接源数据库mongos节点的用户权限需要对admin数据库有readAnyDatabase权限，对config数据库有read权限， 连接源数据库分片节点的用户权限需要对admin数据库有readAnyDatabase权限，对local数据库有read权限。 如果需要迁移源数据库用户和角色信息，连接源数据库的用户权限需要对admin数据库的系统表system.users，system.roles有读权限。 目标数据库 连接目标数据库的用户权限需要对admin数据库有readAnyDatabase权限，对目标数据库有readWrite权限。 源数据库权限设置： 需要确保源数据库MongoDB的帐号权限具备表1的要求。若权限不足，需要在源数据库端开通高权限的帐号。 目前DRS支持迁移的第三方云厂商有：阿里云，腾讯云和亚马逊云。 以阿里云云数据库MongoDB迁移到本云DDS为例，阿里云MongoDB默认的初始帐号已经具备进行数据迁移的能力，使用初始帐号即可。 目标数据库权限设置： 本云DDS实例使用初始帐号即可。 2.网络准备： 源数据库需要开放公网访问。源数据库的网络设置： 源数据库MongoDB实例需要开放公网域名的访问。 以阿里云云数据库MongoDB迁移到本云DDS实例为例，一般情况下，阿里云云数据库MongoDB不提供公网地址，需要通过申请公网地址来允许外部的应用对接，具体的操作及注意事项可以参考阿里云提供的相关指导。 目标数据库的网络设置：目标端不需要进行设置。 3.安全规则准备： 源数据库安全组规则设置： 源数据库MongoDB实例需要将具体的DRS迁移实例的弹性公网IP添加到其网络白名单中，确保源数据库MongoDB实例可以与上述弹性公网IP连通。 以阿里云云数据库MongoDB迁移到本云DDS为例，具体设置网络白名单的操作及注意事项可以参考相关指导。在设置网络白名单之前，需要先获取DRS迁移实例的弹性公网IP，具体操作如下： 迁移实例创建成功后，可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。如图所示： 图 迁移实例公网弹性IP 以上讲述的是精细配置白名单的方法，还有一种简单设置白名单的方法，在安全允许的情况下，可以将源数据库MongoDB实例的网络白名单设置为0.0.0.0/0，代表允许任何IP地址访问该实例。 上述的网络白名单是为了进行数据迁移设置的，迁移结束后可以删除。 目标数据库安全组规则设置： 目标数据库默认与DRS迁移实例处在同一个VPC，网络是互通的，DRS可以直接写入数据到目标数据库，不需要进行任何设置。 4.其他事项准备： 由于迁移过程不会迁移MongoDB数据库的用户信息以及相关参数，需要自行将上述信息导出后手动添加到目标DDS中。

类别 指标名称 主机 cpu使用率 主机 系统15分钟负载 主机 内存空闲率 主机 磁盘存储空闲率 主机 磁盘inode空闲率 主机 磁盘IO使用率 主机 网卡每秒接收丢包数 主机 网卡每秒接收错误包 主机 网卡每秒发送丢包数 主机 网卡每秒发送错误包数 主机 节点指标采集器可用状态 主机 主机运行时间 主机 磁盘挂载状态 主机 磁盘是否只读异常 主机 网卡每秒接收的比特数 主机 网卡每秒发送的比特数 HDFS HDFS进程状态 HDFS HDFS NameNode主备状态 HDFS HDFS rpc端口处理平均耗时 HDFS HDFS rpc端口请求队列长度 HDFS HDFS存储使用率 HDFS PendingDeletionBlocks HDFS MissingBlocks HDFS HDFS每秒创建文件数 HDFS hdfs锁队列等待线程数 HDFS HDFS距离上次checkpoint时间 HDFS HDFS NameNode内存使用率 HDFS HDFS DataNode节点存活比例 HDFS 存储使用总量 HDFS 数据块总量 HDFS HDFS存储空间使用百分比 HDFS HDFS存在损坏的磁盘 HDFS HDFS NameNode处于SafeMode HDFS HDFS NameNode Jvm暂停超过阈值的次数 HDFS HDFS DataNode Jvm暂停超过阈值的次数 YARN YARN进程状态 YARN YARN ResourceManager主从状态 YARN pending作业数 YARN pending container数 YARN 心跳处理时延 YARN 每秒心跳次数 YARN YARN NodeManager存活节点比例 YARN YARN ResourceManager内存使用率 YARN YARN ResourceManager主备状态 YARN YARN ResourceManager Container 分配的平均时间 Hive Hive进程状态 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive hiveserver2 端口监听状态 Hive hiveserver2堆内存使用率 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive Hive metastore 端口监听状态 Hive hiveserver2堆内存使用率 ZooKeeper ZooKeeper进程状态 ZooKeeper ZooKeeper watch数量 ZooKeeper ZooKeeper活跃连接数 ZooKeeper ZooKeeper数据节点存储总量 ZooKeeper ZooKeeper leader重新选主 ZooKeeper ZooKeeper的平均处理时间 Kafka Kafka进程状态 Kafka Kafka离线目录数量 Kafka Kafka离线副本数 Kafka Kafka低于 min.insync.replicas 的分区数量 Kafka Kafka未保持同步的分区数量 Kafka Kafka活跃controller数量 Kafka Kafka ZooKeeper请求延迟 Kafka Kafka broker访问zookeeper延迟时间 Kafka Kafka Broker请求队列积压的请求数量 Kafka Kafka 过去1分钟内触发的controller选举次数 HBase HBase 进程状态 HBase HBase master主从状态 HBase HBase regionserver rit数 HBase HBase master堆内存使用率 HBase HBase regionserver节点存活比例 HBase HBase regionserver堆内存使用率 HBase get操作平均耗时 HBase 99%的get操作耗时 HBase 请求平均处理耗时 HBase 每秒读请求数 HBase 每秒写请求数 HBase HBase正在使用的handler数量 HBase HBase等待执行的rpc队列长度 Doris Doris进程状态 Doris 每分钟GC时间 Doris 平均每分钟查询错误数 Doris be存储资源使用率 Doris Doris 前端主机cpu平均使用率 Doris Doris 前端主机内存平均使用率 Doris Doris 后端主机cpu平均使用率 Doris Doris 后端主机内存平均使用率 Doris Doris 前端每秒查询数量 Doris Doris 前端每秒请求数量 Doris Doris INSERT 加载中作业峰值 Doris Doris load任务失败率 Doris Doris集群最大compaction score Doris Doris集群FE的Minor GC持续时长 Doris Doris集群FE的Old GC持续时长 Doris Doris集群BE CPU使用率 Doris Doris DB当前事务数 Elasticsearch ES进程状态 Elasticsearch ES集群状态 Elasticsearch ES 未分配shard数 Elasticsearch pending任务数量 Elasticsearch 文件系统剩余容量百分比 Elasticsearch JVM堆使用率 Elasticsearch rejected线程数 Trino Trino进程状态 Trino 健康节点比例 Trino JVM堆使用率 OpenLDAP openldap进程状态 OpenLDAP 389端口连接数 Flink Flink进程状态 Flume Flume进程状态 Spark Spark进程状态 Kerberos Kerberos进程状态 Ranger Ranger进程状态 Ranger Ranger JVM堆使用率 Kyuubi Kyuubi进程状态 Kyuubi Kyuubi JVM Deadlock线程数 Kyuubi Kyuubi 服务堆内存使用率 Kyuubi Kyuubi 服务存活率 Knox Knox进程状态 Kibana Kibana进程状态 Logstash Logstash进程状态 JeekeFS JeekeFS进程状态 KafkaUI KafkaUI进程状态 Amoro Amoro 进程状态 Tezui TezUI 进程状态 Tezui TezUI 端口监听状态 Hue Hue 进程状态 Hue Hue 端口监听状态 Hue Hue Python第0代不可回收对象的5分钟增量 Hue Hue Python第1代不可回收对象的5分钟增量 Hue Hue Python第2代不可回收对象的5分钟增量 Hue Hue Django 500错误响应的5分钟增量 DolphinScheduler DolphinScheduler 进程状态 DolphinScheduler DolphinScheduler 系统当前的CPU使用率 DolphinScheduler DolphinScheduler 系统的平均负荷（1分钟） DolphinScheduler DolphinScheduler 各JVM进程CPU使用率 DolphinScheduler DolphinScheduler 各服务GC后长期存活堆内存的使用率 DolphinScheduler DolphinScheduler 各服务垃圾回收时间占比 DolphinScheduler DSApiServer 未捕获异常个数 DolphinScheduler DSAlertServer 等待发送的告警数量 DolphinScheduler DSApiServer 响应状态码的接口个数 DolphinScheduler DSMasterServer 1小时过载次数 DolphinScheduler DolphinScheduler 正在运行的工作流实例数量 DolphinScheduler DSWorkerServer 1小时过载次数 DolphinScheduler DSWorkerServer 上等待提交的任务总数 DolphinScheduler DSWorkerServer 上正在执行的任务总数 DolphinScheduler DSWorkerServer 1小时提交队列全满次数 DolphinScheduler DSAlertServer 5分钟未捕获异常个数

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

本章节介绍创建MRS服务的方式。 快速创建Hadoop分析集群：快速创建Hadoop分析集群为您提高了配置效率，可以在几分钟之内快速创建Hadoop集群，更加方便快捷的进行海量数据分析与查询。 快速创建HBase查询集群：快速创建HBase查询集群为您提高了配置效率，可以在几分钟之内快速创建HBase集群，更加方便快捷的进行海量数据存储以及分布式计算。 快速创建Kafka流式集群：快速创建Kafka流式集群为您提高了配置效率，可以在几分钟之内快速创建Kafka集群，更加方便快捷的进行流式数据采集，实时数据处理存储等。 快速创建ClickHouse集群：快速创建一个ClickHouse集群，ClickHouse是一个用于联机分析的列式数据库管理系统，具有极致压缩率和极速查询性能。 快速创建实时分析集群：快速创建一个实时分析集群为您提高了配置效率，可以在几分钟之内快速创建实时分析集群，更加方便快捷的进行海量的数据采集、数据的实时分析和查询。 创建自定义集群：自定义创建可以灵活地选择配置项，针对不同的应用场景，可以选择不同规格的弹性云主机，全方位贴合您的业务诉求。

MRS是否支持通过Hive的HBase外表将数据写入到HBase？ 不支持。 Hive on HBase只支持查询，不支持更改数据。 如何查看HBase日志？ 1.使用root用户登录集群的Master节点。 2.执行su omm 命令，切换到omm用户。 3.执行 cd /var/log/Bigdata/hbase/ 命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。 HBase表如何设置和修改数据保留期？ 创建表时指定： 创建ttasklog表，列族f, TTL设置86400秒过期。 create 'ttasklog',{NAME > 'f', TTL>'86400'} 在已有表的基础上指定： alter "ttasklog",NAME>'data',TTL>'86400' 设置TTL值，作用于列族data 如何修改HDFS的副本数？ 搜索并修改“dfs.replication”的值，合理修改这个数值，该参数取值范围为1~16，重启HDFS实例。 如何修改HDFS主备倒换类？ 当MRS 3.x版本集群使用HDFS连接NameNode报类org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider无法找到时，是由于MRS 3.x版本集群HDFS的主备倒换类默认为该类，可通过如下方式解决。 方式一：添加hadooppluginsxxx.jar到程序的classpath或者lib目录中。 hadooppluginsxxx.jar包一般在HDFS客户端目录下：$HADOOPHOME/share/hadoop/common/lib/hadoopplugins8.0.2302023.jar 方式二：将HDFS的如下配置项修改为开源类： dfs.client.failover.proxy.provider.haclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider DynamoDB的number在Hive表中用什么类型比较好？ Hive支持smallint。 推荐使用smallint类型。

本章节主要介绍翼MapReduce服务的术语解释。 节点 翼MR集群中每个节点即为一台云服务器，节点类型及节点功能如下所示。 节点类型 功能 master节点 翼MR集群管理节点，用于管理集群服务，主要负责ResourceManager和NameNode等控制进程的部署。master节点组默认采用反亲和技术，以此保证业务高可用性。 core节点 翼MR集群工作节点，主要负责存储和计算数据。 task节点 翼MR集群计算节点，主要负责计算数据，不存储数据（如HDFS 数据）。默认不开启，按需使用。 Doris Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Elasticsearch（仅存量支持） Elasticsearch是一个具备高扩展性的分布式全文检索引擎，能够近乎实时地存储、检索数据。它能集中存储您的数据，提供快速搜索、精细调整的相关性和强大的分析能力。 HBase HBase提供业务键值数据的结构化存储与检索能力，主要包括键值数据存储、键值数据查询功能，提供键值数据管理和键值数据库监测功能。兼容社区HBase接口，提供Java API，Restful接口形式。是一个分布式、数据多版本、面向列的NoSQL数据库。提供可弹性扩展的多维表格键值存储和即席查询能力。支持上亿行、可扩展列，具备强一致性、高扩展、高可用的特性。

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

本章节主要介绍自定义服务配置的使用方法。 操作场景 HDFS、YARN、Hive等服务含有大量配置项，为便于服务使用，您可使用自定义服务配置功能，在创建集群或新增服务前修改或添加配置项。 前提条件 当前支持用户对HDFS、Hive、Spark、HBase、YARN、Kyuubi的部分文件进行修改与添加配置项。其他组件服务暂不支持使用自定义服务配置功能。 操作步骤 1、支持用户在订购环节对所选服务进行配置修改与添加。 1）在翼MR订购页软件配置环节选择所需组件服务。 2）在软件配置环节，开启自定义服务配置开关。 3）在输入框中添加JSON 格式的配置信息。 2、支持用户在新增集群服务环节对所选服务的配置进行修改与添加。 1）在翼MR控制台集群服务管理页面选择需要新增部署的组件服务。 2）在弹窗中开启自定义服务配置开关。 3）在输入框中添加JSON 格式的配置信息。 配置说明 在创建集群或新增集群服务过程中，可通过自定义服务配置功能，添加JSON格式的配置文件，覆盖或添加集群服务的默认参数。JSON文件的内容示例如下： plaintext [ { "applicationName":"YARN", "configFileName":"mapredsite.xml", "configItemKey":"mapreduce.task.timeout", "configItemValue":"200000" }, { "applicationName":"HDFS", "configFileName":"hdfssite.xml", "configItemKey":"dfs.replication", "configItemValue":"2" } ] 参数含义说明： 参数名称 说明 applicationName 服务的名称。 configFileName 配置文件的名称。 configItemKey 配置项的名称。 configItemValue 该配置需要设置的具体内容。 针对不同文件自定义服务配置的修改方式有所不同 1、全文修改 部分配置文件只能进行全文覆盖。用户需要使用CONFCONTENT作为configItemKey，在configItemValue中输入转义后的配置文件内容，输入的配置文件内容会在部署后自动覆盖到服务对应的配置上。文件内容的字符串需要用户对常见字符进行转义，如双引号、单引号、换行符、反斜杠等。需要通过全文覆盖方式进行配置修改的文件如下： 服务名称 配置文件 HBase hbaseenv.sh HBase log4j.properties HDFS hadoopenv.sh YARN mapredenv.sh YARN yarnenv.sh Hive hiveenv.sh Hive hivelog4j2.properties Kyuubi kyuubienv.sh 2、按配置项修改 部分配置文件支持按配置项进行修改，支持修改的配置项如下： 说明 1）Kerberos的krb5.conf文件，只支持使用kerberosRealm作为configItemKey来配realm，暂不支持配置其它配置项。 2）Spark的sparkenv.sh文件中，customsparkenv配置项需要对参照上文全文修改的方式，对文件内容进行转义。 服务名称 配置文件 配置项 HBase hbasesite.xml hbase.cluster.distributed HBase hbasesite.xml hbase.coprocessor.abortonerror HBase hbasesite.xml hbase.coprocessor.master.classes HBase hbasesite.xml hbase.coprocessor.region.classes HBase hbasesite.xml hbase.master.kerberos.principal HBase hbasesite.xml hbase.master.keytab.file HBase hbasesite.xml hbase.master.loadbalancer.class HBase hbasesite.xml hbase.quota.enabled HBase hbasesite.xml hbase.quota.refresh.period HBase hbasesite.xml hbase.regionserver.kerberos.principal HBase hbasesite.xml hbase.regionserver.keytab.file HBase hbasesite.xml hbase.rest.authentication.kerberos.keytab HBase hbasesite.xml hbase.rest.authentication.kerberos.principal HBase hbasesite.xml hbase.rest.kerberos.principal HBase hbasesite.xml hbase.rootdir HBase hbasesite.xml hbase.security.authentication HBase hbasesite.xml hbase.security.authorization HBase hbasesite.xml hbase.superuser HBase hbasesite.xml hbase.thrift.kerberos.principal HBase hbasesite.xml hbase.thrift.keytab.file HBase hbasesite.xml hbase.tmp.dir HBase hbasesite.xml hbase.unsafe.stream.capability.enforce HBase hbasesite.xml hbase.wal.provider HBase hbasesite.xml hbase.zookeeper.property.clientPort HBase hbasesite.xml hbase.zookeeper.quorum HBase hbasesite.xml zookeeper.znode.parent HDFS coresite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS coresite.xml fs.AbstractFileSystem.jfs.impl HDFS coresite.xml fs.defaultFS HDFS coresite.xml fs.du.interval HDFS coresite.xml fs.getspaceused.jitterMillis HDFS coresite.xml fs.jfs.impl HDFS coresite.xml fs.permissions.umaskmode HDFS coresite.xml fs.trash.checkpoint.interval HDFS coresite.xml fs.trash.interval HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.m HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.ms HDFS coresite.xml ha.healthmonitor.rpctimeout.ms HDFS coresite.xml ha.zookeeper.quorum HDFS coresite.xml ha.zookeeper.sessiontimeout.ms HDFS coresite.xml hadoop.caller.context.enabled HDFS coresite.xml hadoop.kerberos.kinit.command HDFS coresite.xml hadoop.proxyuser.hdfs.groups HDFS coresite.xml hadoop.proxyuser.hdfs.hosts HDFS coresite.xml hadoop.proxyuser.hive.groups HDFS coresite.xml hadoop.proxyuser.hive.hosts HDFS coresite.xml hadoop.proxyuser.HTTP.groups HDFS coresite.xml hadoop.proxyuser.HTTP.hosts HDFS coresite.xml hadoop.proxyuser.httpfs.groups HDFS coresite.xml hadoop.proxyuser.httpfs.hosts HDFS coresite.xml hadoop.proxyuser.yarn.groups HDFS coresite.xml hadoop.proxyuser.yarn.hosts HDFS coresite.xml hadoop.rpc.protection HDFS coresite.xml hadoop.security.authtolocal HDFS coresite.xml hadoop.security.authentication HDFS coresite.xml hadoop.security.authorization HDFS coresite.xml hadoop.security.group.mapping HDFS coresite.xml hadoop.security.group.mapping.ldap.base HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.password.file HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.user HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts.before.failover HDFS coresite.xml hadoop.security.group.mapping.ldap.posix.attr.uid.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.group.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.member HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.group HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.user HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users.ldap.url HDFS coresite.xml hadoop.security.group.mapping.provider.shell4services HDFS coresite.xml hadoop.security.group.mapping.providers HDFS coresite.xml hadoop.security.group.mapping.providers.combined HDFS coresite.xml httpfs.proxyuser.mapred.groups HDFS coresite.xml httpfs.proxyuser.mapred.hosts HDFS coresite.xml io.compression.codec.lzo.class HDFS coresite.xml io.file.buffer.size HDFS coresite.xml ipc.client.connection.maxidletime HDFS coresite.xml ipc.server.listen.queue.size HDFS coresite.xml ipc.server.log.slow.rpc HDFS coresite.xml jeekefs.cachedir HDFS coresite.xml jeekefs.cachesize HDFS coresite.xml jeekefs.discovernodesurl HDFS coresite.xml jeekefs.meta HDFS coresite.xml jeekefs.serverprincipal HDFS coresite.xml topology.script.file.name HDFS hdfssite.xml dfs.block.access.token.enable HDFS hdfssite.xml dfs.blockreport.incremental.intervalMsec HDFS hdfssite.xml dfs.blockreport.initialDelay HDFS hdfssite.xml dfs.blockreport.intervalMsec HDFS hdfssite.xml dfs.blockreport.split.threshold HDFS hdfssite.xml dfs.blocksize HDFS hdfssite.xml dfs.client.failover.proxy.provider.ctyunns HDFS hdfssite.xml dfs.client.read.shortcircuit HDFS hdfssite.xml dfs.client.sockettimeout HDFS hdfssite.xml dfs.cluster.administrators HDFS hdfssite.xml dfs.datanode.address HDFS hdfssite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS hdfssite.xml dfs.datanode.data.dir HDFS hdfssite.xml dfs.datanode.data.dir.perm HDFS hdfssite.xml dfs.datanode.directoryscan.threads HDFS hdfssite.xml dfs.datanode.du.reserved.calculator HDFS hdfssite.xml dfs.datanode.du.reserved.pct HDFS hdfssite.xml dfs.datanode.failed.volumes.tolerated HDFS hdfssite.xml dfs.datanode.fileio.profiling.sampling.percentage HDFS hdfssite.xml dfs.datanode.handler.count HDFS hdfssite.xml dfs.datanode.http.address HDFS hdfssite.xml dfs.datanode.kerberos.principal HDFS hdfssite.xml dfs.datanode.keytab.file HDFS hdfssite.xml dfs.datanode.max.transfer.threads HDFS hdfssite.xml dfs.datanode.max.xcievers HDFS hdfssite.xml dfs.datanode.peer.stats.enabled HDFS hdfssite.xml dfs.domain.socket.path HDFS hdfssite.xml dfs.encrypt.data.transfer.cipher.suites HDFS hdfssite.xml dfs.ha.automaticfailover.enabled HDFS hdfssite.xml dfs.ha.fencing.methods HDFS hdfssite.xml dfs.ha.namenodes.ctyunns HDFS hdfssite.xml dfs.hosts.exclude HDFS hdfssite.xml dfs.image.transfer.bandwidthPerSec HDFS hdfssite.xml dfs.internal.nameservices HDFS hdfssite.xml dfs.journalnode.edits.dir.ctyunns HDFS hdfssite.xml dfs.journalnode.httpaddress HDFS hdfssite.xml dfs.journalnode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.journalnode.kerberos.principal HDFS hdfssite.xml dfs.journalnode.keytab.file HDFS hdfssite.xml dfs.journalnode.rpcaddress HDFS hdfssite.xml dfs.namenode.accesstime.precision HDFS hdfssite.xml dfs.namenode.acls.enabled HDFS hdfssite.xml dfs.namenode.audit.log.async HDFS hdfssite.xml dfs.namenode.avoid.read.stale.datanode HDFS hdfssite.xml dfs.namenode.avoid.write.stale.datanode HDFS hdfssite.xml dfs.namenode.block.deletion.increment HDFS hdfssite.xml dfs.namenode.checkpoint.dir HDFS hdfssite.xml dfs.namenode.checkpoint.edits.dir HDFS hdfssite.xml dfs.namenode.checkpoint.period HDFS hdfssite.xml dfs.namenode.checkpoint.txns HDFS hdfssite.xml dfs.namenode.deletefiles.limit HDFS hdfssite.xml dfs.namenode.edit.log.autoroll.multiplier.threshold HDFS hdfssite.xml dfs.namenode.fslimits.maxdirectoryitems HDFS hdfssite.xml dfs.namenode.fslock.fair HDFS hdfssite.xml dfs.namenode.handler.count HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.namenode.kerberos.principal HDFS hdfssite.xml dfs.namenode.keytab.file HDFS hdfssite.xml dfs.namenode.lock.detailedmetrics.enabled HDFS hdfssite.xml dfs.namenode.name.dir HDFS hdfssite.xml dfs.namenode.name.dir.restore HDFS hdfssite.xml dfs.namenode.quota.initthreads HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.safemode.thresholdpct HDFS hdfssite.xml dfs.namenode.service.handler.count HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.shared.edits.dir.ctyunns HDFS hdfssite.xml dfs.namenode.stale.datanode.interval HDFS hdfssite.xml dfs.namenode.startup.delay.block.deletion.sec HDFS hdfssite.xml dfs.namenode.support.allow.format HDFS hdfssite.xml dfs.namenode.write.stale.datanode.ratio HDFS hdfssite.xml dfs.nameservices HDFS hdfssite.xml dfs.permissions.superusergroup HDFS hdfssite.xml dfs.qjournal.selectinputstreams.timeout.ms HDFS hdfssite.xml dfs.qjournal.startsegment.timeout.ms HDFS hdfssite.xml dfs.qjournal.writetxns.timeout.ms HDFS hdfssite.xml dfs.replication HDFS hdfssite.xml dfs.replication.max HDFS hdfssite.xml dfs.web.authentication.kerberos.keytab HDFS hdfssite.xml dfs.web.authentication.kerberos.principal HDFS hdfssite.xml dfs.webhdfs.enabled HDFS hdfssite.xml hadoop.caller.context.enabled HDFS hdfssite.xml rpc.metrics.percentiles.intervals HDFS hdfssite.xml rpc.metrics.quantile.enable Hive hivesite.xml hive.auto.convert.join Hive hivesite.xml hive.auto.convert.sortmerge.join Hive hivesite.xml hive.auto.convert.sortmerge.join.to.mapjoin Hive hivesite.xml hive.compactor.initiator.on Hive hivesite.xml hive.default.fileformat Hive hivesite.xml hive.default.fileformat.managed Hive hivesite.xml hive.exec.compress.output Hive hivesite.xml hive.exec.dynamic.partition Hive hivesite.xml hive.exec.stagingdir Hive hivesite.xml hive.execution.engine Hive hivesite.xml hive.hook.proto.basedirectory Hive hivesite.xml hive.insert.into.multilevel.dirs Hive hivesite.xml hive.limit.optimize.enable Hive hivesite.xml hive.mapred.reduce.tasks.speculative.execution Hive hivesite.xml hive.merge.mapredfiles Hive hivesite.xml hive.metastore.authorization.storage.checks Hive hivesite.xml hive.metastore.warehouse.dir Hive hivesite.xml hive.metastore.warehouse.external.dir Hive hivesite.xml hive.optimize.bucketmapjoin Hive hivesite.xml hive.optimize.dynamic.partition.hashjoin Hive hivesite.xml hive.optimize.index.filter Hive hivesite.xml hive.optimize.metadataonly Hive hivesite.xml hive.optimize.remove.identity.project Hive hivesite.xml hive.server2.proxy.user Hive hivesite.xml hive.stats.fetch.column.stats Hive hivesite.xml hive.txn.strict.locking.mode Hive hivesite.xml hive.update.last.access.time.interval Hive hivesite.xml hive.user.install.directory Hive hivesite.xml hive.vectorized.execution.mapjoin.minmax.enabled Hive hivesite.xml hive.vectorized.execution.mapjoin.native.fast.hashtable.enabled Hive hivesite.xml hive.vectorized.groupby.checkinterval Hive hivesite.xml metastore.expression.proxy Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.json.log.path Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.loggers Kyuubi kyuubidefaults.conf kyuubi.delegation.token.renew.interval Kyuubi kyuubidefaults.conf kyuubi.ha.namespace Kyuubi kyuubidefaults.conf kyuubi.metrics.reporters Kyuubi kyuubidefaults.conf kyuubi.operation.getTables.ignoreTableProperties Kyuubi kyuubidefaults.conf kyuubi.session.engine.idle.timeout Kyuubi kyuubidefaults.conf kyuubi.session.idle.timeout Kyuubi kyuubidefaults.conf spark.master Kyuubi kyuubidefaults.conf spark.submit.deployMode Kyuubi kyuubidefaults.conf spark.yarn.queue Spark sparkdefaults.conf spark.driver.cores Spark sparkdefaults.conf spark.driver.extraJavaOptions Spark sparkdefaults.conf spark.driver.extraLibraryPath Spark sparkdefaults.conf spark.driver.maxResultSize Spark sparkdefaults.conf spark.driver.memory Spark sparkdefaults.conf spark.dynamicAllocation.enabled Spark sparkdefaults.conf spark.dynamicAllocation.initialExecutors Spark sparkdefaults.conf spark.dynamicAllocation.maxExecutors Spark sparkdefaults.conf spark.dynamicAllocation.minExecutors Spark sparkdefaults.conf spark.eventLog.dir Spark sparkdefaults.conf spark.executor.cores Spark sparkdefaults.conf spark.executor.extraJavaOptions Spark sparkdefaults.conf spark.executor.extraLibraryPath Spark sparkdefaults.conf spark.executor.heartbeatInterval Spark sparkdefaults.conf spark.executor.memory Spark sparkdefaults.conf spark.executorEnv.JAVAHOME Spark sparkdefaults.conf spark.files.openCostInBytes Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress.codec Spark sparkdefaults.conf spark.hadoop.yarn.timelineservice.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.interval Spark sparkdefaults.conf spark.history.fs.cleaner.maxAge Spark sparkdefaults.conf spark.history.fs.logDirectory Spark sparkdefaults.conf spark.history.kerberos.enabled Spark sparkdefaults.conf spark.history.kerberos.keytab Spark sparkdefaults.conf spark.history.store.maxDiskUsage Spark sparkdefaults.conf spark.history.ui.maxApplications Spark sparkdefaults.conf spark.history.ui.port Spark sparkdefaults.conf spark.io.compression.lz4.blockSize Spark sparkdefaults.conf spark.kryo.unsafe Spark sparkdefaults.conf spark.kryoserializer.buffer.max Spark sparkdefaults.conf spark.locality.wait Spark sparkdefaults.conf spark.master Spark sparkdefaults.conf spark.memory.offHeap.enabled Spark sparkdefaults.conf spark.memory.offHeap.size Spark sparkdefaults.conf spark.network.timeout Spark sparkdefaults.conf spark.port.maxRetries Spark sparkdefaults.conf spark.rdd.parallelListingThreshold Spark sparkdefaults.conf spark.reducer.maxSizeInFlight Spark sparkdefaults.conf spark.resultGetter.threads Spark sparkdefaults.conf spark.rpc.io.backLog Spark sparkdefaults.conf spark.scheduler.maxReqisteredResourcesWaitingTime Spark sparkdefaults.conf spark.shuffle.accurateBlockThreshold Spark sparkdefaults.conf spark.shuffle.file.buffer Spark sparkdefaults.conf spark.shuffle.io.connectionTimeout Spark sparkdefaults.conf spark.shuffle.manager Spark sparkdefaults.conf spark.shuffle.mapOutput.dispatcher.numThreads Spark sparkdefaults.conf spark.shuffle.memoryFraction Spark sparkdefaults.conf spark.shuffle.push.enabled Spark sparkdefaults.conf spark.shuffle.push.maxBlockSizeToPush Spark sparkdefaults.conf spark.shuffle.push.merge.finalizeThreads Spark sparkdefaults.conf spark.shuffle.push.mergersMinStaticThreshold Spark sparkdefaults.conf spark.shuffle.readHostLocalDisk Spark sparkdefaults.conf spark.shuffle.service.enabled Spark sparkdefaults.conf spark.shuffle.unsafe.file.output.buffer Spark sparkdefaults.conf spark.speculation Spark sparkdefaults.conf spark.speculation.interval Spark sparkdefaults.conf spark.speculation.minTaskRuntime Spark sparkdefaults.conf spark.speculation.multiplier Spark sparkdefaults.conf spark.speculation.quantile Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.initialPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.enabled Spark sparkdefaults.conf spark.sql.adaptive.forceApply Spark sparkdefaults.conf spark.sql.adaptive.forceOptimizeSkewedJoin Spark sparkdefaults.conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize Spark sparkdefaults.conf spark.sql.autoBroadcastJoinThreshold Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog.type Spark sparkdefaults.conf spark.sql.cbo.joinReorder.enabled Spark sparkdefaults.conf spark.sql.extensions Spark sparkdefaults.conf spark.sql.files.maxPartitionBytes Spark sparkdefaults.conf spark.sql.files.openCostInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionFactor Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionThresholdInBytes Spark sparkdefaults.conf spark.sql.hive.convertMetastoreOrc Spark sparkdefaults.conf spark.sql.hive.dropPartitionByName.enabled Spark sparkdefaults.conf spark.sql.inMemoryColumnarStorage.batchSize Spark sparkdefaults.conf spark.sql.join.preferSortMergeJoin Spark sparkdefaults.conf spark.sql.legacy.charVarcharAsString Spark sparkdefaults.conf spark.sql.legacy.timeParserPolicy Spark sparkdefaults.conf spark.sql.optimizer.finalStageConfigIsolation.enabled Spark sparkdefaults.conf spark.sql.optimizer.inferRebalanceAndSortOrders.enabled Spark sparkdefaults.conf spark.sql.optimizer.insertRepartitionBeforeWriteIfNoShuffle.enabled Spark sparkdefaults.conf spark.sql.optimizer.inSetConversionThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.enabled Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.number.threshold Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled Spark sparkdefaults.conf spark.sql.orc.aggregatePushdown Spark sparkdefaults.conf spark.sql.orc.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.orc.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.aggregatePushdown Spark sparkdefaults.conf spark.sql.parquet.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.parquet.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.pushdown.inFilterThreshold Spark sparkdefaults.conf spark.sql.query.table.file.max.count Spark sparkdefaults.conf spark.sql.query.table.file.max.length Spark sparkdefaults.conf spark.sql.query.table.partition.max.count Spark sparkdefaults.conf spark.sql.sessionWindow.buffer.in.memory.threshold Spark sparkdefaults.conf spark.sql.shuffle.partitions Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.parallelism Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.threshold Spark sparkdefaults.conf spark.sql.statistics.fallBackToHdfs Spark sparkdefaults.conf spark.sql.storeAssignmentPolicy Spark sparkdefaults.conf spark.sql.subquery.maxThreadThreshold Spark sparkdefaults.conf spark.sql.support.block.inferior.sql Spark sparkdefaults.conf spark.storage.decommission.shuffleBlocks.maxThreads Spark sparkdefaults.conf spark.task.reaper.enabled Spark sparkdefaults.conf spark.unsafe.sorter.spill.reader.buffer.size Spark sparkdefaults.conf spark.yarn.appMasterEnv.JAVAHOME Spark sparkdefaults.conf spark.yarn.containerLauncherMaxThreads Spark sparkdefaults.conf spark.yarn.scheduler.heartbeat.intervalms Spark sparkdefaults.conf spark.yarn.scheduler.initialallocation.interval Spark sparkenv.sh customsparkenv Spark sparkenv.sh sparkengine YARN mapredsite.xml mapreduce.application.classpath YARN mapredsite.xml mapreduce.cluster.acls.enabled YARN mapredsite.xml mapreduce.framework.name YARN mapredsite.xml mapreduce.job.aclmodifyjob YARN mapredsite.xml mapreduce.job.counters.counter.name.max YARN mapredsite.xml mapreduce.job.counters.group.name.max YARN mapredsite.xml mapreduce.job.counters.groups.max YARN mapredsite.xml mapreduce.job.counters.max YARN mapredsite.xml mapreduce.jobhistory.admin.acl YARN mapredsite.xml mapreduce.jobhistory.bindhost YARN mapredsite.xml mapreduce.jobhistory.donedir YARN mapredsite.xml mapreduce.jobhistory.http.policy YARN mapredsite.xml mapreduce.jobhistory.intermediatedonedir YARN mapredsite.xml mapreduce.jobhistory.recovery.enable YARN mapredsite.xml mapreduce.jobhistory.recovery.store.leveldb.path YARN mapredsite.xml mapreduce.map.env YARN mapredsite.xml mapreduce.map.java.opts YARN mapredsite.xml mapreduce.map.log.level YARN mapredsite.xml mapreduce.map.memory.mb YARN mapredsite.xml mapreduce.map.output.compress YARN mapredsite.xml mapreduce.map.output.compress.codec YARN mapredsite.xml mapreduce.map.sort.spill.percent YARN mapredsite.xml mapreduce.map.speculative YARN mapredsite.xml mapreduce.output.fileoutputformat.compress YARN mapredsite.xml mapreduce.output.fileoutputformat.compress.codec YARN mapredsite.xml mapreduce.reduce.env YARN mapredsite.xml mapreduce.reduce.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.java.opts YARN mapredsite.xml mapreduce.reduce.log.level YARN mapredsite.xml mapreduce.reduce.memory.mb YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.enabled YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.intervalms YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.timeoutms YARN mapredsite.xml mapreduce.reduce.shuffle.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.shuffle.merge.percent YARN mapredsite.xml mapreduce.reduce.shuffle.parallelcopies YARN mapredsite.xml mapreduce.reduce.speculative YARN mapredsite.xml mapreduce.shuffle.port YARN mapredsite.xml mapreduce.task.io.sort.factor YARN mapredsite.xml mapreduce.task.io.sort.mb YARN mapredsite.xml mapreduce.task.timeout YARN mapredsite.xml yarn.app.mapreduce.am.env YARN mapredsite.xml yarn.app.mapreduce.am.log.level YARN mapredsite.xml yarn.app.mapreduce.am.resource.mb YARN mapredsite.xml yarn.app.mapreduce.am.stagingdir YARN yarnsite.xml hadoop.http.authentication.simple.anonymous.allowed YARN yarnsite.xml hadoop.http.filter.initializers YARN yarnsite.xml hadoop.registry.client.auth YARN yarnsite.xml yarn.acl.enable YARN yarnsite.xml yarn.logaggregation.retainseconds YARN yarnsite.xml yarn.logaggregationenable YARN yarnsite.xml yarn.nodelabels.enabled YARN yarnsite.xml yarn.nodelabels.fsstore.rootdir YARN yarnsite.xml yarn.nodemanager.address YARN yarnsite.xml yarn.nodemanager.containerexecutor.class YARN yarnsite.xml yarn.nodemanager.diskhealthchecker.maxdiskutilizationperdiskpercentage YARN yarnsite.xml yarn.nodemanager.localizer.cache.targetsizemb YARN yarnsite.xml yarn.nodemanager.localizer.client.threadcount YARN yarnsite.xml yarn.nodemanager.localizer.fetch.threadcount YARN yarnsite.xml yarn.nodemanager.log.retainseconds YARN yarnsite.xml yarn.nodemanager.logaggregation.compressiontype YARN yarnsite.xml yarn.nodemanager.logaggregation.debugenabled YARN yarnsite.xml yarn.nodemanager.logaggregation.numlogfilesperapp YARN yarnsite.xml yarn.nodemanager.logaggregation.rollmonitoringintervalseconds YARN yarnsite.xml yarn.nodemanager.recovery.dir YARN yarnsite.xml yarn.nodemanager.recovery.enabled YARN yarnsite.xml yarn.nodemanager.recovery.supervised YARN yarnsite.xml yarn.nodemanager.remoteapplogdir YARN yarnsite.xml yarn.nodemanager.remoteapplogdirsuffix YARN yarnsite.xml yarn.nodemanager.resource.cpuvcores YARN yarnsite.xml yarn.nodemanager.resource.memorymb YARN yarnsite.xml yarn.nodemanager.resource.percentagephysicalcpulimit YARN yarnsite.xml yarn.nodemanager.resourcemanager.connect.wait.secs YARN yarnsite.xml yarn.nodemanager.vmemcheckenabled YARN yarnsite.xml yarn.nodemanager.vmempmemratio YARN yarnsite.xml yarn.nodemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.resourcemanager.clusterid YARN yarnsite.xml yarn.resourcemanager.fusing.enable YARN yarnsite.xml yarn.resourcemanager.fusingmaxapigetjobs YARN yarnsite.xml yarn.resourcemanager.ha.rmids YARN yarnsite.xml yarn.resourcemanager.hostname.rm1 YARN yarnsite.xml yarn.resourcemanager.hostname.rm2 YARN yarnsite.xml yarn.resourcemanager.maxcompletedapplications YARN yarnsite.xml yarn.resourcemanager.recovery.enabled YARN yarnsite.xml yarn.resourcemanager.scheduler.autocorrect.container.allocation YARN yarnsite.xml yarn.resourcemanager.scheduler.class YARN yarnsite.xml yarn.resourcemanager.scheduler.monitor.enable YARN yarnsite.xml yarn.resourcemanager.store.class YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm1 YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm2 YARN yarnsite.xml yarn.resourcemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.scheduler.maximumallocationmb YARN yarnsite.xml yarn.scheduler.maximumallocationvcores YARN yarnsite.xml yarn.scheduler.minimumallocationmb YARN yarnsite.xml yarn.scheduler.minimumallocationvcores YARN yarnsite.xml yarn.timelineservice.client.besteffort YARN yarnsite.xml yarn.timelineservice.client.maxretries YARN yarnsite.xml yarn.timelineservice.enabled YARN yarnsite.xml yarn.timelineservice.httpcrossorigin.enabled YARN yarnsite.xml yarn.webapp.ui2.enable

本章节主要介绍翼MapReduce服务HBase健康检查指标项说明。 运行良好的RegionServer数 指标项名称： 运行良好的RegionServer数 指标项含义 ：检查HBase集群中运行良好的RegionServer数。 恢复指导： 如果该指标项异常，请检查RegionServer的状态是否正常并处理，然后建议检查网络是否正常。 服务健康状态 指标项名称： 服务状态 指标项含义 ：检查HBase服务状态是否正常。如果状态不正常，则认为不健康。 恢复指导： 如果该指标项异常，请检查HMaster和RegionServer的状态是否正常并先处理，然后检查ZooKeeper服务的状态是否为故障并处理。使用客户端，确认是否可以正确读取HBase表中的数据，排查读数据失败的原因。最后参见告警进行处理。 检查告警 指标项名称： 告警信息 指标项含义 ：检查服务是否存在未清除的告警。如果存在，则认为不健康。 恢复指导： 如果该指标项异常，建议参见告警进行处理。

本章节为您介绍数据库安全网关的资产管理功能 在数据库安全网关中，资产是指系统需要防护和管理的数据库系统。资产管理是系统核心功能之一，涵盖了对各种数据库类型的安全监控与防护操作。 手动添加资产 1.登录数据库安全网关。 2.在左侧菜单栏选择“资产 > 资产管理”进入“资产管理”页面 ，单击页面的“新增”按钮。 注意 如果资产是集群，需要先在资产管理页面添加 集群的所有资产，包括每个节点的地址 和端口，以及ScanIP（集群扫描IP）等信息，然后切换到“集群配置”页面进行集群设置。 3.在弹出的“新增资产”对话框中，填写相关信息。 配置项 说明 类型 选择数据库的类型，系统支持数据库类型如下： 通用数据库：Oracle(包含RAC)、MySQL、MSSQL、Sybase ASE、DB2、Informix、Oscar、达梦(DM)、Cache、PostgreSQL、Teradata、人大金仓(Kingbase) 、GBase、MariaDB、Hana、MongoDB、GaussDB、GreenPlum、TiDB、Vertica、GoldenDB、UXDB、Doris、虚谷、HifhGo、OceanBase 大数据：HBase、Hive、Elasticsearch、Impala、SparkSQL、Clickhouse、Presto、Tdh、Odps 其他：HTTP、Trino 天翼云RDS：MySQL、PostgreSQL、MSSQL 说明 若您选择的资产类型为：Oracle、Hive、Trino，需要额外配置相关参数。 操作系统 设置资产所在主机的操作系统。 IP/域名 设置资产所在主机的IPv4 或者IPv6 或者域名。 端口 设置资产原生端口号。 代理端口 设置访问资产的反向代理端口。 防护模式 入侵检测模式：对数据库进行入侵检测，可以产生审计、告警、脱敏、运维日志，但不会对请求进行阻断和脱敏； 入侵防护模式：对数据库进行入侵检测和防护，除可以生成审计、告警、脱敏、运维日志外，还可以对请求进行阻断和脱敏。 默认数据源 默认关闭，可启用。 支持Oracle、MySQL、MSSQL、DB2、达梦(DM)、PostgreSQL、MariaDB、UXDB、Hive、Tdh等。 默认数据源用途： 1. 新增敏感数据扫描任务时，自动带出数据源信息，减少用户操作步骤； 2. 安全规则配置“影响行数”维度，该规则匹配依赖资产的默认数据源。 数据库名 填写数据库名。（MSSQL、DB2、PostgreSQL、UXDB等） 用户名 填写数据库的用户名。 密码 填写数据库的密码。 测试 测试数据库的连通性。 4.配置完成后，单击“测试”进行资产连接测试，若正常则会提示连接成功。 5.单击“保存” ，弹出是否需要立即进行敏感数据扫描的提示框： 若选择“确定” ，则跳转到“资产 > 敏感数据 > 敏感数据扫描”页面进行下一步。 若选择“取消” ，则停留在资产管理页面。

数据库安全审计支持对云上的RDS关系型数据库、ECS/BMS自建数据库进行审计。 购买数据库安全审计实例后，您需要将待审计的数据库添加至数据库安全审计实例中。 前提条件 已成功购买数据库安全审计实例，且实例的状态为“运行中”。 添加数据库 1. 登录管理控制台。 2. 单击右上角的，选择区域。 3. 选择“安全 > 数据库安全服务”，进入数据库安全防护实例列表界面。 4. 在左侧导航树中，选择“数据库安全审计 > 数据库列表”，进入数据库列表界面。 5. 在“选择实例”下拉列表框中，选择需要添加数据库的实例。 6. 在数据库列表框左上方，单击“添加数据库”。 7. 在弹出的对话框中，设置数据库的信息，如图所示，相关数据库参数说明所示，添加数据库对话框。 8. 单击“确定”，数据库列表中将新增一条“审计状态”为“已关闭”的数据库。 注意 数据库添加完成后，请您确认添加的数据库信息正确。如果数据库信息不正确，请您在数据库所在行单击“删除”，删除数据库后，再重新添加数据库。 数据库参数说明 参数名称 说明 取值样例 数据库名称 您可以自定义添加的数据库的名称。 test1 IP地址 添加的数据库的IP地址。IP必须为内网IP地址，支持IPv4和IPv6格式。 IPv4：192.168.1.1 IPv6：fe80:0000:0000:0000:0000:0000:0000:0000 数据库类型 支持的数据库类型，您可以选择以下类型： MYSQL ORACEL POSTGRESQL SQLSERVER DWS TAURUS GaussDB DAMENG KINGBASE MongoDB Hbase SHENTONG GBase 8a GBase XDM Custer Greenpum HighGo Mariadb说明当数据库类型选择ORACE时，待审计的应用程序需重启，重新登录数据库。 MySQL 端口 添加的数据库的端口。 3306 数据库版本 支持的数据库版本。 当“数据库类型”选择“MYSQL”时，您可以选择以下版本： 当“数据库类型”选择“ORACEL”时，您可以选择以下版本：− 11g − 12c − 19c 当“数据库类型”选择“POSTGRESQL”时，您可以选择以下版本：− 7.4 − 8.0 8.0、8.1、8.2、8.3、8.4 − 9.0 9.0、9.1、9.2、9.3、9.4、9.5、9.6 − 10.0 10.0、10.1、10.2、10.3、10.4、10.5 − 11.0 − 12.0 − 13.0 当“数据库类型”选择“SQLSERVER”时，您可以选择以下版本：− 2008 − 2012 − 2014 − 2016 − 2017
数据库类型”选择“DWS”时，您可以选择以下版本：− 1.5 当“数据库类型”选择“TAURUS”时，您可以选择以下版本：− MySQL 8.0 当“数据库类型”选择“GaussDB”时，您可以选择以下版本：− 1.4企业版 当“数据库类型”选择“DAMENG”时，您可以选择以下版本：− DM8 当“数据库类型”选择“KINGBASE”时，您可以选择以下版本：− V8 5.0 实例名 您可以指定需要审计的数据库的实例名称。说明 如果实例名为空，数据库安全审计将审计数据库中所有的实例。 如果填写实例名，数据库安全审计将审计填写的实例，最多可填写5个实例名，且实例名以“;”分隔。 选择字符集 支持的数据库字符集的编码格式，您可以选择以下编码格式： UTF8 GBK UTF8 操作系统 添加的数据库运行的操作系统，您可以选择以下操作系统： INUX64 WINDOWS64 INUX64 数据库类别 选择添加的数据库类别，“RDS数据库”或“自建数据库”。 RDS数据库

本章节主要介绍翼MapReduce组件HBase支持的压缩算法。 HBase目前默认支持的压缩算法有snappy和gz，根据需要可以增加lzo、lz4、bzip2等算法支持。

此小节介绍数据库安全相关术语解释。 可用区（AZ） 一个可用区是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 非关系型数据库 按照非关系型数据结构来联系和组织的数据库。按不同的数据结构，可细分为以下几种：键值存储数据库（keyvalue）、列存储（Columnoriented）数据库、面向文档（DocumentOriented）数据库、图形数据库。常用非关系型数据库有：Memcached、Redis、MongoDB、Cassandra、HBase、MemacheDB、BerkeleyDB等。 非系统数据库 非系统数据库是指除系统数据库以外的数据库，比如用户自建数据库。 内存数据库 将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。 SQL注入 SQL注入攻击是一种常见的Web攻击方法，攻击者通过把SQL命令注入到Web后台数据库的查询字符串中，最终达到欺骗服务器执行恶意SQL命令的目的。例如可以从数据库获取敏感信息，或者利用数据库的特性执行添加用户、导出文件等一系列恶意操作，甚至有可能获取数据库乃至系统用户最高权限。 正则表达式 用于指定和识别文本字符串（如特定字符，单词或字符模式）的一种简洁而灵活的方式。正则表达式模式是包含下列字段的对象：名称和正则表达式定义字符串。

2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）重启FlinkHistoryServer服务，推荐滚动重启。 Kyuubi 1、修改配置 1）前往Manager页面，集群服务> Kyuubi集群> 配置管理> default配置组> 配置文件kyuubidefaults.conf > 配置项kyuubi.ha.addresses。 2）将新的ZK节点，添加到配置项kyuubi.ha.addresses中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kyuubi服务，推荐滚动重启。 HBase 1、修改配置 1）前往Manager页面，集群服务> HBase集群> 配置管理> default配置组> 配置文件hbasesite.xml > 配置项hbase.zookeeper.quorum。 2）将新的ZK节点，添加到配置项hbase.zookeeper.quorum中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启HBase所有服务，包含HMaster和HRegionServer，推荐滚动重启。 Kafka 警告：Kafka不建议重启，所以不建议修改ZK节点。 原因：Kafka每个节点都是有状态的，每个节点的主分区都不一样，重启会导致业务受影响。 1、修改配置 1）前往Manager页面，集群服务> Kafka集群> 配置管理> default配置组> 配置文件server.properties > 配置项zookeeper.connect。 2）将新的ZK节点，通过vs统一修改3个配置，添加到配置项zookeeper.connect中。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kafka所有服务。请谨慎进行Kafka集群的重启操作。

可能原因 HQL命令语法错误。 执行Hive on HBase任务时HBase服务异常。 执行Hive on Spark任务时Spark服务异常。 依赖的基础服务HDFS、Yarn、ZooKeeper等异常。 处理步骤 检查HQL命令是否符合语法 1.在FusionInsight Manager界面选择“运维 > 告警”，查看告警详情，获取产生告警的节点信息。 2.使用Hive客户端连接到产生该告警的HiveServer节点，查询Apache提供的HQL语法规范，确认输入的命令是否正确。详情请参见 是，执行步骤4。 否，执行步骤3。 说明 若想查看执行错误语句的用户，可下载产生该告警的HiveServer节点的HiveServerAudit日志，下载的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟。打开日志文件查找“ResultFAIL”关键字筛选执行错误语句的日志信息，再根据日志信息中的“UserName”查看执行错误语句的用户。 3.输入正确的HQL语句，观察命令是否正确执行。 是，执行步骤12。 否，执行步骤4。 检查HBase服务是否异常 4.与执行HQL命令的用户确认是否执行的是Hive on HBase任务。 是，执行步骤5。 否，执行步骤8。 5.在FusionInsight Manager界面选择“集群 > 待操作集群的名称 > 服务”，在服务列表查看HBase服务状态是否正常。 是，执行步骤8。 否，执行步骤6。 6.选择“运维 > 告警”，查看告警界面的HBase相关告警，参照对应告警帮助进行处理。 7.输入正确的HQL语句，观察命令是否正确执行。 是，执行步骤12。 否，执行步骤8。

组件名称 组件告警目录 Hbase /hbase Hive /beelinesql Yarn /rmstore Storm /stormroot Streaming /storm Kafka /kafka

本文为您介绍批量新增非天翼云云主机的具体操作。 使用条件 进行批量新增非天翼云云主机操作前，需创建命名空间。 新增非天翼云云主机时，需选择分区类型存在三方数据中心的命名空间。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源管理”“云主机”，进入云主机列表页。 5. 在列表上方下拉菜单中选择需要进行新增非天翼云云主机操作的命名空间。 6. 点击“新增非天翼云云主机”按钮，选择“新增批量”。 7. 在批量新增非天翼云云主机弹窗中，点击“下载模板”，在模板上填写非天翼云云主机相关信息。 8. 将模板中说明行删除后，保存文件，点击弹窗内“上传”按钮，完成批量非天翼云云主机信息上传。 9. 上传后，可查看可导入和无法导入的非天翼云云主机。 10. 确认信息后，点击“确定”按钮，完成可导入非天翼云云主机批量导入。

类别 默认用户 初始密码 描述 组件运行用户 hdfs Hdfs@123 HDFS系统管理员，用户权限： 1. 文件系统操作权限： 查看、修改、创建文件 查看、创建目录 查看、修改文件属组 查看、设置用户磁盘配额 2. HDFS管理操作权限： 查看webUI页面状态 查看、设置HDFS主备状态 进入、退出HDFS安全模式 检查HDFS文件系统。 hbase Hbase@123 HBase系统管理员，用户权限： 集群管理权限:表的Enable、Disable操作，触发MajorCompact，ACL操作 授权或回收权限，集群关闭等操作相关的权限 表管理权限:建表、修改表、删除表等操作权限 数据管理权限：表级别、列族级别以及列级别的数据读写权限 访问HBase WebUI的权限。 mapred Mapred@123 MapReduce系统管理员，用户权限： 提交、停止和查看MapReduce任务的权限 修改Yarn配置参数的权限 访问Yarn、MapReduce WebUI的权限。 spark Spark@123 Spark系统管理员，用户权限： 访问Spark WebUI的权限 提交Spark任务的权限。

本章节主要介绍如何快速创建一个HBase查询集群。 本章节为您介绍如何快速创建一个HBase查询集群，HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 快速创建HBase查询集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“HBase查询集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

同步天翼云云主机 使用条件 单次同步天翼云云主机实例上限为10个。 进行同步天翼云云主机等相关资源同步操作前，需创建命名空间。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源管理”“云主机”，进入天翼云云主机列表页。 5. 在列表上方下拉菜单中选择需要进行同步云主机操作的命名空间。 6. 点击页面右上角“同步天翼云云主机”按钮，弹出同步天翼云云主机弹窗。 7. 选择资源所属地域，选中同步的云主机实例。若存在选中云主机IP与系统中云主机实例IP相同，在远程连接信息相同的情况下，通过脚本远程连接执行命令时可能会误操作，用户需对警告提示确认。 8. 点击“确定”按钮，完成天翼云云主机实例同步操作。 删除天翼云云主机

本文为您介绍新增/测试/编辑/删除/远程连接设置非天翼云云主机的具体操作。 新增非天翼云云主机 使用条件 进行新增非天翼云云主机等相关资源同步操作前，需创建命名空间。 新增非天翼云云主机时，需选择分区类型存在三方数据中心的命名空间。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源管理”“云主机”，进入云主机列表页。 5. 点击列表上方标签页中“非天翼云云主机”栏，进入非天翼云云主机列表页。 6. 在列表上方下拉菜单中选择需要进行新增非天翼云云主机操作的命名空间。 7. 点击页面右上角“新增非天翼云云主机”按钮，跳转新增非天翼云云主机页面。 8. 填写新增非天翼云云主机相关信息，各配置项信息如下： 参数 是否必填 配置说明 云主机实例名 √ 填写云主机实例名，同命名空间下非天翼云云主机实例名称需唯一。 长度为263字符。 所属分区 √ 选择当前命名空间下云主机所属分区。 操作系统类型 √ 选择操作系统类型，可选Linux/Windows。 操作系统版本 √ 填写操作系统版本。 长度为263字符。 IP地址 √ 输入云主机IP地址，该地址需为多活容灾服务平台能与其连通的IP地址。 每个字段的数据范围为0255，不可填0.0.0.0或255.255.255.255。 若IP与系统中已有天翼云云主机或非天翼云云的公网IP重复，需用户确认相关警告。 配置 × 填写或选择当前云主机的配置。 CPU数值范围为1512，内存数值范围为12048。 远程连接 √ 选择远程连接是否开启，默认开启。 连接协议 √ 远程连接开启时显示。所选操作系统为Linux时，连接协议展示为SSH，所选操作系统为Windows时，连接协议展示为WinRM。 连接端口 √ 远程连接开启时显示。填写连接端口，所选操作系统为Linux时，默认为22，所选操作系统为Windows时，默认为5985。 端口范围为165535。 认证方式 √ 远程连接开启时显示。选择认证方式，所选操作系统为Linux时，可选密码/密钥对，所选操作系统为Windows时，可选密码。 用户名 √ 远程连接开启时显示，填写认证用户名。 长度最多为63位。 密码 √ 远程连接开启且认证方式为密码时显示，填写认证密码。 长度最多为63位。 密钥文件 √ 远程连接开启且认证方式为密钥时显示，填写密钥文件。 长度最多为5000字符。 其他执行用户 √ 远程连接开启且操作系统类型为Linux时显示，选择是否开启其他执行用户，默认关闭。 执行用户名 √ 远程连接开启、操作系统为Linux、开启其他执行用户时显示，填写执行用户名。 长度最多为63位。 执行用户密码 √ 远程连接开启、操作系统为Linux、开启其他执行用户时显示，填写执行用户密码。 长度最多为63位。 描述 × 填写描述。 长度为0100个字符。 连接状态 √ 调试当前云主机状态，点击“测试”按钮进行连接测试，测试状态可为未知、连接成功、连接失败、测试中。 9. 点击“确定”按钮，完成新增非天翼云云主机。

本页面介绍了云数据库ClickHouse产品服务条款。 天翼云云数据库ClickHouse服务条款，详情请参见《天翼云数据库ClickHouse服务协议》。

备份类型 备份内容 备份目录类型 HBase 备份表级别的用户数据。对于安装了多服务的集群，支持多个HBase服务实例的备份恢复功能且备份恢复操作与HBase服务实例一致。 l RemoteHDFS l NFS l CIFS l SFTP HDFS 备份用户业务对应的目录或文件。 说明 加密目录不支持备份恢复。 l RemoteHDFS l NFS l CIFS l SFTP Hive 备份表级别的用户数据。对于安装了多服务的集群，支持多个Hive服务实例的备份恢复功能且备份恢复操作与Hive服务实例一致。 l RemoteHDFS l NFS l CIFS l SFTP

本页面介绍了云数据库ClickHouse产品服务等级协议。 天翼云云数据库ClickHouse服务等级协议，详情请参见《天翼云数据库Clickhouse服务等级协议》。