本文主要介绍了自动续订规则及操作流程。 为避免由于未及时对资源采取续订操作，资源被到期冻结或超期释放，客户购买包月包年产品后，可设置开通自动续订。开通自动续订后，系统将在资源到期前自动续订，无需客户再手动操作。 适用范围 自动续订仅针对采用包月、包年计费模式的资源。 已到期资源不支持设置/修改自动续订。 自动续订仅适于 付费用户 ，不适用于非付费用户。 目前支持设置自动续订的产品有：弹性云主机、GPU云主机、物理机、云桌面、云硬盘、对象存储经典版、云主机备份、专属云计算独享型、专属云存储独享型、弹性IP、共享带宽、天翼云SDWAN、云间高速、关系数据库MySQL版、关系数据库Postgre SQL版、分布式关系数据库、分布式缓存服务Redis版、分布式缓存服务Memcache、文档数据库服务、云HBASE数据库、分布式消息服务RocketMQ、分布式消息服务RabbitMQ、分布式消息服务Kafka、Web应用防火墙、服务器安全卫士、域名无忧、DDos高防IP、云解析、登录保护、网站安全监测、内容安全。 单次最多支持20个资源实例批量续订。 开通、变更、关闭自动续订 用户在续订管理页可开通自动续订功能，变更自动续约周期，或关闭自动续订。 不关闭自动续订的情况下，只要预付费账户余额充足，或为后付费客户，系统将持续按设定的周期自动续订下去。 预付费用户可在官网自主控制自动续订功能的开通、变更、关闭。后付费用户需要客户经理协助开启自动续订权限后才可以自主管理。

MRS是否支持通过Hive的HBase外表将数据写入到HBase？ 不支持。 Hive on HBase只支持查询，不支持更改数据。 如何查看HBase日志？ 1.使用root用户登录集群的Master节点。 2.执行su omm 命令，切换到omm用户。 3.执行 cd /var/log/Bigdata/hbase/ 命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。 HBase表如何设置和修改数据保留期？ 创建表时指定： 创建ttasklog表，列族f, TTL设置86400秒过期。 create 'ttasklog',{NAME > 'f', TTL>'86400'} 在已有表的基础上指定： alter "ttasklog",NAME>'data',TTL>'86400' 设置TTL值，作用于列族data 如何修改HDFS的副本数？ 搜索并修改“dfs.replication”的值，合理修改这个数值，该参数取值范围为1~16，重启HDFS实例。 如何修改HDFS主备倒换类？ 当MRS 3.x版本集群使用HDFS连接NameNode报类org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider无法找到时，是由于MRS 3.x版本集群HDFS的主备倒换类默认为该类，可通过如下方式解决。 方式一：添加hadooppluginsxxx.jar到程序的classpath或者lib目录中。 hadooppluginsxxx.jar包一般在HDFS客户端目录下：$HADOOPHOME/share/hadoop/common/lib/hadoopplugins8.0.2302023.jar 方式二：将HDFS的如下配置项修改为开源类： dfs.client.failover.proxy.provider.haclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider DynamoDB的number在Hive表中用什么类型比较好？ Hive支持smallint。 推荐使用smallint类型。

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

本章节介绍创建MRS服务的方式。 快速创建Hadoop分析集群：快速创建Hadoop分析集群为您提高了配置效率，可以在几分钟之内快速创建Hadoop集群，更加方便快捷的进行海量数据分析与查询。 快速创建HBase查询集群：快速创建HBase查询集群为您提高了配置效率，可以在几分钟之内快速创建HBase集群，更加方便快捷的进行海量数据存储以及分布式计算。 快速创建Kafka流式集群：快速创建Kafka流式集群为您提高了配置效率，可以在几分钟之内快速创建Kafka集群，更加方便快捷的进行流式数据采集，实时数据处理存储等。 快速创建ClickHouse集群：快速创建一个ClickHouse集群，ClickHouse是一个用于联机分析的列式数据库管理系统，具有极致压缩率和极速查询性能。 快速创建实时分析集群：快速创建一个实时分析集群为您提高了配置效率，可以在几分钟之内快速创建实时分析集群，更加方便快捷的进行海量的数据采集、数据的实时分析和查询。 创建自定义集群：自定义创建可以灵活地选择配置项，针对不同的应用场景，可以选择不同规格的弹性云主机，全方位贴合您的业务诉求。

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

本章节主要介绍自定义服务配置的使用方法。 操作场景 HDFS、YARN、Hive等服务含有大量配置项，为便于服务使用，您可使用自定义服务配置功能，在创建集群或新增服务前修改或添加配置项。 前提条件 当前支持用户对HDFS、Hive、Spark、HBase、YARN、Kyuubi的部分文件进行修改与添加配置项。其他组件服务暂不支持使用自定义服务配置功能。 操作步骤 1、支持用户在订购环节对所选服务进行配置修改与添加。 1）在翼MR订购页软件配置环节选择所需组件服务。 2）在软件配置环节，开启自定义服务配置开关。 3）在输入框中添加JSON 格式的配置信息。 2、支持用户在新增集群服务环节对所选服务的配置进行修改与添加。 1）在翼MR控制台集群服务管理页面选择需要新增部署的组件服务。 2）在弹窗中开启自定义服务配置开关。 3）在输入框中添加JSON 格式的配置信息。 配置说明 在创建集群或新增集群服务过程中，可通过自定义服务配置功能，添加JSON格式的配置文件，覆盖或添加集群服务的默认参数。JSON文件的内容示例如下： plaintext [ { "applicationName":"YARN", "configFileName":"mapredsite.xml", "configItemKey":"mapreduce.task.timeout", "configItemValue":"200000" }, { "applicationName":"HDFS", "configFileName":"hdfssite.xml", "configItemKey":"dfs.replication", "configItemValue":"2" } ] 参数含义说明： 参数名称 说明 applicationName 服务的名称。 configFileName 配置文件的名称。 configItemKey 配置项的名称。 configItemValue 该配置需要设置的具体内容。 针对不同文件自定义服务配置的修改方式有所不同 1、全文修改 部分配置文件只能进行全文覆盖。用户需要使用CONFCONTENT作为configItemKey，在configItemValue中输入转义后的配置文件内容，输入的配置文件内容会在部署后自动覆盖到服务对应的配置上。文件内容的字符串需要用户对常见字符进行转义，如双引号、单引号、换行符、反斜杠等。需要通过全文覆盖方式进行配置修改的文件如下： 服务名称 配置文件 HBase hbaseenv.sh HBase log4j.properties HDFS hadoopenv.sh YARN mapredenv.sh YARN yarnenv.sh Hive hiveenv.sh Hive hivelog4j2.properties Kyuubi kyuubienv.sh 2、按配置项修改 部分配置文件支持按配置项进行修改，支持修改的配置项如下： 说明 1）Kerberos的krb5.conf文件，只支持使用kerberosRealm作为configItemKey来配realm，暂不支持配置其它配置项。 2）Spark的sparkenv.sh文件中，customsparkenv配置项需要对参照上文全文修改的方式，对文件内容进行转义。 服务名称 配置文件 配置项 HBase hbasesite.xml hbase.cluster.distributed HBase hbasesite.xml hbase.coprocessor.abortonerror HBase hbasesite.xml hbase.coprocessor.master.classes HBase hbasesite.xml hbase.coprocessor.region.classes HBase hbasesite.xml hbase.master.kerberos.principal HBase hbasesite.xml hbase.master.keytab.file HBase hbasesite.xml hbase.master.loadbalancer.class HBase hbasesite.xml hbase.quota.enabled HBase hbasesite.xml hbase.quota.refresh.period HBase hbasesite.xml hbase.regionserver.kerberos.principal HBase hbasesite.xml hbase.regionserver.keytab.file HBase hbasesite.xml hbase.rest.authentication.kerberos.keytab HBase hbasesite.xml hbase.rest.authentication.kerberos.principal HBase hbasesite.xml hbase.rest.kerberos.principal HBase hbasesite.xml hbase.rootdir HBase hbasesite.xml hbase.security.authentication HBase hbasesite.xml hbase.security.authorization HBase hbasesite.xml hbase.superuser HBase hbasesite.xml hbase.thrift.kerberos.principal HBase hbasesite.xml hbase.thrift.keytab.file HBase hbasesite.xml hbase.tmp.dir HBase hbasesite.xml hbase.unsafe.stream.capability.enforce HBase hbasesite.xml hbase.wal.provider HBase hbasesite.xml hbase.zookeeper.property.clientPort HBase hbasesite.xml hbase.zookeeper.quorum HBase hbasesite.xml zookeeper.znode.parent HDFS coresite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS coresite.xml fs.AbstractFileSystem.jfs.impl HDFS coresite.xml fs.defaultFS HDFS coresite.xml fs.du.interval HDFS coresite.xml fs.getspaceused.jitterMillis HDFS coresite.xml fs.jfs.impl HDFS coresite.xml fs.permissions.umaskmode HDFS coresite.xml fs.trash.checkpoint.interval HDFS coresite.xml fs.trash.interval HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.m HDFS coresite.xml ha.failovercontroller.newactive.rpctimeout.ms HDFS coresite.xml ha.healthmonitor.rpctimeout.ms HDFS coresite.xml ha.zookeeper.quorum HDFS coresite.xml ha.zookeeper.sessiontimeout.ms HDFS coresite.xml hadoop.caller.context.enabled HDFS coresite.xml hadoop.kerberos.kinit.command HDFS coresite.xml hadoop.proxyuser.hdfs.groups HDFS coresite.xml hadoop.proxyuser.hdfs.hosts HDFS coresite.xml hadoop.proxyuser.hive.groups HDFS coresite.xml hadoop.proxyuser.hive.hosts HDFS coresite.xml hadoop.proxyuser.HTTP.groups HDFS coresite.xml hadoop.proxyuser.HTTP.hosts HDFS coresite.xml hadoop.proxyuser.httpfs.groups HDFS coresite.xml hadoop.proxyuser.httpfs.hosts HDFS coresite.xml hadoop.proxyuser.yarn.groups HDFS coresite.xml hadoop.proxyuser.yarn.hosts HDFS coresite.xml hadoop.rpc.protection HDFS coresite.xml hadoop.security.authtolocal HDFS coresite.xml hadoop.security.authentication HDFS coresite.xml hadoop.security.authorization HDFS coresite.xml hadoop.security.group.mapping HDFS coresite.xml hadoop.security.group.mapping.ldap.base HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.password.file HDFS coresite.xml hadoop.security.group.mapping.ldap.bind.user HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts HDFS coresite.xml hadoop.security.group.mapping.ldap.num.attempts.before.failover HDFS coresite.xml hadoop.security.group.mapping.ldap.posix.attr.uid.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.group.name HDFS coresite.xml hadoop.security.group.mapping.ldap.search.attr.member HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.group HDFS coresite.xml hadoop.security.group.mapping.ldap.search.filter.user HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users HDFS coresite.xml hadoop.security.group.mapping.provider.ldap4users.ldap.url HDFS coresite.xml hadoop.security.group.mapping.provider.shell4services HDFS coresite.xml hadoop.security.group.mapping.providers HDFS coresite.xml hadoop.security.group.mapping.providers.combined HDFS coresite.xml httpfs.proxyuser.mapred.groups HDFS coresite.xml httpfs.proxyuser.mapred.hosts HDFS coresite.xml io.compression.codec.lzo.class HDFS coresite.xml io.file.buffer.size HDFS coresite.xml ipc.client.connection.maxidletime HDFS coresite.xml ipc.server.listen.queue.size HDFS coresite.xml ipc.server.log.slow.rpc HDFS coresite.xml jeekefs.cachedir HDFS coresite.xml jeekefs.cachesize HDFS coresite.xml jeekefs.discovernodesurl HDFS coresite.xml jeekefs.meta HDFS coresite.xml jeekefs.serverprincipal HDFS coresite.xml topology.script.file.name HDFS hdfssite.xml dfs.block.access.token.enable HDFS hdfssite.xml dfs.blockreport.incremental.intervalMsec HDFS hdfssite.xml dfs.blockreport.initialDelay HDFS hdfssite.xml dfs.blockreport.intervalMsec HDFS hdfssite.xml dfs.blockreport.split.threshold HDFS hdfssite.xml dfs.blocksize HDFS hdfssite.xml dfs.client.failover.proxy.provider.ctyunns HDFS hdfssite.xml dfs.client.read.shortcircuit HDFS hdfssite.xml dfs.client.sockettimeout HDFS hdfssite.xml dfs.cluster.administrators HDFS hdfssite.xml dfs.datanode.address HDFS hdfssite.xml dfs.datanode.cacheddfsused.check.interval.ms HDFS hdfssite.xml dfs.datanode.data.dir HDFS hdfssite.xml dfs.datanode.data.dir.perm HDFS hdfssite.xml dfs.datanode.directoryscan.threads HDFS hdfssite.xml dfs.datanode.du.reserved.calculator HDFS hdfssite.xml dfs.datanode.du.reserved.pct HDFS hdfssite.xml dfs.datanode.failed.volumes.tolerated HDFS hdfssite.xml dfs.datanode.fileio.profiling.sampling.percentage HDFS hdfssite.xml dfs.datanode.handler.count HDFS hdfssite.xml dfs.datanode.http.address HDFS hdfssite.xml dfs.datanode.kerberos.principal HDFS hdfssite.xml dfs.datanode.keytab.file HDFS hdfssite.xml dfs.datanode.max.transfer.threads HDFS hdfssite.xml dfs.datanode.max.xcievers HDFS hdfssite.xml dfs.datanode.peer.stats.enabled HDFS hdfssite.xml dfs.domain.socket.path HDFS hdfssite.xml dfs.encrypt.data.transfer.cipher.suites HDFS hdfssite.xml dfs.ha.automaticfailover.enabled HDFS hdfssite.xml dfs.ha.fencing.methods HDFS hdfssite.xml dfs.ha.namenodes.ctyunns HDFS hdfssite.xml dfs.hosts.exclude HDFS hdfssite.xml dfs.image.transfer.bandwidthPerSec HDFS hdfssite.xml dfs.internal.nameservices HDFS hdfssite.xml dfs.journalnode.edits.dir.ctyunns HDFS hdfssite.xml dfs.journalnode.httpaddress HDFS hdfssite.xml dfs.journalnode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.journalnode.kerberos.principal HDFS hdfssite.xml dfs.journalnode.keytab.file HDFS hdfssite.xml dfs.journalnode.rpcaddress HDFS hdfssite.xml dfs.namenode.accesstime.precision HDFS hdfssite.xml dfs.namenode.acls.enabled HDFS hdfssite.xml dfs.namenode.audit.log.async HDFS hdfssite.xml dfs.namenode.avoid.read.stale.datanode HDFS hdfssite.xml dfs.namenode.avoid.write.stale.datanode HDFS hdfssite.xml dfs.namenode.block.deletion.increment HDFS hdfssite.xml dfs.namenode.checkpoint.dir HDFS hdfssite.xml dfs.namenode.checkpoint.edits.dir HDFS hdfssite.xml dfs.namenode.checkpoint.period HDFS hdfssite.xml dfs.namenode.checkpoint.txns HDFS hdfssite.xml dfs.namenode.deletefiles.limit HDFS hdfssite.xml dfs.namenode.edit.log.autoroll.multiplier.threshold HDFS hdfssite.xml dfs.namenode.fslimits.maxdirectoryitems HDFS hdfssite.xml dfs.namenode.fslock.fair HDFS hdfssite.xml dfs.namenode.handler.count HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.httpaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.kerberos.internal.spnego.principal HDFS hdfssite.xml dfs.namenode.kerberos.principal HDFS hdfssite.xml dfs.namenode.keytab.file HDFS hdfssite.xml dfs.namenode.lock.detailedmetrics.enabled HDFS hdfssite.xml dfs.namenode.name.dir HDFS hdfssite.xml dfs.namenode.name.dir.restore HDFS hdfssite.xml dfs.namenode.quota.initthreads HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.rpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.safemode.thresholdpct HDFS hdfssite.xml dfs.namenode.service.handler.count HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn1 HDFS hdfssite.xml dfs.namenode.servicerpcaddress.ctyunns.nn2 HDFS hdfssite.xml dfs.namenode.shared.edits.dir.ctyunns HDFS hdfssite.xml dfs.namenode.stale.datanode.interval HDFS hdfssite.xml dfs.namenode.startup.delay.block.deletion.sec HDFS hdfssite.xml dfs.namenode.support.allow.format HDFS hdfssite.xml dfs.namenode.write.stale.datanode.ratio HDFS hdfssite.xml dfs.nameservices HDFS hdfssite.xml dfs.permissions.superusergroup HDFS hdfssite.xml dfs.qjournal.selectinputstreams.timeout.ms HDFS hdfssite.xml dfs.qjournal.startsegment.timeout.ms HDFS hdfssite.xml dfs.qjournal.writetxns.timeout.ms HDFS hdfssite.xml dfs.replication HDFS hdfssite.xml dfs.replication.max HDFS hdfssite.xml dfs.web.authentication.kerberos.keytab HDFS hdfssite.xml dfs.web.authentication.kerberos.principal HDFS hdfssite.xml dfs.webhdfs.enabled HDFS hdfssite.xml hadoop.caller.context.enabled HDFS hdfssite.xml rpc.metrics.percentiles.intervals HDFS hdfssite.xml rpc.metrics.quantile.enable Hive hivesite.xml hive.auto.convert.join Hive hivesite.xml hive.auto.convert.sortmerge.join Hive hivesite.xml hive.auto.convert.sortmerge.join.to.mapjoin Hive hivesite.xml hive.compactor.initiator.on Hive hivesite.xml hive.default.fileformat Hive hivesite.xml hive.default.fileformat.managed Hive hivesite.xml hive.exec.compress.output Hive hivesite.xml hive.exec.dynamic.partition Hive hivesite.xml hive.exec.stagingdir Hive hivesite.xml hive.execution.engine Hive hivesite.xml hive.hook.proto.basedirectory Hive hivesite.xml hive.insert.into.multilevel.dirs Hive hivesite.xml hive.limit.optimize.enable Hive hivesite.xml hive.mapred.reduce.tasks.speculative.execution Hive hivesite.xml hive.merge.mapredfiles Hive hivesite.xml hive.metastore.authorization.storage.checks Hive hivesite.xml hive.metastore.warehouse.dir Hive hivesite.xml hive.metastore.warehouse.external.dir Hive hivesite.xml hive.optimize.bucketmapjoin Hive hivesite.xml hive.optimize.dynamic.partition.hashjoin Hive hivesite.xml hive.optimize.index.filter Hive hivesite.xml hive.optimize.metadataonly Hive hivesite.xml hive.optimize.remove.identity.project Hive hivesite.xml hive.server2.proxy.user Hive hivesite.xml hive.stats.fetch.column.stats Hive hivesite.xml hive.txn.strict.locking.mode Hive hivesite.xml hive.update.last.access.time.interval Hive hivesite.xml hive.user.install.directory Hive hivesite.xml hive.vectorized.execution.mapjoin.minmax.enabled Hive hivesite.xml hive.vectorized.execution.mapjoin.native.fast.hashtable.enabled Hive hivesite.xml hive.vectorized.groupby.checkinterval Hive hivesite.xml metastore.expression.proxy Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.json.log.path Kyuubi kyuubidefaults.conf kyuubi.backend.server.event.loggers Kyuubi kyuubidefaults.conf kyuubi.delegation.token.renew.interval Kyuubi kyuubidefaults.conf kyuubi.ha.namespace Kyuubi kyuubidefaults.conf kyuubi.metrics.reporters Kyuubi kyuubidefaults.conf kyuubi.operation.getTables.ignoreTableProperties Kyuubi kyuubidefaults.conf kyuubi.session.engine.idle.timeout Kyuubi kyuubidefaults.conf kyuubi.session.idle.timeout Kyuubi kyuubidefaults.conf spark.master Kyuubi kyuubidefaults.conf spark.submit.deployMode Kyuubi kyuubidefaults.conf spark.yarn.queue Spark sparkdefaults.conf spark.driver.cores Spark sparkdefaults.conf spark.driver.extraJavaOptions Spark sparkdefaults.conf spark.driver.extraLibraryPath Spark sparkdefaults.conf spark.driver.maxResultSize Spark sparkdefaults.conf spark.driver.memory Spark sparkdefaults.conf spark.dynamicAllocation.enabled Spark sparkdefaults.conf spark.dynamicAllocation.initialExecutors Spark sparkdefaults.conf spark.dynamicAllocation.maxExecutors Spark sparkdefaults.conf spark.dynamicAllocation.minExecutors Spark sparkdefaults.conf spark.eventLog.dir Spark sparkdefaults.conf spark.executor.cores Spark sparkdefaults.conf spark.executor.extraJavaOptions Spark sparkdefaults.conf spark.executor.extraLibraryPath Spark sparkdefaults.conf spark.executor.heartbeatInterval Spark sparkdefaults.conf spark.executor.memory Spark sparkdefaults.conf spark.executorEnv.JAVAHOME Spark sparkdefaults.conf spark.files.openCostInBytes Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress Spark sparkdefaults.conf spark.hadoop.mapreduce.output.fileoutputformat.compress.codec Spark sparkdefaults.conf spark.hadoop.yarn.timelineservice.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.enabled Spark sparkdefaults.conf spark.history.fs.cleaner.interval Spark sparkdefaults.conf spark.history.fs.cleaner.maxAge Spark sparkdefaults.conf spark.history.fs.logDirectory Spark sparkdefaults.conf spark.history.kerberos.enabled Spark sparkdefaults.conf spark.history.kerberos.keytab Spark sparkdefaults.conf spark.history.store.maxDiskUsage Spark sparkdefaults.conf spark.history.ui.maxApplications Spark sparkdefaults.conf spark.history.ui.port Spark sparkdefaults.conf spark.io.compression.lz4.blockSize Spark sparkdefaults.conf spark.kryo.unsafe Spark sparkdefaults.conf spark.kryoserializer.buffer.max Spark sparkdefaults.conf spark.locality.wait Spark sparkdefaults.conf spark.master Spark sparkdefaults.conf spark.memory.offHeap.enabled Spark sparkdefaults.conf spark.memory.offHeap.size Spark sparkdefaults.conf spark.network.timeout Spark sparkdefaults.conf spark.port.maxRetries Spark sparkdefaults.conf spark.rdd.parallelListingThreshold Spark sparkdefaults.conf spark.reducer.maxSizeInFlight Spark sparkdefaults.conf spark.resultGetter.threads Spark sparkdefaults.conf spark.rpc.io.backLog Spark sparkdefaults.conf spark.scheduler.maxReqisteredResourcesWaitingTime Spark sparkdefaults.conf spark.shuffle.accurateBlockThreshold Spark sparkdefaults.conf spark.shuffle.file.buffer Spark sparkdefaults.conf spark.shuffle.io.connectionTimeout Spark sparkdefaults.conf spark.shuffle.manager Spark sparkdefaults.conf spark.shuffle.mapOutput.dispatcher.numThreads Spark sparkdefaults.conf spark.shuffle.memoryFraction Spark sparkdefaults.conf spark.shuffle.push.enabled Spark sparkdefaults.conf spark.shuffle.push.maxBlockSizeToPush Spark sparkdefaults.conf spark.shuffle.push.merge.finalizeThreads Spark sparkdefaults.conf spark.shuffle.push.mergersMinStaticThreshold Spark sparkdefaults.conf spark.shuffle.readHostLocalDisk Spark sparkdefaults.conf spark.shuffle.service.enabled Spark sparkdefaults.conf spark.shuffle.unsafe.file.output.buffer Spark sparkdefaults.conf spark.speculation Spark sparkdefaults.conf spark.speculation.interval Spark sparkdefaults.conf spark.speculation.minTaskRuntime Spark sparkdefaults.conf spark.speculation.multiplier Spark sparkdefaults.conf spark.speculation.quantile Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.initialPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.adaptive.enabled Spark sparkdefaults.conf spark.sql.adaptive.forceApply Spark sparkdefaults.conf spark.sql.adaptive.forceOptimizeSkewedJoin Spark sparkdefaults.conf spark.sql.adaptive.shuffle.targetPostShuffleInputSize Spark sparkdefaults.conf spark.sql.autoBroadcastJoinThreshold Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog Spark sparkdefaults.conf spark.sql.catalog.sparkcatalog.type Spark sparkdefaults.conf spark.sql.cbo.joinReorder.enabled Spark sparkdefaults.conf spark.sql.extensions Spark sparkdefaults.conf spark.sql.files.maxPartitionBytes Spark sparkdefaults.conf spark.sql.files.openCostInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes Spark sparkdefaults.conf spark.sql.finalStage.adaptive.coalescePartitions.minPartitionNum Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionFactor Spark sparkdefaults.conf spark.sql.finalStage.adaptive.skewJoin.skewedPartitionThresholdInBytes Spark sparkdefaults.conf spark.sql.hive.convertMetastoreOrc Spark sparkdefaults.conf spark.sql.hive.dropPartitionByName.enabled Spark sparkdefaults.conf spark.sql.inMemoryColumnarStorage.batchSize Spark sparkdefaults.conf spark.sql.join.preferSortMergeJoin Spark sparkdefaults.conf spark.sql.legacy.charVarcharAsString Spark sparkdefaults.conf spark.sql.legacy.timeParserPolicy Spark sparkdefaults.conf spark.sql.optimizer.finalStageConfigIsolation.enabled Spark sparkdefaults.conf spark.sql.optimizer.inferRebalanceAndSortOrders.enabled Spark sparkdefaults.conf spark.sql.optimizer.insertRepartitionBeforeWriteIfNoShuffle.enabled Spark sparkdefaults.conf spark.sql.optimizer.inSetConversionThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.creationSideThreshold Spark sparkdefaults.conf spark.sql.optimizer.runtime.bloomFilter.enabled Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.number.threshold Spark sparkdefaults.conf spark.sql.optimizer.runtimeFilter.semiJoinReduction.enabled Spark sparkdefaults.conf spark.sql.orc.aggregatePushdown Spark sparkdefaults.conf spark.sql.orc.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.orc.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.aggregatePushdown Spark sparkdefaults.conf spark.sql.parquet.columnarReaderBatchSize Spark sparkdefaults.conf spark.sql.parquet.enableNestedColumnVectorizedReader Spark sparkdefaults.conf spark.sql.parquet.pushdown.inFilterThreshold Spark sparkdefaults.conf spark.sql.query.table.file.max.count Spark sparkdefaults.conf spark.sql.query.table.file.max.length Spark sparkdefaults.conf spark.sql.query.table.partition.max.count Spark sparkdefaults.conf spark.sql.sessionWindow.buffer.in.memory.threshold Spark sparkdefaults.conf spark.sql.shuffle.partitions Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.parallelism Spark sparkdefaults.conf spark.sql.sources.parallelPartitionDiscovery.threshold Spark sparkdefaults.conf spark.sql.statistics.fallBackToHdfs Spark sparkdefaults.conf spark.sql.storeAssignmentPolicy Spark sparkdefaults.conf spark.sql.subquery.maxThreadThreshold Spark sparkdefaults.conf spark.sql.support.block.inferior.sql Spark sparkdefaults.conf spark.storage.decommission.shuffleBlocks.maxThreads Spark sparkdefaults.conf spark.task.reaper.enabled Spark sparkdefaults.conf spark.unsafe.sorter.spill.reader.buffer.size Spark sparkdefaults.conf spark.yarn.appMasterEnv.JAVAHOME Spark sparkdefaults.conf spark.yarn.containerLauncherMaxThreads Spark sparkdefaults.conf spark.yarn.scheduler.heartbeat.intervalms Spark sparkdefaults.conf spark.yarn.scheduler.initialallocation.interval Spark sparkenv.sh customsparkenv Spark sparkenv.sh sparkengine YARN mapredsite.xml mapreduce.application.classpath YARN mapredsite.xml mapreduce.cluster.acls.enabled YARN mapredsite.xml mapreduce.framework.name YARN mapredsite.xml mapreduce.job.aclmodifyjob YARN mapredsite.xml mapreduce.job.counters.counter.name.max YARN mapredsite.xml mapreduce.job.counters.group.name.max YARN mapredsite.xml mapreduce.job.counters.groups.max YARN mapredsite.xml mapreduce.job.counters.max YARN mapredsite.xml mapreduce.jobhistory.admin.acl YARN mapredsite.xml mapreduce.jobhistory.bindhost YARN mapredsite.xml mapreduce.jobhistory.donedir YARN mapredsite.xml mapreduce.jobhistory.http.policy YARN mapredsite.xml mapreduce.jobhistory.intermediatedonedir YARN mapredsite.xml mapreduce.jobhistory.recovery.enable YARN mapredsite.xml mapreduce.jobhistory.recovery.store.leveldb.path YARN mapredsite.xml mapreduce.map.env YARN mapredsite.xml mapreduce.map.java.opts YARN mapredsite.xml mapreduce.map.log.level YARN mapredsite.xml mapreduce.map.memory.mb YARN mapredsite.xml mapreduce.map.output.compress YARN mapredsite.xml mapreduce.map.output.compress.codec YARN mapredsite.xml mapreduce.map.sort.spill.percent YARN mapredsite.xml mapreduce.map.speculative YARN mapredsite.xml mapreduce.output.fileoutputformat.compress YARN mapredsite.xml mapreduce.output.fileoutputformat.compress.codec YARN mapredsite.xml mapreduce.reduce.env YARN mapredsite.xml mapreduce.reduce.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.java.opts YARN mapredsite.xml mapreduce.reduce.log.level YARN mapredsite.xml mapreduce.reduce.memory.mb YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.enabled YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.intervalms YARN mapredsite.xml mapreduce.reduce.shuffle.fetch.retry.timeoutms YARN mapredsite.xml mapreduce.reduce.shuffle.input.buffer.percent YARN mapredsite.xml mapreduce.reduce.shuffle.merge.percent YARN mapredsite.xml mapreduce.reduce.shuffle.parallelcopies YARN mapredsite.xml mapreduce.reduce.speculative YARN mapredsite.xml mapreduce.shuffle.port YARN mapredsite.xml mapreduce.task.io.sort.factor YARN mapredsite.xml mapreduce.task.io.sort.mb YARN mapredsite.xml mapreduce.task.timeout YARN mapredsite.xml yarn.app.mapreduce.am.env YARN mapredsite.xml yarn.app.mapreduce.am.log.level YARN mapredsite.xml yarn.app.mapreduce.am.resource.mb YARN mapredsite.xml yarn.app.mapreduce.am.stagingdir YARN yarnsite.xml hadoop.http.authentication.simple.anonymous.allowed YARN yarnsite.xml hadoop.http.filter.initializers YARN yarnsite.xml hadoop.registry.client.auth YARN yarnsite.xml yarn.acl.enable YARN yarnsite.xml yarn.logaggregation.retainseconds YARN yarnsite.xml yarn.logaggregationenable YARN yarnsite.xml yarn.nodelabels.enabled YARN yarnsite.xml yarn.nodelabels.fsstore.rootdir YARN yarnsite.xml yarn.nodemanager.address YARN yarnsite.xml yarn.nodemanager.containerexecutor.class YARN yarnsite.xml yarn.nodemanager.diskhealthchecker.maxdiskutilizationperdiskpercentage YARN yarnsite.xml yarn.nodemanager.localizer.cache.targetsizemb YARN yarnsite.xml yarn.nodemanager.localizer.client.threadcount YARN yarnsite.xml yarn.nodemanager.localizer.fetch.threadcount YARN yarnsite.xml yarn.nodemanager.log.retainseconds YARN yarnsite.xml yarn.nodemanager.logaggregation.compressiontype YARN yarnsite.xml yarn.nodemanager.logaggregation.debugenabled YARN yarnsite.xml yarn.nodemanager.logaggregation.numlogfilesperapp YARN yarnsite.xml yarn.nodemanager.logaggregation.rollmonitoringintervalseconds YARN yarnsite.xml yarn.nodemanager.recovery.dir YARN yarnsite.xml yarn.nodemanager.recovery.enabled YARN yarnsite.xml yarn.nodemanager.recovery.supervised YARN yarnsite.xml yarn.nodemanager.remoteapplogdir YARN yarnsite.xml yarn.nodemanager.remoteapplogdirsuffix YARN yarnsite.xml yarn.nodemanager.resource.cpuvcores YARN yarnsite.xml yarn.nodemanager.resource.memorymb YARN yarnsite.xml yarn.nodemanager.resource.percentagephysicalcpulimit YARN yarnsite.xml yarn.nodemanager.resourcemanager.connect.wait.secs YARN yarnsite.xml yarn.nodemanager.vmemcheckenabled YARN yarnsite.xml yarn.nodemanager.vmempmemratio YARN yarnsite.xml yarn.nodemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.resourcemanager.clusterid YARN yarnsite.xml yarn.resourcemanager.fusing.enable YARN yarnsite.xml yarn.resourcemanager.fusingmaxapigetjobs YARN yarnsite.xml yarn.resourcemanager.ha.rmids YARN yarnsite.xml yarn.resourcemanager.hostname.rm1 YARN yarnsite.xml yarn.resourcemanager.hostname.rm2 YARN yarnsite.xml yarn.resourcemanager.maxcompletedapplications YARN yarnsite.xml yarn.resourcemanager.recovery.enabled YARN yarnsite.xml yarn.resourcemanager.scheduler.autocorrect.container.allocation YARN yarnsite.xml yarn.resourcemanager.scheduler.class YARN yarnsite.xml yarn.resourcemanager.scheduler.monitor.enable YARN yarnsite.xml yarn.resourcemanager.store.class YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm1 YARN yarnsite.xml yarn.resourcemanager.webapp.address.rm2 YARN yarnsite.xml yarn.resourcemanager.webapp.crossorigin.enabled YARN yarnsite.xml yarn.scheduler.maximumallocationmb YARN yarnsite.xml yarn.scheduler.maximumallocationvcores YARN yarnsite.xml yarn.scheduler.minimumallocationmb YARN yarnsite.xml yarn.scheduler.minimumallocationvcores YARN yarnsite.xml yarn.timelineservice.client.besteffort YARN yarnsite.xml yarn.timelineservice.client.maxretries YARN yarnsite.xml yarn.timelineservice.enabled YARN yarnsite.xml yarn.timelineservice.httpcrossorigin.enabled YARN yarnsite.xml yarn.webapp.ui2.enable

本文为您介绍批量新增非天翼云云主机的具体操作。 使用条件 进行批量新增非天翼云云主机操作前，需创建命名空间。 新增非天翼云云主机时，需选择分区类型存在三方数据中心的命名空间。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源管理”“云主机”，进入云主机列表页。 5. 在列表上方下拉菜单中选择需要进行新增非天翼云云主机操作的命名空间。 6. 点击“新增非天翼云云主机”按钮，选择“新增批量”。 7. 在批量新增非天翼云云主机弹窗中，点击“下载模板”，在模板上填写非天翼云云主机相关信息。 8. 将模板中说明行删除后，保存文件，点击弹窗内“上传”按钮，完成批量非天翼云云主机信息上传。 9. 上传后，可查看可导入和无法导入的非天翼云云主机。 10. 确认信息后，点击“确定”按钮，完成可导入非天翼云云主机批量导入。

本章节主要介绍翼MapReduce服务HBase健康检查指标项说明。 运行良好的RegionServer数 指标项名称： 运行良好的RegionServer数 指标项含义 ：检查HBase集群中运行良好的RegionServer数。 恢复指导： 如果该指标项异常，请检查RegionServer的状态是否正常并处理，然后建议检查网络是否正常。 服务健康状态 指标项名称： 服务状态 指标项含义 ：检查HBase服务状态是否正常。如果状态不正常，则认为不健康。 恢复指导： 如果该指标项异常，请检查HMaster和RegionServer的状态是否正常并先处理，然后检查ZooKeeper服务的状态是否为故障并处理。使用客户端，确认是否可以正确读取HBase表中的数据，排查读数据失败的原因。最后参见告警进行处理。 检查告警 指标项名称： 告警信息 指标项含义 ：检查服务是否存在未清除的告警。如果存在，则认为不健康。 恢复指导： 如果该指标项异常，建议参见告警进行处理。

本章节主要介绍翼MapReduce组件HBase支持的压缩算法。 HBase目前默认支持的压缩算法有snappy和gz，根据需要可以增加lzo、lz4、bzip2等算法支持。

同步天翼云云主机 使用条件 单次同步天翼云云主机实例上限为10个。 进行同步天翼云云主机等相关资源同步操作前，需创建命名空间。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源管理”“云主机”，进入天翼云云主机列表页。 5. 在列表上方下拉菜单中选择需要进行同步云主机操作的命名空间。 6. 点击页面右上角“同步天翼云云主机”按钮，弹出同步天翼云云主机弹窗。 7. 选择资源所属地域，选中同步的云主机实例。若存在选中云主机IP与系统中云主机实例IP相同，在远程连接信息相同的情况下，通过脚本远程连接执行命令时可能会误操作，用户需对警告提示确认。 8. 点击“确定”按钮，完成天翼云云主机实例同步操作。 删除天翼云云主机

本章节主要介绍翼MapReduce服务的术语解释。 节点 翼MR集群中每个节点即为一台云服务器，节点类型及节点功能如下所示。 节点类型 功能 master节点 翼MR集群管理节点，用于管理集群服务，主要负责ResourceManager和NameNode等控制进程的部署。master节点组默认采用反亲和技术，以此保证业务高可用性。 core节点 翼MR集群工作节点，主要负责存储和计算数据。 task节点 翼MR集群计算节点，主要负责计算数据，不存储数据（如HDFS 数据）。默认不开启，按需使用。 Doris Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Elasticsearch Elasticsearch是一个开源的、高扩展性的分布式全文检索引擎，能够近乎实时地存储、检索数据。它能集中存储您的数据，提供快速搜索、精细调整的相关性和强大的分析能力。 HBase HBase提供业务键值数据的结构化存储与检索能力，主要包括键值数据存储、键值数据查询功能，提供键值数据管理和键值数据库监测功能。兼容社区HBase接口，提供Java API，Restful接口形式。是一个分布式、数据多版本、面向列的NoSQL数据库。提供可弹性扩展的多维表格键值存储和即席查询能力。支持上亿行、可扩展列，具备强一致性、高扩展、高可用的特性。

组件名称 组件告警目录 Hbase /hbase Hive /beelinesql Yarn /rmstore Storm /stormroot Streaming /storm Kafka /kafka

本文为您介绍新增/测试/编辑/删除/远程连接设置非天翼云云主机的具体操作。 新增非天翼云云主机 使用条件 进行新增非天翼云云主机等相关资源同步操作前，需创建命名空间。 新增非天翼云云主机时，需选择分区类型存在三方数据中心的命名空间。 操作步骤 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源管理”“云主机”，进入云主机列表页。 5. 点击列表上方标签页中“非天翼云云主机”栏，进入非天翼云云主机列表页。 6. 在列表上方下拉菜单中选择需要进行新增非天翼云云主机操作的命名空间。 7. 点击页面右上角“新增非天翼云云主机”按钮，跳转新增非天翼云云主机页面。 8. 填写新增非天翼云云主机相关信息，各配置项信息如下： 参数 是否必填 配置说明 云主机实例名 √ 填写云主机实例名，同命名空间下非天翼云云主机实例名称需唯一。 长度为263字符。 所属分区 √ 选择当前命名空间下云主机所属分区。 操作系统类型 √ 选择操作系统类型，可选Linux/Windows。 操作系统版本 √ 填写操作系统版本。 长度为263字符。 IP地址 √ 输入云主机IP地址，该地址需为多活容灾服务平台能与其连通的IP地址。 每个字段的数据范围为0255，不可填0.0.0.0或255.255.255.255。 若IP与系统中已有天翼云云主机或非天翼云云的公网IP重复，需用户确认相关警告。 配置 × 填写或选择当前云主机的配置。 CPU数值范围为1512，内存数值范围为12048。 远程连接 √ 选择远程连接是否开启，默认开启。 连接协议 √ 远程连接开启时显示。所选操作系统为Linux时，连接协议展示为SSH，所选操作系统为Windows时，连接协议展示为WinRM。 连接端口 √ 远程连接开启时显示。填写连接端口，所选操作系统为Linux时，默认为22，所选操作系统为Windows时，默认为5985。 端口范围为165535。 认证方式 √ 远程连接开启时显示。选择认证方式，所选操作系统为Linux时，可选密码/密钥对，所选操作系统为Windows时，可选密码。 用户名 √ 远程连接开启时显示，填写认证用户名。 长度最多为63位。 密码 √ 远程连接开启且认证方式为密码时显示，填写认证密码。 长度最多为63位。 密钥文件 √ 远程连接开启且认证方式为密钥时显示，填写密钥文件。 长度最多为5000字符。 其他执行用户 √ 远程连接开启且操作系统类型为Linux时显示，选择是否开启其他执行用户，默认关闭。 执行用户名 √ 远程连接开启、操作系统为Linux、开启其他执行用户时显示，填写执行用户名。 长度最多为63位。 执行用户密码 √ 远程连接开启、操作系统为Linux、开启其他执行用户时显示，填写执行用户密码。 长度最多为63位。 描述 × 填写描述。 长度为0100个字符。 连接状态 √ 调试当前云主机状态，点击“测试”按钮进行连接测试，测试状态可为未知、连接成功、连接失败、测试中。 9. 点击“确定”按钮，完成新增非天翼云云主机。

数据库安全审计支持对云上的RDS关系型数据库、ECS/BMS自建数据库进行审计。 购买数据库安全审计实例后，您需要将待审计的数据库添加至数据库安全审计实例中。 前提条件 已成功购买数据库安全审计实例，且实例的状态为“运行中”。 添加数据库 1. 登录管理控制台。 2. 单击右上角的，选择区域。 3. 选择“安全 > 数据库安全服务”，进入数据库安全防护实例列表界面。 4. 在左侧导航树中，选择“数据库安全审计 > 数据库列表”，进入数据库列表界面。 5. 在“选择实例”下拉列表框中，选择需要添加数据库的实例。 6. 在数据库列表框左上方，单击“添加数据库”。 7. 在弹出的对话框中，设置数据库的信息，如图所示，相关数据库参数说明所示，添加数据库对话框。 8. 单击“确定”，数据库列表中将新增一条“审计状态”为“已关闭”的数据库。 注意 数据库添加完成后，请您确认添加的数据库信息正确。如果数据库信息不正确，请您在数据库所在行单击“删除”，删除数据库后，再重新添加数据库。 数据库参数说明 参数名称 说明 取值样例 数据库名称 您可以自定义添加的数据库的名称。 test1 IP地址 添加的数据库的IP地址。IP必须为内网IP地址，支持IPv4和IPv6格式。 IPv4：192.168.1.1 IPv6：fe80:0000:0000:0000:0000:0000:0000:0000 数据库类型 支持的数据库类型，您可以选择以下类型： MYSQL ORACEL POSTGRESQL SQLSERVER DWS TAURUS GaussDB DAMENG KINGBASE MongoDB Hbase SHENTONG GBase 8a GBase XDM Custer Greenpum HighGo Mariadb说明当数据库类型选择ORACE时，待审计的应用程序需重启，重新登录数据库。 MySQL 端口 添加的数据库的端口。 3306 数据库版本 支持的数据库版本。 当“数据库类型”选择“MYSQL”时，您可以选择以下版本： 当“数据库类型”选择“ORACEL”时，您可以选择以下版本：− 11g − 12c − 19c 当“数据库类型”选择“POSTGRESQL”时，您可以选择以下版本：− 7.4 − 8.0 8.0、8.1、8.2、8.3、8.4 − 9.0 9.0、9.1、9.2、9.3、9.4、9.5、9.6 − 10.0 10.0、10.1、10.2、10.3、10.4、10.5 − 11.0 − 12.0 − 13.0 当“数据库类型”选择“SQLSERVER”时，您可以选择以下版本：− 2008 − 2012 − 2014 − 2016 − 2017
数据库类型”选择“DWS”时，您可以选择以下版本：− 1.5 当“数据库类型”选择“TAURUS”时，您可以选择以下版本：− MySQL 8.0 当“数据库类型”选择“GaussDB”时，您可以选择以下版本：− 1.4企业版 当“数据库类型”选择“DAMENG”时，您可以选择以下版本：− DM8 当“数据库类型”选择“KINGBASE”时，您可以选择以下版本：− V8 5.0 实例名 您可以指定需要审计的数据库的实例名称。说明 如果实例名为空，数据库安全审计将审计数据库中所有的实例。 如果填写实例名，数据库安全审计将审计填写的实例，最多可填写5个实例名，且实例名以“;”分隔。 选择字符集 支持的数据库字符集的编码格式，您可以选择以下编码格式： UTF8 GBK UTF8 操作系统 添加的数据库运行的操作系统，您可以选择以下操作系统： INUX64 WINDOWS64 INUX64 数据库类别 选择添加的数据库类别，“RDS数据库”或“自建数据库”。 RDS数据库

2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）重启FlinkHistoryServer服务，推荐滚动重启。 Kyuubi 1、修改配置 1）前往Manager页面，集群服务> Kyuubi集群> 配置管理> default配置组> 配置文件kyuubidefaults.conf > 配置项kyuubi.ha.addresses。 2）将新的ZK节点，添加到配置项kyuubi.ha.addresses中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kyuubi服务，推荐滚动重启。 HBase 1、修改配置 1）前往Manager页面，集群服务> HBase集群> 配置管理> default配置组> 配置文件hbasesite.xml > 配置项hbase.zookeeper.quorum。 2）将新的ZK节点，添加到配置项hbase.zookeeper.quorum中。 3）相同操作：同时修改client配置组的配置项。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启HBase所有服务，包含HMaster和HRegionServer，推荐滚动重启。 Kafka 警告：Kafka不建议重启，所以不建议修改ZK节点。 原因：Kafka每个节点都是有状态的，每个节点的主分区都不一样，重启会导致业务受影响。 1、修改配置 1）前往Manager页面，集群服务> Kafka集群> 配置管理> default配置组> 配置文件server.properties > 配置项zookeeper.connect。 2）将新的ZK节点，通过vs统一修改3个配置，添加到配置项zookeeper.connect中。 2、配置同步 1）点击配置同步，推送配置。 3、重启服务 1）需要重启Kafka所有服务。请谨慎进行Kafka集群的重启操作。

可能原因 HQL命令语法错误。 执行Hive on HBase任务时HBase服务异常。 执行Hive on Spark任务时Spark服务异常。 依赖的基础服务HDFS、Yarn、ZooKeeper等异常。 处理步骤 检查HQL命令是否符合语法 1.在FusionInsight Manager界面选择“运维 > 告警”，查看告警详情，获取产生告警的节点信息。 2.使用Hive客户端连接到产生该告警的HiveServer节点，查询Apache提供的HQL语法规范，确认输入的命令是否正确。详情请参见 是，执行步骤4。 否，执行步骤3。 说明 若想查看执行错误语句的用户，可下载产生该告警的HiveServer节点的HiveServerAudit日志，下载的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟。打开日志文件查找“ResultFAIL”关键字筛选执行错误语句的日志信息，再根据日志信息中的“UserName”查看执行错误语句的用户。 3.输入正确的HQL语句，观察命令是否正确执行。 是，执行步骤12。 否，执行步骤4。 检查HBase服务是否异常 4.与执行HQL命令的用户确认是否执行的是Hive on HBase任务。 是，执行步骤5。 否，执行步骤8。 5.在FusionInsight Manager界面选择“集群 > 待操作集群的名称 > 服务”，在服务列表查看HBase服务状态是否正常。 是，执行步骤8。 否，执行步骤6。 6.选择“运维 > 告警”，查看告警界面的HBase相关告警，参照对应告警帮助进行处理。 7.输入正确的HQL语句，观察命令是否正确执行。 是，执行步骤12。 否，执行步骤8。

此小节介绍数据库安全相关术语解释。 可用区（AZ） 一个可用区是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 非关系型数据库 按照非关系型数据结构来联系和组织的数据库。按不同的数据结构，可细分为以下几种：键值存储数据库（keyvalue）、列存储（Columnoriented）数据库、面向文档（DocumentOriented）数据库、图形数据库。常用非关系型数据库有：Memcached、Redis、MongoDB、Cassandra、HBase、MemacheDB、BerkeleyDB等。 非系统数据库 非系统数据库是指除系统数据库以外的数据库，比如用户自建数据库。 内存数据库 将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。 SQL注入 SQL注入攻击是一种常见的Web攻击方法，攻击者通过把SQL命令注入到Web后台数据库的查询字符串中，最终达到欺骗服务器执行恶意SQL命令的目的。例如可以从数据库获取敏感信息，或者利用数据库的特性执行添加用户、导出文件等一系列恶意操作，甚至有可能获取数据库乃至系统用户最高权限。 正则表达式 用于指定和识别文本字符串（如特定字符，单词或字符模式）的一种简洁而灵活的方式。正则表达式模式是包含下列字段的对象：名称和正则表达式定义字符串。

本页面介绍了云数据库ClickHouse产品服务条款。 天翼云云数据库ClickHouse服务条款，详情请参见《天翼云数据库ClickHouse服务协议》。

本章节主要介绍如何快速创建一个HBase查询集群。 本章节为您介绍如何快速创建一个HBase查询集群，HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 快速创建HBase查询集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“HBase查询集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用：默认即可。MRS 3.x版本暂时不支持该参数。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态 部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

本页面介绍了云数据库ClickHouse产品服务等级协议。 天翼云云数据库ClickHouse服务等级协议，详情请参见《天翼云数据库Clickhouse服务等级协议》。

类别 默认用户 初始密码 描述 组件运行用户 hdfs Hdfs@123 HDFS系统管理员，用户权限： 1. 文件系统操作权限： 查看、修改、创建文件 查看、创建目录 查看、修改文件属组 查看、设置用户磁盘配额 2. HDFS管理操作权限： 查看webUI页面状态 查看、设置HDFS主备状态 进入、退出HDFS安全模式 检查HDFS文件系统。 hbase Hbase@123 HBase系统管理员，用户权限： 集群管理权限:表的Enable、Disable操作，触发MajorCompact，ACL操作 授权或回收权限，集群关闭等操作相关的权限 表管理权限:建表、修改表、删除表等操作权限 数据管理权限：表级别、列族级别以及列级别的数据读写权限 访问HBase WebUI的权限。 mapred Mapred@123 MapReduce系统管理员，用户权限： 提交、停止和查看MapReduce任务的权限 修改Yarn配置参数的权限 访问Yarn、MapReduce WebUI的权限。 spark Spark@123 Spark系统管理员，用户权限： 访问Spark WebUI的权限 提交Spark任务的权限。

本章节为您介绍数据库安全网关的资产管理功能 在数据库安全网关中，资产是指系统需要防护和管理的数据库系统。资产管理是系统核心功能之一，涵盖了对各种数据库类型的安全监控与防护操作。 手动添加资产 1.登录数据库安全网关。 2.在左侧菜单栏选择“资产 > 资产管理”进入“资产管理”页面 ，单击页面的“新增”按钮。 注意 如果资产是集群，需要先在资产管理页面添加 集群的所有资产，包括每个节点的地址 和端口，以及ScanIP（集群扫描IP）等信息，然后切换到“集群配置”页面进行集群设置。 3.在弹出的“新增资产”对话框中，填写相关信息。 配置项 说明 类型 选择数据库的类型，系统支持数据库类型如下： 通用数据库：Oracle(包含RAC)、MySQL、MSSQL、Sybase ASE、DB2、Informix、Oscar、达梦(DM)、Cache、PostgreSQL、Teradata、人大金仓(Kingbase) 、GBase、MariaDB、Hana、MongoDB、GaussDB、GreenPlum、TiDB、Vertica、GoldenDB、UXDB、Doris、虚谷、HifhGo、OceanBase 大数据：HBase、Hive、Elasticsearch、Impala、SparkSQL、Clickhouse、Presto、Tdh、Odps 其他：HTTP、Trino CTcloud：TeledbMySQL、TeledbPostgreSQL 说明 若您选择的资产类型为：Oracle、Hive、Trino，需要额外配置相关参数。 操作系统 设置资产所在主机的操作系统。 IP/域名 设置资产所在主机的IPv4 或者IPv6 或者域名。 端口 设置资产原生端口号。 代理端口 设置访问资产的反向代理端口。 防护模式 入侵检测模式：对数据库进行入侵检测，可以产生审计、告警、脱敏、运维日志，但不会对请求进行阻断和脱敏； 入侵防护模式：对数据库进行入侵检测和防护，除可以生成审计、告警、脱敏、运维日志外，还可以对请求进行阻断和脱敏。 默认数据源 默认关闭，可启用。 支持Oracle、MySQL、MSSQL、DB2、达梦(DM)、PostgreSQL、MariaDB、UXDB、Hive、Tdh等。 默认数据源用途： 1. 新增敏感数据扫描任务时，自动带出数据源信息，减少用户操作步骤； 2. 安全规则配置“影响行数”维度，该规则匹配依赖资产的默认数据源。 数据库名 填写数据库名。（MSSQL、DB2、PostgreSQL、UXDB等） 用户名 填写数据库的用户名。 密码 填写数据库的密码。 测试 测试数据库的连通性。 4.配置完成后，单击“测试”进行资产连接测试，若正常则会提示连接成功。 5.单击“保存” ，弹出是否需要立即进行敏感数据扫描的提示框： 若选择“确定” ，则跳转到“资产 > 敏感数据 > 敏感数据扫描”页面进行下一步。 若选择“取消” ，则停留在资产管理页面。

备份类型 备份内容 备份目录类型 HBase 备份表级别的用户数据。对于安装了多服务的集群，支持多个HBase服务实例的备份恢复功能且备份恢复操作与HBase服务实例一致。 l RemoteHDFS l NFS l CIFS l SFTP HDFS 备份用户业务对应的目录或文件。 说明 加密目录不支持备份恢复。 l RemoteHDFS l NFS l CIFS l SFTP Hive 备份表级别的用户数据。对于安装了多服务的集群，支持多个Hive服务实例的备份恢复功能且备份恢复操作与Hive服务实例一致。 l RemoteHDFS l NFS l CIFS l SFTP

本文为您提供天翼云云搜索产品服务协议。 请您点击查看天翼云云搜索服务的产品服务协议：《天翼云云搜索服务协议》

可查看天翼云云电竞产品服务协议。 天翼云云电竞产品服务协议详情请参见这里。

类别 默认用户 初始密码 描述 组件运行用户 hdfs Hdfs@123 HDFS系统管理员，用户权限： 1. 文件系统操作权限： l 查看、修改、创建文件 l 查看、创建目录 l 查看、修改文件属组 l 查看、设置用户磁盘配额 2. HDFS管理操作权限： l 查看webUI页面状态 l 查看、设置HDFS主备状态 l 进入、退出HDFS安全模式 l 检查HDFS文件系统 组件运行用户 hbase Hbase@123 HBase系统管理员，用户权限： l 集群管理权限: 表的Enable、Disable操作，触发MajorCompact，ACL操作 l 授权或回收权限，集群关闭等操作相关的权限 l 表管理权限: 建表、修改表、删除表等操作权限 l 数据管理权限：表级别、列族级别以及列级别的数据读写权限 l 访问HBase WebUI的权限 组件运行用户 mapred Mapred@123 MapReduce系统管理员，用户权限： l 提交、停止和查看MapReduce任务的权限 l 修改Yarn配置参数的权限 l 访问Yarn、MapReduce WebUI的权限 组件运行用户 spark Spark@123 Spark系统管理员，用户权限： l 访问Spark WebUI的权限 l 提交Spark任务的权限

本章节介绍天翼云云硬盘备份产品的相关协议。 天翼云云硬盘备份服务协议，详情请参见这里。

天翼云为您提供天翼云云迁移服务协议，请您点击查看。 天翼云云迁移服务CMS协议生效，详情请参见这里。

提前创建的云资源列表 • 虚拟私有云 • 弹性云主机 • 负载均衡 • 弹性公网IP • 对象存储 • 数据库 部署容灾业务操作流程 步骤一：创建命名空间 1. 在多活容灾服务平台首页，单击【命名空间> 创建命名空间】。 2. 在【创建命名空间】页面，根据界面提示配置参数。 3. 配置完成后，单击【立即创建】，创建完成后命名空间页面展示出对应项目。 步骤二：资源管理 1. 在【资源管理>负载均衡ELB】页面，单击【同步天翼云负载均衡】。 2. 选择资源所属地域，同步天翼云负载均衡实例。 3. 在【资源管理>云主机】页面，选择命名空间后，点击【同步天翼云云主机】。 4. 选择资源所属分区，同步天翼云云主机。 5. 在【资源管理>数据库】页面，选择命名空间后，点击【同步天翼云数据库】。 6. 选择资源所属地域、数据库类型后，同步天翼云数据库。

文件格式问题解决方法 1.数据库的数据导出到CSV文件，由于数据中含有分隔符逗号，造成导出的CSV文件中数据混乱。 CDM提供了以下几种解决方法： a.指定字段分隔符 使用数据库中不存在的字符，或者是极少见的不可打印字符来作为字段分隔符。例如：可以在目的端指定“字段分隔符”为“%01”，这样导出的字段分隔符就是“u0001”，详情可见表上表 特殊字符对应的 URL 编码。 b.使用包围符 在目的端作业参数中开启“使用包围符”，这样数据库中如果字段包含了字段分隔符，在导出到CSV文件的时候，CDM会使用包围符将该字段括起来，使之作为一个字段的值写入CSV文件。 2.数据库的数据包含换行符 场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符n）导出到CSV格式的文件中，然后再使用CDM将导出的CSV文件导入到MRS HBase，发现导出的CSV文件中出现了数据被截断的情况。 解决方法：指定换行符。 在使用CDM将MySQL的表数据导出到CSV文件时，指定目的端的换行符为“%01”（确保这个值不会出现在字段值中），这样导出的CSV文件中换行符就是“%01”。然后再使用CDM将CSV文件导入到MRS HBase时，指定源端的换行符为“%01”，这样就避免了数据被截断的问题。