此小节介绍数据库审计的产品使用限制。 支持的数据库 支持的数据库类型 数据库协议 数据库类型 国产数据库协议 DM、GBase、Kingbase、OSCAR、 KDB、 OceanBase、PolarDB、PolarDBX、 TiDB、 AnalyticDB、GaussDB、HighGo DB、Percona、Vastbase、teleDBMySQL、teleDBPostgreSQL 主流数据库协议 Oracle 、MySQL 、DB2、SQL server 、PostgreSQL、Informix、MariaDB、Sybase ASE、Teradata、Sybase IQ、HANA、libra、Vertica、Clickhouse 非关系协议 MongoDB、Redis、Graphbase、ArangoDB、OrientDB、Neo4j 大数据协议 Hive 、Hbase(Thrift)、Hbase(Protobuf)、Spark SQL(RESTful)、Spark SQL(Thrift)、GreenPlum、Cassandra、Impala、SSDB、HDFS、TDSQLC、TBase 、MAX COMPUTE 支持免Agent安装的数据库 天翼云如下数据库支持通过免Agent安装的方式进行数据库审计，快速使用请参考：如何免Agent安装审计天翼云上数据库。 数据库类型 支持的版本 天翼云关系数据库MySQL版 所有版本 天翼云关系数据库PostgreSQL版 所有版本 天翼云关系数据库SQL Server版 所有版本 天翼云文档数据库服务 所有版本 天翼云云数据库Clickhouse 所有版本

数据安全 针对海量用户数据，提供如下措施保障客户数据的机密性、完整性和可用性。 容灾：翼MR产品当前数据存放在天翼云云硬盘产品中，云硬盘采用三副本冗余机制，保障上层翼MR服务数据的高容灾型。 备份：翼MR产品当前数据存放在天翼云云硬盘产品中，云硬盘具备定期备份、数据恢复等特性。 数据完整性 通过数据校验，保证数据在存储、传输过程中的数据完整性。 用户数据保存在HDFS上，HDFS默认采用CRC32C校验数据的正确性。 HDFS的DataNode节点负责存储校验数据，如果发现客户端传递过来的数据有异常（不完整）就上报异常给客户端，让客户端重新写入数据。 客户端从DataNode读数据的时候会同步检查数据是否完整，如果发现数据不完整，尝试从其它的DataNode节点上读取数据。 数据保密性 天翼云大数据平台 翼MapReduce产品中的分布式文件系统采用Apache Hadoop 3.3.3版本，提供对文件内容的加密存储功能，避免敏感数据明文存储，提升数据安全性。业务应用只需对指定的敏感数据进行加密，加解密过程业务完全不感知。在文件系统数据加密基础上，Hive实现表级加密，HBase实现列族级加密，在创建表时指定采用的加密算法，即可实现对敏感数据的加密存储。 从数据的存储加密、访问控制来保障用户数据的保密性。 HBase支持将业务数据存储到HDFS前进行压缩处理，且用户可以配置AES和SMS4算法加密存储。 各组件支持本地数据目录访问权限设置，无权限用户禁止访问数据。 所有集群内部用户信息提供密文存储。

HBase数据库管理 进入到翼MR Manager以后，点击菜单“租户与资源 > HBase数据库管理”，进入HBase数据库管理页面。如图所示： 支持HBase命名空间的新建、删除。 支持表的新建、禁用、存储配额设置、列簇设置、分区设置、表用户设置。 支持从快照恢复数据。

计算 天翼云弹性云主机服务协议 天翼云物理机服务协议 天翼云弹性伸缩服务协议 天翼云镜像服务协议 天翼混合云一体机iStack服务协议 天翼云弹性高性能计算服务协议 天翼云云迁移服务协议 天翼云函数工作流服务协议 天翼云云骁智算服务协议 天翼云轻量型云主机服务协议 天翼云云监控服务协议 存储 天翼对象存储系统服务协议 天翼云存储网关服务协议 天翼云硬盘服务协议 天翼云弹性文件服务协议 天翼云云主机备份服务协议 天翼云云服务备份服务协议 天翼云云硬盘备份服务协议 天翼云存储容灾服务协议 天翼云云备份服务协议 天翼云云容灾服务协议 天翼云存储资源盘活系统服务协议 天翼云并行文件HPFS服务协议 天翼云海量文件OceanFS服务协议 天翼云混合存储网关服务协议 天翼云云空间服务协议 天翼云弹性容器实例服务协议

本页为您介绍数据库专家服务的产品优势。 数据库专家服务产品优势主要体现在下面几个方面： 团队技术实力雄厚 天翼云数据库内核研发专家及MySQL、PostGreSQL、HBase、Clickhouse、MongoDB等技术专家直接提供一站式服务，解决客户各类疑难问题。 团队经验丰富 数据库专家服务团队成员深耕数据库领域，在数据库架构规划设计、性能调优、应急响应等方面有丰富经验。 大厂级别护航 天翼云数据库专家服务团队参与中国电信核心系统大型流量业务护航，同时对政务、物联网、新能源、医疗等业务提供支持。 对各类大、中、小型业务数据库的设计、实施、运维、优化拥有丰富的解决方案。 全方位的售后服务 全网节点实时监控，724小时技术支持，保障服务高可用。

本章节主要介绍翼MapReduce组件HBase日志如何查询。 1. 使用root用户登录集群的Master或rs节点。 2. 执行 cd /var/log/Bigdata/hbase/ 命令，进入到“/var/log/Bigdata/hbase/”目录，即可查看HBase日志信息。

大数据/AI 天翼云超融合服务等级协议 AI开发平台（AI创作间）服务等级协议 翼MapReduce（MRS）服务等级协议 数据治理中心 DataArts Studio服务等级协议 云搜索服务（ES）服务等级协议 数据治理中心 DataArts Studio服务等级协议 数据湖探索（DLI）服务等级协议 数据仓库服务（DWS）服务等级协议 实时计算翼Flink服务等级协议 天翼云大数据管理平台 DataWings服务等级协议 管理工具 云监控服务等级协议 应用性能管理服务等级协议 甄选应用 网站ipv6升级服务等级协议 中国电信天翼云翼学安服务等级协议 好生意服务等级协议 天翼云学习先锋服务等级协议 翼来单服务等级协议 天翼云万应工场服务等级协议 商企云财税服务等级协议 商企云财税（SaaS版）服务等级协议 智能商业平台服务等级协议 天翼企业服务等级协议 天翼数字播报员服务等级协议 天翼云云网助手服务等级协议 电脑维护服务等级协议 EMM手机管家服务等级协议 设备管家服务等级协议 网管专家服务服务等级协议 天翼云中望CAD产品等级协议 天翼云中望3D产品等级协议 天翼云优签云链电子签约云平台产品等级协议 天翼云蓝信安全移动工作平台产品等级协议 天翼云智慧教育中台产品服务等级协议 天翼云村村享数字乡村服务等级协议 天翼云图AR云GO服务等级协议 天翼云翼网控服务等级协议 天翼云翼展览服务等级协议 物流云宝服务等级协议 智能组网华东版（云WIFI）产品服务等级协议 天翼云云网智慧管理平台服务等级协议 天翼云孚云办公平台服务等级协议 天翼云翼IT业务监控服务等级协议 翼云数据管理服务等级协议 天翼云快销产品服务等级协议 天翼云翼备份服务等级协议 天翼云云推广服务等级协议 天翼云翼内容管家服务等级协议 翼党务服务等级协议 天翼云翼恢复服务等级协议 天翼云达梦数据库服务等级协议 天翼云翼通行服务等级协议 天翼云翼见守护服务等级协议 天翼云翼安全生产管理服务等级协议 天翼统信操作系统服务等级协议 天翼云翼能碳双控管理服务等级协议 天翼云签服务等级协议 天翼云翼企云服务等级协议 天翼云翼安全邮箱服务等级协议 天翼云翼竹云身份管理平台服务等级协议 天翼云翼天唧融合办公平台服务等级协议 天翼云翼浩辰CAD服务等级协议 天翼企业邮箱服务等级协议 安全邮箱（央企SaaS）产品服务等级协议 翼瑞雪数字化学习平台服务等级协议 翼政企协同应用服务平台服务等级协议 新华融翼服务等级协议 天翼云智能组网服务等级协议 天翼云翼数据共享交换平台服务等级协议 翼永信数字办公服务等级协议 天翼云企业云盘服务等级协议

本章节主要介绍翼MapReduce基本使用流程。 天翼云大数据平台 翼MapReduce是一个在云上部署和管理Hadoop系统的服务，一键即可开通部署Hadoop、HBase、Hive、Spark、Flink、Doris等大数据集群。翼MapReduce提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、HBase、Hive、Spark、Flink、Doris等大数据组件。 翼MapReduce使用简单，通过使用在集群中连接在一起的多台计算机，您可以运行各种任务，处理或者存储（PB级）巨量数据。翼MapReduce的基本使用流程如下： 1. 创建集群：进入天翼云官网翼MapReduce服务订购页面，选择需要的业务场景，创建集群。用户可以通过业务场景简化大数据集群组合，可以用于数据湖、数据服务、云搜索、数据分析等业务需要。选择完业务场景与服务后，用户可以进一步指定集群的操作系统、主机类型、CPU类型、实例规格、实例数量、数据盘类型（普通IO、高IO、超高IO与通用型SSD多款类型）等。 2. 管理集群：上述集群购买部署完成后，翼MapReduce为用户提供企业级的大数据集群的统一管理平台翼MR Manager，帮助用户快速掌握集群服务及主机的健康状态，通过图形化的指标监控及时获取系统的关键信息，根据实际业务的性能需求修改服务属性的配置，对集群、服务、角色实例等实现一键启停等操作。 3. 创建翼MapReduce操作用户：主用户可以使用统一身份认证服务（Identity and Access Management，简称IAM）来创建子用户，通过精细的权限管理，在翼MR控制台给子用户赋予不同的角色权限。 4. 退订：如果您不想继续使用已有集群，可以通过天翼云官网的订单管理页面，对集群进行退订操作。 5. 续订：如果您的集群即将到期，可以通过续订操作延长集群使用期限。 6. 配置升级：当master、core或者core节点ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。 7. 节点扩容：当master、core或task节点组内的资源无法满足您的业务需求时，您可以使用节点扩容功能增加ECS实例数量。 8. 节点缩容：当task节点组内的资源超出您的业务需求时，您可以使用节点缩容功能减少实例数量。 9. 新增节点组：当存量core或task节点组的计算或存储资源无法满足您的业务需求时，您可以使用新增节点组功能增加ECS实例。 10. 磁盘扩容：当master、core或task节点的数据存储空间无法满足您的业务需求时，您可以使用磁盘扩容功能增加云硬盘数据盘的空间。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

本章主要介绍翼MapReduce的备份HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节主要介绍天翼云大数据平台 翼MapReduce服务的可靠性增强特性。 天翼云大数据平台 翼MapReduce是天翼云在Apache Hadoop基础上推出的一站式开源大数据平台产品，具备大数据基础存储计算平台和大数据运维管理平台，主要在大数据组件的可靠性、性能调优等方面进行了优化和提升。 系统可靠性 管理节点均实现HA Hadoop开源版本的数据、计算节点基于分布式系统进行设计，单节点故障不影响系统整体运行；而以集中模式运作的管理节点可能出现的单点故障，就成为整个系统可靠性的短板。 天翼云大数据平台 翼MapReduce对所有组件的管理节点都提供了类似的双机的机制，包括HDFS NameNode、HiveServer2、HBase HMaster、YARN ResourceManager、KerberosServer、OpenLDAPServer等，全部采用主备或负荷分担配置，有效避免了单点故障场景对系统可靠性的影响。 异常场景下的可靠性保证 通过可靠性分析方法，梳理软件、硬件异常场景下的处理措施，提升系统的可靠性。 保障意外掉电时的数据可靠性，不论是单节点意外掉电，还是整个集群意外断电，恢复供电后系统能够正常恢复业务，除非硬盘介质损坏，否则关键数据不会丢失。 硬盘亚健康检测和故障处理，对业务不造成实际影响。 自动处理文件系统的故障，自动恢复受影响的业务。 自动处理进程和节点的故障，自动恢复受影响的业务。 自动处理网络故障，自动恢复受影响的业务。 节点可靠性

本章主要介绍翼MapReduce的备份HBase业务数据功能。 操作场景 为了确保HBase日常数据安全，或者系统管理员需要对HBase进行重大操作（如升级或迁移等），需要对HBase业务数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份数据。支持创建任务自动或手动备份数据。 HBase备份业务数据时，可能存在以下场景： 用户创建HBase表时，“KEEPDELETEDCELLS”属性默认值为“false”，备份该HBase表时会将已经删除的数据备份，可能导致恢复后出现垃圾数据。请根据业务需要，在创建HBase表时手动修改参数值为“true”。 用户在HBase表写入数据时手动指定了时间戳，且时间早于上一次该HBase表的备份时间，则在增量备份任务中可能无法备份新数据。 HBase备份功能不支持对HBase的global或者命名空间的读取、写入、执行、创建和管理权限的访问控制列表（ACL）进行备份，恢复HBase数据后需要管理员在FusionInsight Manager上重新设置角色的权限。 已创建的HBase备份任务，如果本次备份任务在备集群的备份数据丢失，当下次执行增量备份时备份任务将失败，需要重新创建HBase的备份任务。若下次执行全量则备份正常。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以hdfs用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照，否则无法创建备份任务。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn，HDFS的配置保持一致。

本章节主要介绍翼MapReduce集群组件使用规则。 当前，翼MR产品不支持Hive元数据库使用内置MySQL类型。内置MySQL不具备生产运行所需要的高可用、高安全性，且该方式缺乏有效的技术保障能力，客户需要为此承担不必要的业务风险。 在翼MR集群开通的流程中，基于上述产品考量，不开放相关选配功能，默认推荐客户预先开通好天翼云成熟的数据库产品关系数据库MySQL版（CTRDS MySQL）作为Hive服务的元数据库。

本章节主要介绍翼MapReduce服务中搜索引擎组件性能优化后与竞品的对比测试结果。 概述 为检验天翼云翼MapReduce服务中搜索引擎在经过多次性能优化增强后的效果，我们选取了两家国内头部竞品的相关测试报告，进行对比确认。下文中分别用代号A云和H云来代表两家竞品厂商。性能比较本身是会受各种环境配置的影响，为了能够更贴近友商的性能测试环境，更能反映出组件本身真实的性能情况，我们根据A云和H云的性能测试报告，申请了配置相同的天翼云云主机，使用相同的测试工具，并且使用相同的测试集及配置参数。 A云： 版本：8.9.1 机器规格：4u16g规格、节点数为3 数据集：httplogs 参数配置： 索引采用6个shard（默认为5个） 每次批量操作提交2000个文档。 同时执行批量索引操作的客户端数量为10个。 H云： 版本：7.6.2版本 机器规格：4u16g规格、节点数为3 数据集：geonames 参数配置： 索引采用6个shard（默认为5个） 测试结果 基于httplogs数据集对比 天翼云 天翼云完整测试结果 A云 从天翼云与A云的测试结果对比来看，天翼云翼MapReduce服务中搜索引擎整体性能快30%。

本节为您介绍数据库迁移服务应用场景。 数据库平滑上云 场景说明 企业出于成本、政策或技术灵活性考虑，需将数据库迁移至天翼云。 场景痛点 传统迁移方式，需要在迁移期间停止业务，对业务影响较大； 传统迁移需依靠DBA依托各种数据库指令、脚本配置完成，实施门槛高，成本高。 场景架构 产品优势 即开即用：天翼云数据库迁移服务即开即用，引导式任务配置流程，一键轻松数据库上云； 多种迁移模式：天翼云数据库迁移服务采用多种迁移模式，全量+增量的迁移可使业务停机时间降至分钟级，降低对业务的影响。 搭配使用 关系数据库MySQL版（CTRDS MySQL）：用于计算平台的在线关系型数据库服务。 关系数据库PostgreSQL(CTRDS PostgreSQL)：用于专业的数据库管理平台，让用户能够在云中轻松设置、操作和扩展关系型数据库 弹性云主机CTECS，Elastic Cloud Server）：用于承载迁移后的应用和业务系统。

如何从第三方云厂商将日志搬迁到天翼云。 若您在其他第三方云厂商使用日志服务，且已有大量的日志数据在第三方云厂商对象存储上，希望将日志搬迁到天翼云，对于不同的日志类型，请参考如下方法： 标准日志（搜索分析）：保存714天，主要用于应用运维等场景，该日志不需要搬迁到天翼云云。您可直接开通使用天翼云云日志服务，在运行14天后，第三方云厂商保存的日志将自然就老化删除。详细请参考云日志服务快速入门。 归档日志（等保合规）：保存180天以上，主要用于安全合规等场景，该日志一般转储存放到对象存储中。您使用对象存储的迁移功能，将第三方云厂商保存在对象存储中的文件迁移到天翼云对象存储服务中。详细操作请参考迁移第三方云厂商数据至天翼云对象存储。

本页面介绍了云数据库ClickHouse产品服务等级协议。 天翼云云数据库ClickHouse服务等级协议，详情请参见《天翼云数据库Clickhouse服务等级协议》。

本节为您介绍数据库迁移工具咨询相关问题。 我在什么场景下使用数据库迁移工具？ 当您需要将其余云服务商的数据库数据迁移上天翼云时，您可以使用数据库迁移工具帮助您有序、安全、便捷、轻松地将数据部分或完全迁移到天翼云，同时保证云上业务的可用性、安全性以及连续性。 数据库迁移工具是否支持从阿里云、天翼云等其余云迁移至天翼云？ 支持。 数据库迁移工具支持市面上主流云厂商的数据库迁移至天翼云，如阿里云、天翼云、以及腾讯云等； 数据库迁移工具是否支持将天翼云上的数据，迁移到其余云服务商或本地？ 不支持。 数据迁移工具迁移目标端仅能够选择天翼云，无法将天翼云数据迁移到本地或其他云服务商。 当我使用数据库迁移工具时，是否能够要求天翼云技术人员帮助迁移？ 天翼云技术人员不直接参与您的业务迁移，您可以通过查看帮助中心，然后实行迁移； 若帮助中心未涉及您的问题，您可通过页面反馈问题，相关技术人员后续对内容进行补充； 若您需要专业的迁移方案和专属的技术支持，您可以订购我们的迁移服务，帮助您平滑迁移业务，缩短整体业务停机时间，减少上云对业务的影响，解除您的上云顾虑，让您聚焦于业务发展。

天翼云云监控用户指南

本页介绍如何通过云监控服务查看翼MR集群的监控数据以及配置告警规则。 从翼MR v2.15.3版本起，用户可以通过云监控服务查看翼MR集群的主机与组件状态，并支持设置相关监控指标的告警规则，配置短信与邮件告警。如需了解产品详细情况，可参考云监控服务。 操作步骤 1. 登录天翼云官网，选择“云监控服务”。 2. 点击进入云监控服务的管理控制台。 3. 在左侧导航栏选择云服务监控中的“翼MapReduce监控”，即可查看该用户在当期资源池下的翼MR集群监控。 4. 操作栏中的查看监控图表，可以查看集群相关监控指标，支持自定义查看的时间段。 5. 点击操作栏内的创建告警规则，或点击左侧导航栏中告警服务中的“告警规则”，即可配置告警策略、通知与规则。 说明 当前仅华东1、西南1、华北2、上海36、华南2、武汉41、杭州7、西安7、西南2贵州资源池的集群支持使用该服务。 仅支持有翼MR集群节点查询权限的用户在云监控服务中查询目标集群的监控数据，管理员可通过翼MR的角色管理与用户权限功能为用户赋权。 监控指标列表 类别 指标名称 主机 cpu使用率 主机 系统15分钟负载 主机 内存空闲率 主机 磁盘存储空闲率 主机 磁盘inode空闲率 主机 磁盘IO使用率 主机 网卡每秒接收丢包数 主机 网卡每秒接收错误包 主机 网卡每秒发送丢包数 主机 网卡每秒发送错误包数 主机 节点指标采集器可用状态 主机 主机运行时间 主机 磁盘挂载状态 主机 磁盘是否只读异常 主机 网卡每秒接收的比特数 主机 网卡每秒发送的比特数 HDFS HDFS进程状态 HDFS HDFS NameNode主备状态 HDFS HDFS rpc端口处理平均耗时 HDFS HDFS rpc端口请求队列长度 HDFS HDFS存储使用率 HDFS PendingDeletionBlocks HDFS MissingBlocks HDFS HDFS每秒创建文件数 HDFS hdfs锁队列等待线程数 HDFS HDFS距离上次checkpoint时间 HDFS HDFS NameNode内存使用率 HDFS HDFS DataNode节点存活比例 HDFS 存储使用总量 HDFS 数据块总量 YARN YARN进程状态 YARN YARN ResourceManager主从状态 YARN pending作业数 YARN pending container数 YARN 心跳处理时延 YARN 每秒心跳次数 YARN YARN NodeManager存活节点比例 YARN YARN ResourceManager内存使用率 YARN YARN ResourceManager主备状态 Hive Hive进程状态 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive hiveserver2 端口监听状态 Hive hiveserver2堆内存使用率 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive Hive metastore 端口监听状态 Hive hiveserver2堆内存使用率 ZooKeeper ZooKeeper进程状态 ZooKeeper ZooKeeper watch数量 ZooKeeper ZooKeeper活跃连接数 ZooKeeper ZooKeeper数据节点存储总量 ZooKeeper Kafka进程状态 ZooKeeper 离线目录数量 ZooKeeper 离线副本数 ZooKeeper 低于 min.insync.replicas 的分区数量 ZooKeeper 未保持同步的分区数量 ZooKeeper 活跃controller数量 ZOOKEEPER ZooKeeper请求延迟 HBase HBase 进程状态 HBase HBase master主从状态 HBase HBase regionserver rit数 HBase HBase master堆内存使用率 HBase HBase regionserver节点存活比例 HBase HBase regionserver堆内存使用率 HBase get操作平均耗时 HBase 99%的get操作耗时 HBase 请求平均处理耗时 HBase 每秒读请求数 HBase 每秒写请求数 Doris Doris进程状态 Doris 每分钟GC时间 Doris 平均每分钟查询错误数 Doris be存储资源使用率 Doris Doris 前端主机cpu平均使用率 Doris Doris 前端主机内存平均使用率 Doris Doris 后端主机cpu平均使用率 Doris Doris 后端主机内存平均使用率 Doris Doris 前端每秒查询数量 Doris Doris 前端每秒请求数量 Elasticsearch es进程状态 Elasticsearch es集群状态 Elasticsearch es 未分配shard数 Elasticsearch pending任务数量 Elasticsearch 文件系统剩余容量百分比 Elasticsearch JVM堆使用率 Elasticsearch rejected线程数 Trino Trino进程状态 Trino 健康节点比例 Trino JVM堆使用率 OpenLDAP openldap进程状态 OpenLDAP 389端口连接数 Flink Flink进程状态 Flume Flume进程状态 Spark Spark进程状态 Kerberos Kerberos进程状态 Ranger Ranger进程状态 Kyuubi Kyuubi进程状态 Knox Knox进程状态 Kibana Kibana进程状态 Logstash Logstash进程状态 JeekeFS JeekeFS进程状态 KafkaUI KafkaUI进程状态 Amoro Amoro 进程状态 Tezui TezUI 进程状态 Tezui TezUI 端口监听状态 Hue Hue 进程状态 Hue Hue 端口监听状态 Hue Hue Python第0代不可回收对象的5分钟增量 Hue Hue Python第1代不可回收对象的5分钟增量 Hue Hue Python第2代不可回收对象的5分钟增量 Hue Hue Django 500错误响应的5分钟增量 DolphinScheduler DolphinScheduler 进程状态 DolphinScheduler DolphinScheduler 系统当前的CPU使用率 DolphinScheduler DolphinScheduler 系统的平均负荷（1分钟） DolphinScheduler DolphinScheduler 各JVM进程CPU使用率 DolphinScheduler DolphinScheduler 各服务GC后长期存活堆内存的使用率 DolphinScheduler DolphinScheduler 各服务垃圾回收时间占比 DolphinScheduler DSApiServer 未捕获异常个数 DolphinScheduler DSAlertServer 等待发送的告警数量 DolphinScheduler DSApiServer 响应状态码的接口个数 DolphinScheduler DSMasterServer 1小时过载次数 DolphinScheduler DolphinScheduler 正在运行的工作流实例数量 DolphinScheduler DSWorkerServer 1小时过载次数 DolphinScheduler DSWorkerServer 上等待提交的任务总数 DolphinScheduler DSWorkerServer 上正在执行的任务总数 DolphinScheduler DSWorkerServer 1小时提交队列全满次数 DolphinScheduler DSAlertServer 5分钟未捕获异常个数

本章节主要介绍翼MapReduce服务的术语解释。 节点 翼MR集群中每个节点即为一台云服务器，节点类型及节点功能如下所示。 节点类型 功能 master节点 翼MR集群管理节点，用于管理集群服务，主要负责ResourceManager和NameNode等控制进程的部署。master节点组默认采用反亲和技术，以此保证业务高可用性。 core节点 翼MR集群工作节点，主要负责存储和计算数据。 task节点 翼MR集群计算节点，主要负责计算数据，不存储数据（如HDFS 数据）。默认不开启，按需使用。 Doris Apache Doris是一个基于MPP架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Elasticsearch Elasticsearch是一个开源的、高扩展性的分布式全文检索引擎，能够近乎实时地存储、检索数据。它能集中存储您的数据，提供快速搜索、精细调整的相关性和强大的分析能力。 HBase HBase提供业务键值数据的结构化存储与检索能力，主要包括键值数据存储、键值数据查询功能，提供键值数据管理和键值数据库监测功能。兼容社区HBase接口，提供Java API，Restful接口形式。是一个分布式、数据多版本、面向列的NoSQL数据库。提供可弹性扩展的多维表格键值存储和即席查询能力。支持上亿行、可扩展列，具备强一致性、高扩展、高可用的特性。

对象存储可与其他云产品集成和配合使用,构建出高效、灵活的云计算应用解决方案。本文为您介绍对象存储与其他服务的关系。 对象存储（CTZOS，Zettabyte Object Storage）是天翼云云计算产品组合中的一部分，与其他产品相互关联。除了对象存储，天翼云还提供了其他云计算产品和服务，如云主机、关系数据库、云监控等，这些产品可以在天翼云平台上进行集成和使用。例如，可以将文件、图片、视频等数据存储在对象存储中，然后通过弹性云主机进行访问和处理。 说明： 服务名称 交互功能 相关内容 弹性云主机 在弹性云主机上实现通过天翼云内网访问ZOS。 购买弹性云主机 云专线 通过相关服务将数据迁移到ZOS中。 开通云专线 云监控 监控用户/桶的存储容量、存储对象数量、本月公网流出流量、本月请求次数、公网流出流量、公网流入流量、内网流出流量、内网流入流量、公网请求次数、内网请求次数、有效请求率、平均使用带宽。 查看云监控 密钥管理 对上传到ZOS中的文件进行加密。 开通密钥管理 域名服务 为托管在ZOS上的静态网站做域名解析。 配置内网域名 关系数据库 使用ZOS作为数据库的数据备份资源池。 创建关系数据库MySQL版实例

本章节主要介绍在HDFS服务进行Master扩容后，对其他相关服务的修改建议。 前置条件 1. HDFS NameNode完成扩容与配置生效操作。 2. 配置生效后重启HDFS服务。 3. 集群状态正常。 相关服务修改建议 YARN 前往翼MR Manager，重启ResourceManager，NodeManager，JobHistory，TimelineServer实例。 Spark 前往翼MR Manager，重启SparkHistoryServer实例。 Hive 前往翼MR Manager，重启HiveServer2、MetaStore实例。 Kyuubi 前往翼MR Manager，重启Kyuubi服务。 Flink 前往翼MR Manager，重启FlinkHistoryServer实例。 HBase 前往翼MR Manager，滚动重启HBase服务。 Trino 前往翼MR Manager，重启TrinoCoordinator和TrinoWorker实例。

自2021年11月11日起，新版云间高速服务协议生效，详情请参见这里。 天翼云云间高速服务协议 历史版本（20201111）

天翼云为您提供云监控服务产品服务协议说明，请您点击查看。 天翼云云监控服务协议

本文主要介绍云间高速（尊享版）用户使用指南。 天翼云云间高速用户使用指南.pdf

本节介绍云安全中心服务协议，请点击查看。 天翼云云安全中心服务协议

本章节主要介绍翼MapReduce服务的集群管理功能。 集群生命周期管理 翼MR支持集群的生命周期管理包括创建集群和删除集群。 创建集群：支持用户定制集群的类型，组件范围，各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息，翼MR将为用户自动创建一个符合配置的集群，全程无需用户参与；同时支持用户在集群中运行自定义内容；支持快速创建多应用场景集群，比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群，在集群中存在不同规格的虚机，允许在CPU类型，硬盘容量，硬盘类型，内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群：当按需计费的集群不再需要时（包括集群中的数据和配置），用户可以选择删除集群，翼MR会将集群相关的资源全部删除。 创建集群 通过在翼MR服务管理面，客户可以按需创建翼MR集群，通过选择集群所建的区域及使用的云资源规格，一键式创建适合企业业务的翼MR集群。翼MR服务会根据用户选择的集群类型、版本和节点规格，帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群，客户在创建时可设置虚拟机的登录方式（密码或者密钥对），所创建的翼MR集群资源完全归客户所用。同时翼MR支持在最小可在两节点4U8G的ECS上部署大数据集群，为客户测试开发提供更多的灵活选择。 翼MR集群类型包括分析集群、流式集群和混合集群。 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，又可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：根据业务需求，可以灵活搭配所需组件（翼MR 3.x及后续版本）。 翼MR集群节点类型包括Master节点、Core节点和Task节点。 Master节点：集群中的管理节点，分布式系统的Master进程和Manager以及数据库均部署在该节点；该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限，MRS服务支持将Master节点规格提高，以支持更大集群的管理。 Core节点：支持存储和计算两种目标的节点，可扩容、缩容。因承载的数据存储，因此在缩容时，为保证数据不丢失，有较多限制，无法进行弹性伸缩。 Task节点：仅用于计算的节点，可扩容、缩容。因只承载计算任务，因此可以进行弹性伸缩。 翼MR创建集群方式支持自定义创建集群和快速创建集群两种。 自定义创建集群：自定义创建可以灵活地选择计费模式、配置项，针对不同的应用场景，可以选择不同规格的弹性云服务器，全方位贴合您的业务诉求。 快速创建集群：用户可以根据应用场景，快速创建对应配置的集群，提高了配置效率，更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。 − Hadoop分析集群：Hadoop分析集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算，Presto交互式查询，Tez有向无环图的分布式计算框等Hadoop生态圈的组件，进行海量数据分析与查询。 − HBase集群：HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 − Kafka集群：Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。

本节包含了天翼云云数据库GaussDB服务等级协议。 天翼云云数据库GaussDB服务等级协议，请点击这里。

本节介绍云安全中心服务等级协议，请点击查看。 天翼云云安全中心服务等级协议

本节包含了天翼云云数据库GaussDB服务协议。 天翼云云数据库GaussDB服务协议，请点击这里。