本章节主要介绍翼MapReduce从零开始使用Kerberos认证集群。 本章节提供从零开始使用安全集群并执行MapReduce程序、Spark程序和Hive程序的操作指导。 本指导的基本内容如下所示： 1. 创建集群。 2. 创建用户。 3. 执行MapReduce程序。 4. 执行Spark程序。 5. 执行Hive程序。 创建集群 1. 创建数据湖、数据服务或实时数据流集群，“Kerberos身份认证”默认开启，且不支持关闭，详见创建集群相关内容。 2. 登录翼MR管理控制台页面。 3. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 创建用户 1. 登录翼MapReduce管理控制台页面。 2. 单击“用户权限”，进入到用户管理页面。 3. 单击“添加用户”，输入相关信息，单击“确定”即可。 执行MapReduce程序 本小结提供执行MapReduce程序的操作指导，旨在指导用户在安全集群模式下运行程序。 前提条件 已编译好待运行的程序及对应的数据文件，如mapreduceexamples1.0.jar、inputdata1.txt。 操作步骤 1. 采用远程登录软件，通过ssh登录到集群的master节点。 2. 登录成功后分别执行如下命令，在/opt/client目录下创建test文件夹。 cd /opt/client mkdir test 3. 分发keytab文件到/opt/client目录，例如test.keytab。 4. 执行如下命令认证已创建的用户，例如test。 kinit kt /opt/client/test.keytab test 5. 执行如下命令将数据导入到HDFS中。 cd test hdfs dfs mkdir /tmp/input hdfs dfs put intputdata1.txt /tmp/input 6. 执行如下命令运行程序。 yarn jar mapreduceexamples1.0.jar WordCount /tmp/input /tmp/output 其中： /tmp/output指HDFS文件系统中output的路径，该目录必须不存在，否则会报错。 执行Spark程序 本小结提供执行Spark程序的操作指导，旨在指导用户在安全集群模式下运行程序。

以下适用于重庆2、南京3节点 天翼云微服务云应用平台产品OpenAPI标准.pdf

本章节主要介绍资源洞察功能。 用户可通过资源洞察功能，快速了解资源的使用情况，如库表数量、存储量、文件量、日增情况、冷热文件信息等。 背景信息 1. V2.16版本起，翼MR集群新增资源洞察功能。 2. 当前支持对Hive组件服务进行资源洞察，部署Hive服务时，可使用该功能。 操作步骤 1. 登录翼MapReduce管理控制台。 2. 从“我的集群”中 ，选中一个运行中且已部署Hive组件服务的集群并单击集群名称，进入集群信息页面。 3. 选择“资源洞察”，在页面即可查看Hive存储分析，含基础信息、使用量分布、库表存储详情等。 注意 当前仅数据湖与自定义业务场景提供Hive可选服务。购买数据湖场景的集群将默认开启资源洞察功能。若选择自定义场景，且订购时未选择Hive服务，可在集群创建后按需通过集群服务管理功能添加Hive组件服务，添加后将自动开启资源洞察功能。

本章节介绍云主机备份的应用场景:数据备份恢复和业务快速迁移部署。 云主机备份可为多种资源提供备份保护服务，有效保障用户数据的安全性和正确性，确保业务安全。云主机备份适用于数据备份和恢复以及业务快速迁移和部署的场景。 数据备份和恢复 云主机备份在以下场景中，均可快速恢复数据，保障业务安全可靠。 受黑客攻击或病毒入侵 通过云主机备份，可立即恢复到最近一次没有受黑客攻击或病毒入侵的备份时间点。 数据被误删 通过云主机备份，可立即恢复到删除前的备份时间点，找回被删除的数据。 应用程序更新出错 通过云主机备份，可立即恢复到应用程序更新前的备份时间点，使系统正常运行。 云主机宕机 通过云主机备份，可立即恢复到宕机之前的备份时间点，使服务器能再次正常启动。 业务快速迁移&部署 为云主机创建备份，使用备份创建镜像，可快速创建与现有云主机相同配置的新云服务器，实现业务的快速部署。 详情请参考最佳实践整机镜像跨可用区迁移。

本文为您介绍云迁移服务CMS如何创建资源任务。 介绍说明 您在使用云迁移服务CMS平台时，发现没有目标资源需要对资源任务进行创建，您可以进入[ 资源管理 ] 界面，通过点击【资源发现】按钮进行资源加入。 图1：云迁移服务CMS资源管理面板 操作步骤 1. 运行云迁移服务CMS平台，在[ 资源管理 ] 界面右上角点击【资源发现】按钮，进入资源创建。 2. 在[发现选择]界面中选择采集方式，这边以离线模式为例。 3. 点击【下一步】按钮，在[信息收集]界面，您需要对任务文件模板进行下载填写，这边以IDC调研模板下载为例。 4. 编辑下载好的IDC调研模板。 5. 在[信息收集]界面填写基本信息，选择第四步编辑好的模板信息，点击【文件上传】按钮。 6. 完成信息收集后，平台会进入资源确认，您需对填写资源进行确认无误后，点击【资源确认】按钮，完成资源任务创建。

本节为您介绍云迁移服务CMS异构评估，组件应用程序任务评估创建相关内容。 1. 云迁移服务CMS提供组件应用程序任务评估创建功能，在左侧导航栏选择迁移评估，点击【异构评估】按钮。跳转至异构评估 [ 组件应用程序 ] 界面。点击【创建评估任务】按钮，跳转至[发现方式选择]界面，如图所示。 2. 在 [ 发现方式选择 ] 界面，您可以选择采集方式，异构评估提供离线采集于在线采集两种模式。如图所示。 3. 点击【离线采集】按钮，跳转至 [ 信息采集 ] 界面，编辑评估任务名称、源端类型相应信息，点击【下一步】按钮，如图所示。 评估任务名称 创建任务使用的名称，用于更好的识别评估报告的对象、用途等。 源端类型 源端类型分为阿里云、IDC离线模板。 目标区域 同一分析任务下所有资源为同一目标区域 点击【调研模板下载】按钮，对模板信息进行填写，如图所示。 填写模板信息，如图所示。 4. 进入[任务完成]界面，点击【完成】按钮，跳转至异构迁移 [ 组件应用程序 ] 界面。如图所示

在数据迁移和同步过程中，可根据源库的数据写入量，源库和目标库的资源配置，来灵活控制全量迁移速率。 适用范围 DTS数据迁移和数据同步任务，可以在任务配置或任务运行阶段修改限速值；处于运行状态的任务，需要暂停任务，再设置限速并重启。DTS默认不限速。 当前限速针对全量迁移阶段生效，通过调整每秒的RPS值，控制全量的源端RPS实际统计值在限速值上下波动。 支持的源和目标数据库 限速功能支持的源和目标数据库，如下表： 源数据库 目标数据库 RDS for MySQL 自建MySQL 5.6部分版本/5.7/8.0 RDS for MySQL 5.7/8.0 RDS for PostgreSQL 自建PostgreSQL 9.4/9.5/9.6/10/11/12/13/14/15 RDS for PostgreSQL DDS 3.4/4.0（副本集） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（副本集） DDS 3.4/4.0（副本集） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（副本集） DDS 3.4/4.0（分片集群） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（分片集群） DDS 3.4/4.0（分片集群） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（分片集群） DDS 3.4/4.0（副本集） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（副本集） DDS 3.4/4.0（分片集群） 自建MongoDB 3.4/4.0/4.2/4.4/5.0/6.0（分片集群） 自建SQL Server、RDS for SQL Server 2016标准版/2016 企业版 /2019 标准版/2019 企业版 /2022 标准版/2022 企业版 RDS for SQL Server 2016标准版/2016 企业版 /2019 标准版/2019 企业版 /2022 标准版/2022 企业版

本节介绍云安全中心服务等级协议，请点击查看。 天翼云云安全中心服务等级协议

权限点 管理员 开发者 运维者 访客 查询集群列表(MRS&DWS&CDM) Y Y Y Y 新建数据库 Y Y N N 删除数据库 Y Y N N 查询数据库 Y Y Y Y 编辑数据库 Y Y N N 新建数据表 Y Y N N 删除数据表 Y Y N N 查询数据表 Y Y Y Y 编辑数据表 Y Y N N 新建资源迁移 Y Y N N 操作资源迁移 Y Y Y N 查询资源迁移 Y Y Y Y 新建数据连接 Y Y N N 删除数据连接 Y Y N N 操作数据连接 Y Y Y N 查询数据连接 Y Y Y Y 编辑数据连接 Y Y N N 删除RDS驱动包 Y N N N 操作RDS驱动包 Y N N N 查询RDS驱动包 Y Y Y Y 新建DLI资源映射配置 N N N N 删除DLI资源映射配置 N N N N 查询DLI资源映射配置 N N N N

4、基础配置 硬件配置选择完成后，左下角会计算当前配置需要费用。点击右下角“下一步”按钮进入基础配置页面。基础配置页面如下图所示，参数说明如下： 集群名称：集群名称可由大写字母、小写字母、数字及特殊符号（:/）组成，最大28字符。 登录方式：默认密码。 登录账号：用于登录弹性云主机的账号，默认为root。 登录密码：用于登录弹性云主机的密码，密码长度为1226字符，需包含大写字母、小写字母、数字和特殊符号（仅包括：~!@$%^+{[]}:,.?），不能包含root、toor相关大小写变形字符串和3位及以上连续数字或字符。 确认密码：与登录密码相同。 5、确认订单 基础配置填写完成后，点击右下角“下一步”按钮，进入确认订单页面。配置清单说明如下： 确认内容是否有误，点击画笔图标，即可回退到相应页面，修改集群信息。 勾选“我已阅读并同意《天翼云翼MapReduce服务协议》 《天翼云翼MapReduce服务等级协议》 ”，“立即购买”按钮变成高亮显示，点击并进入支付页面，购买后即可租用当前配置的集群。

企业主机安全用户手册 天翼云企业主机安全用户指南.pdf

本章节会介绍如何使用mysqldump迁移RDS for MySQL数据 迁移准备 关系型数据库服务支持开启公网访问功能，通过弹性公网IP进行访问。您也可通过弹性云主机的内网访问关系型数据库。 1.准备弹性云主机或可通过公网访问关系型数据库。 通过弹性云主机连接关系型数据库实例，需要创建一台弹性云主机。 通过公网地址连接关系型数据库实例，需具备以下条件。 先对关系型数据库实例绑定公网地址。 保证本地设备可以访问关系型数据库实例绑定的公网地址。 2.在准备的弹性云主机或可访问关系型数据库的设备上，安装MySQL客户端。 说明 该弹性云主机或可访问关系型数据库的设备需要安装和RDS for MySQL数据库服务端相同版本的数据库客户端，MySQL数据库或客户端会自带mysqldump和mysql工具。 数据迁移到云数据库RDS后可能要面对更改IP的问题，为减少客户业务更改，降低迁移难度，支持更改内网IP。 云数据库RDS的系统库mysql和sys不支持导入到RDS for MySQL实例。 导出数据 要将源数据库迁移到关系型数据库，需要先对其进行导出。 说明 相应导出工具需要与数据库引擎版本匹配。 数据库迁移为离线迁移，您需要停止使用源数据库的应用程序。 步骤 1 登录已准备的弹性云主机，或可访问关系型数据库的设备。 步骤 2 使用mysqldump将表结构导出至SQL文件。 说明 mysql数据库是关系型数据库服务管理所必须的数据库，导出表结构时，禁止指定alldatabase参数，否则会造成数据库故障。 mysqldumpdatabases singletransaction orderbyprimary hexblob nodata routines events setgtidpurgedOFF u p h P sed e 's/DEFINER[ ] [ ] [^ ] / /' e 's/DEFINER[ ] . FUNCTION/FUNCTION/' e 's/DEFINER[ ] . PROCEDURE/PROCEDURE/' e 's/DEFINER[ ] . TRIGGER/TRIGGER/' e 's/DEFINER[ ] .EVENT/EVENT/' > DBNAME为要迁移的数据库名称。 DBUSER为数据库用户。 DBADDRESS为数据库地址。 DBPORT为数据库端口。 BACKUPFILE为导出生成的文件名称。 根据命令提示输入数据库密码。 示例如下： mysqldump databases rdsdb singletransaction orderbyprimary hexblob nodata routines events setgtidpurgedOFF u root p h 192.168.151.18 P 3306 sed e 's/DEFINER[ ] [ ] [^ ]/ /' e 's/DEFINER[ ] . FUNCTION/FUNCTION/' e 's/DEFINER[ ] . PROCEDURE/PROCEDURE/' e 's/DEFINER[ ] . TRIGGER/TRIGGER/' e 's/DEFINER[ ] .EVENT/EVENT/' > dumpdefs.sql Enter password: 说明 若使用的mysqldump低于5.6版本，需要去掉“setgtidpurgedOFF”。 命令执行完会生成“dumpdefs.sql”文件，如下： [rds@localhost ~]$ ll dumpdefs.sql rwr. 1 rds rds 2714 Sep 21 08:23 dumpdefs.sql 步骤 3 使用mysqldump将数据导出至SQL文件。 说明 mysql数据库是关系型数据库服务管理所必须的数据库，导出数据时，禁止指定alldatabase参数，否则会造成数据库故障。 mysqldump databases singletransaction hexblob setgtidpurgedOFF nocreateinfo skiptriggersu ph P r 以上命令的参数说明如步骤2所示。 根据命令提示输入数据库密码。 示例如下： mysqldump databases rdsdb singletransaction hexblob setgtidpurgedOFF nocreateinfo skiptriggers u root p h 192.168.151.18 P 8635 r dumpdata.sql 说明 若使用的mysqldump低于5.6版本，需要去掉“setgtidpurgedOFF”。 命令执行完会生成“dumpdata.sql”文件，如下： [rds@localhost ~]$ ll dumpdata.sql rwr. 1 rds rds 2714 Sep 21 08:23 dumpdata.sql

自2021年11月11日起，新版云间高速服务协议生效，详情请参见这里。 天翼云云间高速服务协议 历史版本（20201111）

扩大带宽会对DTS正在进行中的任务产生哪些影响？ 当DTS任务进行过程中进行云连接带宽的扩大时，会导致网络不可用，此时是否会对DTS任务产生影响取决于网络断开的时间以及源库IP有没有发生变化。 如果网络不可用时间较短，且binlog日志未被清理，并且带宽链路更换完成后源库的VPN内的IP地址没有变，则对任务不产生影响；如果网络不可用时间过长，而且源库的binlog日志被清理（由用户设置的清理策略决定），则任务将无法继续，需要重新配置和运行任务。 DTS在多对一场景下应如何操作？ DTS支持多对一的的数据迁移或同步，即从不同实例、不同表的数据迁移或同步到目标库的同一个表中。 操作建议： 由于是多个表的数据汇聚到目标库的同一个表中，所以需要确保目标库所在机器有足够的磁盘空间，建议目标库的剩余磁盘空间至少是源库待迁移数据量大小的1.5倍。 如果是数据同步任务，不支持DDL同步，否则可能会导致同步失败。 DTS在一对多场景下应如何操作？ DTS支持一对多的数据迁移或同步，即从同一实例的数据迁移或同步到多个不同的实例。 操作建议： 由于需要创建多个数据迁移或同步任务，所以对源库造成较大的压力，因此在创建任务之前，提前评估源库业务压力，尽量减少任务数量。 如何查看DTS的操作日志？ DTS支持查看操作日志，目前操作日志只记录了任务的管理类操作的相关信息，如：新增节点、启动节点、创建任务、编辑任务、暂停任务、预检查等。 用户可登录DTS的控制台，然后点击左侧菜单栏的【操作日志】，即可查看操作日志。 具体操作请参见帮助文档操作日志章节内容。

资源 限制 说明 每个云企业路由器可加载的VPC网络实例数 10 可通过工单申请提高配额 每个云企业路由器可加载的云专线网络实例数 5 可通过工单申请提高配额 每个云企业路由器可加载天翼云SDWAN网络实例数 1 此限制不能提高 每个云企业路由器可加载天翼云VPN连接实例数 5 可通过工单申请提高配额 每个云企业路由器可加载天翼云云电脑网络实例数 5 可通过工单申请提高配额 每个云企业路由器支持默认路由表数 1 此限制不能提高 每个云企业路由器支持自定义路由表数 5 可通过工单申请提高配额 每个云企业路由器支持创建路由策略数 20 可通过工单申请提高配额 每个云企业路由器支持创建流量策略数 10 可通过工单申请提高配额

本文主要介绍XEN实例迁移最佳实践。 背景信息 当前天翼云上XEN实例已经停售（详情可见XEN实例停止售卖说明及常见问题），建议还在使用XEN实例的客户迁移至更新的产品系列上，以获取更优的性能，以及更高的可靠性。 迁移准备 如何判断是否在使用XEN实例 可以通过判断当前使用的规格名称，来确定自己是否在使用XEN实例。 当前XEN实例的规格名称包括：C1、C2、S1、M1型弹性云主机。 驱动安装 如果当前XEN实例使用的是Linux镜像，可参考以下方案中的步骤安装驱动。 XEN实例变更为KVM实例（Linux自动配置）中的步骤1~步骤2 XEN实例变更为KVM实例（Linux手动配置）中的步骤1~步骤3 XEN实例变更为KVM实例（Linux批量自动配置）中的步骤1~步骤2 如果当前XEN实例使用的是Windows镜像，可参考以下方案中的步骤安装驱动。 XEN实例变更为KVM实例（Windows）中的步骤1~步骤3 迁移过程 如果当前XEN实例使用的是Linux镜像，请参考XEN实例变更为KVM实例（Linux自动配置）中的步骤3来进行规格变更。 如果当前XEN实例使用的是Windows镜像，请参考XEN实例变更为KVM实例（Windows）中的步骤4来进行规格变更。

接口功能介绍 查询迁移任务的失败对象列表 接口约束 1、支持的线上资源池 ：华东1 2、仅“迁移结束存在失败对象”状态的任务能够查询失败对象列表 3、仅“全托管模式”迁移模式的任务能够查询失败对象列表 URI GET /v4/zms/listmigrationfaileddetail 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 regionID 是 String 资源池 ID 81f7728xxxxx0155d307d5b migrationID 是 String 迁移任务ID 222migf4416xxxxx5a2695318f pageSize 否 Integer 页大小，默认值 10，取值范围 1~50 3 pageNo 否 Integer 页码，默认值为1 2 请求参数 请求头header参数 无 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 返回状态码(800为成功，900为处理中/失败) 800 message String 状态描述 SUCCESS returnObj Object 响应对象 returnObj description String 状态描述，一般为中文 成功 errorCode String 业务细分码（仅失败时具有此参数），为product.module.code三段式码 openapi.userPermission.accessFailed error String 业务细分码（大驼峰形式，仅失败时具有此参数），为 Product.Module.Code 三段式码 Openapi.UserPermission.AccessFailed 表 returnObj 参数 参数类型 说明 示例 下级对象 results Array of Objects 响应对象 results currentCount Integer 当前页数量 2 totalCount Integer 总数量 10 pageNo Integer 当前页码 1 pageSize Integer 每页个数 7 表 results 参数 参数类型 说明 示例 下级对象 object String 失败对象名 sss reason String 失败对象原因 ('An error occurred (UnknownError) when calling the UploadPart operation (reached max retries: 3): Unknown',)

本节为您介绍云迁移服务CMS中数据库迁移工具节点管理配置工作，包括注意事项，操作步骤。 注意事项 本文仅简单介绍节点管理的快速配置流程，更加详细的配置步骤请阅读节点管理。 操作步骤 1. 下载子节点安装包，进行后续步骤，具体下载安装包位置参考：数据库迁移服务左侧导航栏节点安装模块。 示例： sudo wget 2. 安装节点。 （1）解压 解压下载完成的安装包，进行后续步骤。 示例： sudo tar xzvf cmpcomposex.x.xx8664.tar.gz （2）授权 授权解压完成的文件，进行后续步骤。 示例： sudo chmod a+x .sh （3）安装 执行安装命令，进行后续步骤。 示例： sudo ./install.sh 根据提示输入AKSK，具体AKSK获取位置参考：数据库迁移服务左侧导航栏节点安装模块。 3. 安装成功后出现如下提示。 4. 安装成功后，点击导航栏的“节点管理”，跳转到节点管理界面，点击“添加节点按钮”按钮。 5. 填写节点信息后，点击“保存”按钮。 6. 保存成功后，界面如下图。

本章主要介绍告警规则详情页面操作。 告警规则详情 操作场景 查看告警规则配置信息，新增、修改、删除告警规则。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“监控与告警 > 告警规则”，点击需要查看或变更的告警规则文件名，跳转至告警规则文件详情，如图所示： 5. “规则信息”一节展示所有告警规则分组，点击告警规则分组名，可展开组下告警规则。继续点击告警规则名，可展开单条告警规则的具体信息，如图所示： 6. 点击告警规则组名右侧新增按钮，可新增告警规则，如图所示： 7. 点击告警规则名右侧编辑按钮，可编辑告警规则信息。点击告警规则名右侧删除按钮，可删除告警规则。 8. 对告警规则的编辑操作，需要点击右上角“同步”按钮，将告警配置同步到Prometheus实例并加载生效，如图所示： 说明 1. 告警规则各字段说明如下： 1. 规则类型：分为告警、记录两种类型。告警类型用于配置异常告警，当监控指标触发告警表达式时，触发告警。记录类型用于预聚合监控指标，依照表达式聚合计算。 2. 持续时间：仅“告警”类型具有，当表达式成立且持续超过所设时间，告警将会触发。如果希望表达式成立后立即触发告警，可设置为0。需注意，持续时间设置过小，可能导致频繁无意义报警。 3. 表达式：填写PromQL语法的表达式。 4. 标签：预设字段mozialertlevel，用于定义告警级别，四个告警级别为WARNING（警告）、ERROR（错误）、SEVERITY（严重）、DISASTER（灾难）。例如，配置标签mozialertlevel为SEVERITY，触发告警后，在“告警历史”页面，告警的级别为“严重”。 5. 标注：预设标注字段description，用于定义告警信息，触发告警后，在“告警历史”页面，description字段对应的信息，将显示为“告警信息”。 2. 预设的记录类型告警规则，与系统功能相关，不建议用户自行修改。 3. 对告警规则组、告警规则的所有新增、修改、删除操作，都需要通过“同步”按钮，同步到监控组件并生效。 4. 可以勾选一批告警规则文件导出为压缩文件，压缩文件可再次用于告警规则导入，导入操作会直接同步到监控组件并生效，不需要额外的同步操作。需要注意，导入过程，同名告警规则文件会被覆盖。 5. 可以勾选一批告警规则文件进行删除，删除操作会直接同步到监控组件并生效，不需要额外的同步操作。

本章节主要介绍MapReduce如何创建集群。 使用翼MR的首要操作就是创建集群，本章节为您介绍如何在翼MR管理控制台创建一个新的集群。 操作步骤 1.登录翼MR管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 说明 创建集群时需要注意配额提醒。当资源配额不足时，建议按照提示申请足够的资源，再创建集群 。 3.在创建集群页面，选择“自定义创建”页签。 4 .配置集群软件信息。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20180321”。 集群版本：默认最新版本即可。 集群类型：默认选择“分析集群”即可。 组件选择：分析集群勾选Spark2x、HBase和Hive等组件。流式集群勾选Kafka和Storm等组件。混合集群可同时勾选分析集群流式集群的组件。 元数据：默认即可。 说明 针对翼MR 3.x之前版本，分析集群勾选Spark、HBase和Hive等组件 。 5.单击“下一步”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：选择“自动创建”。 弹性公网IP：选择“暂不绑定”。 实例规格：Master和Core节点都选择“通用计算型S3>8核16GB(s3.2xlarge.2 )”。 系统盘：存储类型选择“普通IO”，存储空间默认即可。 数据盘：存储类型选择“普通IO”，存储空间默认即可，数据盘数量默认即可。 实例数量：Master节点数量默认为2，Core节点数量配置为3。 注意 上述“实例规格”示例，实际可选规格请以各资源池可用规格为准。 6.单击“下一步”进入高级配置页签，配置参数，其他参数保持默认。 Kerberos认证： −Kerberos认证：关闭Kerberos认证。 −用户名：Manager管理员用户，目前默认为admin用户。 −密码：Manager管理员用户的密码。 登录方式：选择登录ECS节点的登录方式。 −密码：设置登录ECS节点的登录密码。 −密钥对：从下拉框中选择密钥对，如果已获取私钥文件，请勾选“我确认已获取该密钥对中的私钥文件 SSHkeyxxx ，否则无法登录弹性云主机”。如果没有创建密钥对，请单击“查看密钥对”创建或导入密钥，然后再获取私钥文件。 通信安全授权：勾选确认授权。 7.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 8.单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

如何使用copy导入导出？ 由于云上DWS是全托管服务，用户无法登录后台，无法使用copy进行导入导出文件，所以云上将copy语法禁掉。云上推荐将数据文件放到obs上，使用obs外表进行入库，如果需要使用copy导入导出数据，可以参考如下方法： 1.将数据文件放到客户端的机器上。 2.使用gsql连接集群。 3.执行如下命令导入数据，输入数据文件在客户端的目录信息和文件名，with中指定导入选项，跟正常copy一样，但是需要在copy前添加""标识，入库成功后不会有消息提示。 copy tbname from '/directoryname/filename' with(...); 4.执行如下命令，使用默认参数直接导出数据到本地文件。 copy tablename to '/directoryname/filename'; 5.使用copyoption参数导出为CSV文件。 copy tablename to '/directoryname/filename' CSV; 6.使用with指定option参数，导出为CSV文件，分隔符为''。 copy tablename to '/directoryname/filename' with(format 'csv',delimiter '') ; 是否支持跨Region进行OBS导入或导出数据？ 不支持。 DWS不支持跨Region进行OBS导入或导出数据，必须确保DWS集群和OBS在同一个Region内。 在创建DWS集群和OBS时，请您务必关注所属Region。 DWS/Oracle/MySQL/SQL Server的数据如何导入/迁移到DWS（整库迁移）？ 对于异构数据的入库，可通过CDM迁移，支持Oracle、MySQL、SQL Server的整库迁移，以及老DWS导入到新DWS的整库迁移。 您也可以将数据存入OBS再转储至DWS，详情请参见《数据仓库服务开发指南》的“关于OBS并行导入”章节。

本节为您介绍数据库迁移工具高级配置选项。 经过选择的迁移对象，可进行高级配置。 操作步骤 1. 点击“高级配置”按钮，出现配置页面。 2. 在配置页面点击配置按钮，弹出配置框，在配置框中可进行数据过滤配置、表名映射、字段名映射等配置。

CDM作业定时备份/恢复 该功能依赖于OBS服务。 前提条件 已创建配置OBS连接。 定时备份 在CDM作业管理界面，单击“配置管理”页签，配置定时备份的参数。 表 定时备份参数 参数 说明 配置样例 定时备份 自动备份功能的开关，该功能只备份作业，不会备份连接。 开 备份策略 所有作业：不管作业处于什么状态，CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。 分组作业：选择备份某一个或多个分组下的作业。 所有作业 备份周期 选择备份周期： 日：每天零点执行一次。 周：每周一零点执行一次。 月：每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接，将作业备份到OBS，需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdmbk/ 恢复作业 如果之前执行过自动备份，“配置管理”页签下会显示备份列表：显示备份文件所在的OBS桶、路径、备份时间。 您可以单击备份列表操作列的“恢复备份”来恢复CDM作业。 CDM作业参数的环境变量 CDM在创建迁移作业时，可以手动输入的参数（例如OBS桶名、文件路径等）、参数中的某个字段、或者字段中的某个字符，都支持配置为一个全局变量，方便您批量更改作业中的参数值，以及作业导出/导入后进行批量替换。 这里以批量替换作业中OBS桶名为例进行介绍。 1.在CDM作业管理界面，单击“配置管理”页签，配置环境变量。 bucket1A bucket2B 这里以变量“bucket1”表示桶A，变量“bucket2”表示桶B。 2.在创建CDM迁移作业的界面，迁移桶A的数据到桶B。 源端桶名配置为 {bucket1} ，目的端桶名配置为 {bucket2} 。 图 桶名配置为环境变量 3.如果下次要迁移桶C数据到桶D，则无需更改作业参数，只需要在“配置管理”界面将环境变量改为如下即可： bucket1C bucket2D

本章主要介绍翼MapReduce的备份HBase业务数据功能。 操作场景 为了确保HBase日常数据安全，或者系统管理员需要对HBase进行重大操作（如升级或迁移等），需要对HBase业务数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份数据。支持创建任务自动或手动备份数据。 HBase备份业务数据时，可能存在以下场景： 用户创建HBase表时，“KEEPDELETEDCELLS”属性默认值为“false”，备份该HBase表时会将已经删除的数据备份，可能导致恢复后出现垃圾数据。请根据业务需要，在创建HBase表时手动修改参数值为“true”。 用户在HBase表写入数据时手动指定了时间戳，且时间早于上一次该HBase表的备份时间，则在增量备份任务中可能无法备份新数据。 HBase备份功能不支持对HBase的global或者命名空间的读取、写入、执行、创建和管理权限的访问控制列表（ACL）进行备份，恢复HBase数据后需要管理员在FusionInsight Manager上重新设置角色的权限。 已创建的HBase备份任务，如果本次备份任务在备集群的备份数据丢失，当下次执行增量备份时备份任务将失败，需要重新创建HBase的备份任务。若下次执行全量则备份正常。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以hdfs用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照，否则无法创建备份任务。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn，HDFS的配置保持一致。

本节介绍注册集群概述。 CCE One注册集群可以帮助您快速实现kubernetes集群注册到云端，使用天翼云容器管理控制台对注册集群进行统一管理，赋予云下集群使用云上资源能力。目前CCE One支持注册以下类型的注册集群。 注册集群类型 集群描述 相关文档 天翼云集群 包含天翼云云容器引擎CCE专有版、托管版、智算版和Serverless版。 前往链接 本地集群 由CCE提供的运行在您数据中心基础设施之上的Kubernetes集群，以及满足CNCF标准的IDC自建的Kubernetes集群。 前往链接 三方云集群 三方公有云上提供的Kubernetes集群产品，如：阿里云(ACK)、腾讯云(TKE)、GCP (GKE)、AWS(EKS)等。 前往链接 AnyWhere集群 由天翼云容器服务提供的，运行在您数据中心基础设施之上的Kubernetes集群。 前往链接

本章节主要介绍配置OBS源端参数。 作业中源连接为配置OBS连接时，源端作业参数如下表所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表 源端为OBS时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 待迁移数据所在的桶名。 BUCKET2 基本参数 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件（最多50个），默认以“l”分隔，也可以自定义文件分隔符。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 FROM/example.csv 基本参数 文件格式 文件格式指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 CSV格式 基本参数 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），例如直接写为如下内容： /052101/DAY20211110.data /052101/DAY20211111.data 是 基本参数 列表文件源连接 当“列表文件”选择为“是”时，才有该参数。可选择列表文件所在的OBS连接。 OBStestlink 基本参数 列表文件OBS桶 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶名。 01 基本参数 列表文件或目录 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 此处建议选择为文件的绝对路径。当选择为目录时，也支持迁移子目录中的文件，但如果目录下文件量过大，可能会导致集群内存不足。 /0521/Lists.txt 基本参数 JSON类型 当“文件格式”选择为“JSON格式”时，才有该参数。JSON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 基本参数 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时，才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 高级属性 使用包围符 选择“是”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 否 高级属性 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段，当选择“是”时，“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时，才有该参数。 是 高级属性 正则表达式 分隔字段的正则表达式。 ^(d.d) (w ) [(. )] ([w.] ) (w.). 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 否 高级属性 编码类型 文件编码类型，例如：“UTF8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 GBK 高级属性 压缩格式 当“文件格式”为“CSV格式”或“JSON格式”时该参数才显示。选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 高级属性 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则则保持原样传输。当输入或为空时，所有文件都会被解压。 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式： 不处理。 重命名：作业执行成功后将源文件重命名，添加用户名和时间戳的后缀。 删除：作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 否 高级属性 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 高级属性 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。 等待时间设置为0时，当源端路径下不存在标识文件，任务会立即失败。 单位：秒。 10 高级属性 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为 。 高级属性 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。 通配符 高级属性 目录过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 input 高级属性 文件过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 .csv, .txt 高级属性 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))} 表示：只迁移最近90天内的文件。 20190601 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示：只迁移修改时间为当前时间以前的文件。 20190701 00:00:00 高级属性 加密方式 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 高级属性 忽略不存在原路径/文件 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。 否 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致。 .md5 说明 1.迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 2.文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同目录并创建多个任务。

本章节主要介绍翼MapReduce服务如何新增节点组。 当存量core或task节点组的计算或存储资源无法满足您的业务需求时，您可以使用新增节点组功能增加实例数量。 背景信息 1. V2.16版本起，数据湖、数据分析、数据服务、实时数据流与自定义场景支持新增节点组功能。 2. V2.17版本起，云搜索场景支持新增节点组功能。 3. 当前数据湖、数据服务、实时数据流与自定义业务场景支持新增core与task节点组，数据分析与云搜索场景支持新增core节点组。 4. 仅支持对状态为“运行中”的集群进行新增节点组操作。 操作步骤 1. 登录翼MapReduce管理控制台。 2. 从“我的集群”中 ，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3. 选择“节点管理”，点击“新增节点组”按钮。 4. 选择新增节点组的配置并完成支付后，可在“节点管理”的节点信息中，查看新增节点组结果。当新增节点组状态从变为“运行中”，表示新增成功。

解决方案 在使用distinct或group by的时候，尽量在合理的情况下，创建可以包含所有依赖字段的索引。 为什么有时候用浮点数做等值比较查不到数据 原因分析 浮点数的等值比较问题是一种常见的浮点数问题。因为在计算机中，浮点数存储的是近似值而不是精确值，所以等值比较、数学运算等场景很容易出现预期外的情况。 MySQL中涉及浮点数的类型有float和double。如下示例中遇到的问题： 解决方案 1. 使用精度的方法处理，使用字段与数值的差值的绝对值小于可接受的精度的方法。示例： 2. 使用定点数类型(DECIMAL)取代浮点数类型，示例： 表空间膨胀问题 场景描述 在使用TaurusDB过程中，经常遇到表空间膨胀问题，例如：表中只有11774行数据，表空间却占用49.9GB，将该表导出到本地只有800M。 原因分析 场景1：DRS全量迁移阶段并行迁移导致 原因：DRS在全量迁移阶段，为了保证迁移性能和传输的稳定性，采用了行级并行的迁移方式。当源端数据紧凑情况下，通过DRS迁移到云上TaurusDB后，可能会出现数据膨胀现象，使得磁盘空间使用远大于源端。 场景2：大量删除操作后在表空间留下碎片所致 原因：当删除数据时，mysql并不会回收被删除数据占据的存储空间，而只做标记删除，尝试供后续复用，等新的数据来填补相应空间，如果短时间内没有数据来填补这些空间，就造成了表空间膨胀，形成大量碎片； 可以通过如下SQL语句，查询某个表详细信息，DATAFREE字段表示表空间碎片大小： select from informationschema.tables where tableschema'dbname' and tablename 'tablename'G

相关服务 交互功能 弹性云服务器(ECS) RDSPostgreSQL配合弹性云服务器 (Elastic Cloud Server，简称ECS)一起使用，通过内网连接RDSPostgreSQL可以有效地降低应用响应时间、节省公网流量费用。 虚拟私有云(VPC) 对您的RDSPostgreSQL实例进行网络隔离和访问控制。 弹性IP(EIP) 为您的实例提供公网访问方式。 数据迁移工具(DTS) 使用数据复制服务，实现数据库平滑迁移上云。 数据库管理工具(DAS) 使用数据管理服务，通过专业优质的可视化操作界面，提高数据管理工作的效率和安全。 数据库专家服务 专家团队为您提供数据库安装部署、健康巡检、应急响应、性能调优、架构规划设计、数据迁移咨询、备份恢复咨询等各类数据库专业服务，解决数据库各类问题，为您的数据库系统保驾护航。

XPack功能排查 如果原集群使用了XPack功能，云搜索的Elacticsearch不提供XPack，需要转换到对应的开源版功能。 插件功能排查 先确认原集群用到的插件，天翼云提供的实例是否默认具备。如不具备则需确认该插件在不同的版本中是否有功能和使用上的差异，即跨版本是否兼容。 Java 客户端 6.x兼容的TransportClient在7.x中废弃，如果业务仍使用TransportClient，需要修改相应的业务代码。 Elasticsearch 7.X迁移Elasticsearch 7.10.2 XPack功能排查 如果原集群使用了XPack功能，云搜索的Elacticsearch不提供XPack，需要转换到对应的开源版功能。 高版本7.X个别功能不可用 若迁移源版本≥ 7.11，可能有个别功能在7.10.2不可用，例如runtime fields等。 插件功能排查 先确认原集群用到的插件，天翼云提供的实例是否默认具备。如不具备则需确认该插件在不同的版本中是否有功能和使用上的差异，即跨版本是否兼容。 Java 客户端 7.17.X版本已经可以使用Elasticsearch Java API Client，如果使用了，需要重写相应的代码，使用Java REST High Level Client。 Elasticsearch 8.X迁移Elastisearch 7.10.2 快照迁移不支持 Elasticsearch不支持版本降级，需要重建数据。快照不可用于降级还原；只能通过reindex/Logstash等方法。 8.X引入的各项高级功能不兼容 比如runtime fields、densevector、searchablesnapshot、向量等高级功能语法不兼容。 XPack功能排查 如果原集群使用了XPack功能，云搜索的Elacticsearch不提供XPack，需要转换到对应的开源版功能。

本页介绍如何通过云监控服务查看翼MR集群的监控数据以及配置告警规则。 从翼MR v2.15.3版本起，用户可以通过云监控服务查看翼MR集群的主机与组件状态，并支持设置相关监控指标的告警规则，配置短信与邮件告警。如需了解产品详细情况，可参考云监控服务。 操作步骤 1. 登录天翼云官网，选择“云监控服务”。 2. 点击进入云监控服务的管理控制台。 3. 在左侧导航栏选择云服务监控中的“翼MapReduce监控”，即可查看该用户在当期资源池下的翼MR集群监控。 4. 操作栏中的查看监控图表，可以查看集群相关监控指标，支持自定义查看的时间段。 5. 点击操作栏内的创建告警规则，或点击左侧导航栏中告警服务中的“告警规则”，即可配置告警策略、通知与规则。 说明 当前仅华东1、西南1、华北2、上海36、华南2、武汉41、杭州7、西安7、西南2贵州资源池的集群支持使用该服务。 仅支持有翼MR集群节点查询权限的用户在云监控服务中查询目标集群的监控数据，管理员可通过翼MR的角色管理与用户权限功能为用户赋权。 监控指标列表 类别 指标名称 主机 cpu使用率 主机 系统15分钟负载 主机 内存空闲率 主机 磁盘存储空闲率 主机 磁盘inode空闲率 主机 磁盘IO使用率 主机 网卡每秒接收丢包数 主机 网卡每秒接收错误包 主机 网卡每秒发送丢包数 主机 网卡每秒发送错误包数 主机 节点指标采集器可用状态 主机 主机运行时间 主机 磁盘挂载状态 主机 磁盘是否只读异常 主机 网卡每秒接收的比特数 主机 网卡每秒发送的比特数 HDFS HDFS进程状态 HDFS HDFS NameNode主备状态 HDFS HDFS rpc端口处理平均耗时 HDFS HDFS rpc端口请求队列长度 HDFS HDFS存储使用率 HDFS PendingDeletionBlocks HDFS MissingBlocks HDFS HDFS每秒创建文件数 HDFS hdfs锁队列等待线程数 HDFS HDFS距离上次checkpoint时间 HDFS HDFS NameNode内存使用率 HDFS HDFS DataNode节点存活比例 HDFS 存储使用总量 HDFS 数据块总量 YARN YARN进程状态 YARN YARN ResourceManager主从状态 YARN pending作业数 YARN pending container数 YARN 心跳处理时延 YARN 每秒心跳次数 YARN YARN NodeManager存活节点比例 YARN YARN ResourceManager内存使用率 YARN YARN ResourceManager主备状态 Hive Hive进程状态 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive hiveserver2 端口监听状态 Hive hiveserver2堆内存使用率 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive Hive metastore 端口监听状态 Hive hiveserver2堆内存使用率 ZooKeeper ZooKeeper进程状态 ZooKeeper ZooKeeper watch数量 ZooKeeper ZooKeeper活跃连接数 ZooKeeper ZooKeeper数据节点存储总量 ZooKeeper Kafka进程状态 ZooKeeper 离线目录数量 ZooKeeper 离线副本数 ZooKeeper 低于 min.insync.replicas 的分区数量 ZooKeeper 未保持同步的分区数量 ZooKeeper 活跃controller数量 ZOOKEEPER ZooKeeper请求延迟 HBase HBase 进程状态 HBase HBase master主从状态 HBase HBase regionserver rit数 HBase HBase master堆内存使用率 HBase HBase regionserver节点存活比例 HBase HBase regionserver堆内存使用率 HBase get操作平均耗时 HBase 99%的get操作耗时 HBase 请求平均处理耗时 HBase 每秒读请求数 HBase 每秒写请求数 Doris Doris进程状态 Doris 每分钟GC时间 Doris 平均每分钟查询错误数 Doris be存储资源使用率 Doris Doris 前端主机cpu平均使用率 Doris Doris 前端主机内存平均使用率 Doris Doris 后端主机cpu平均使用率 Doris Doris 后端主机内存平均使用率 Doris Doris 前端每秒查询数量 Doris Doris 前端每秒请求数量 Elasticsearch es进程状态 Elasticsearch es集群状态 Elasticsearch es 未分配shard数 Elasticsearch pending任务数量 Elasticsearch 文件系统剩余容量百分比 Elasticsearch JVM堆使用率 Elasticsearch rejected线程数 Trino Trino进程状态 Trino 健康节点比例 Trino JVM堆使用率 OpenLDAP openldap进程状态 OpenLDAP 389端口连接数 Flink Flink进程状态 Flume Flume进程状态 Spark Spark进程状态 Kerberos Kerberos进程状态 Ranger Ranger进程状态 Kyuubi Kyuubi进程状态 Knox Knox进程状态 Kibana Kibana进程状态 Logstash Logstash进程状态 JeekeFS JeekeFS进程状态 KafkaUI KafkaUI进程状态 Amoro Amoro 进程状态 Tezui TezUI 进程状态 Tezui TezUI 端口监听状态 Hue Hue 进程状态 Hue Hue 端口监听状态 Hue Hue Python第0代不可回收对象的5分钟增量 Hue Hue Python第1代不可回收对象的5分钟增量 Hue Hue Python第2代不可回收对象的5分钟增量 Hue Hue Django 500错误响应的5分钟增量 DolphinScheduler DolphinScheduler 进程状态 DolphinScheduler DolphinScheduler 系统当前的CPU使用率 DolphinScheduler DolphinScheduler 系统的平均负荷（1分钟） DolphinScheduler DolphinScheduler 各JVM进程CPU使用率 DolphinScheduler DolphinScheduler 各服务GC后长期存活堆内存的使用率 DolphinScheduler DolphinScheduler 各服务垃圾回收时间占比 DolphinScheduler DSApiServer 未捕获异常个数 DolphinScheduler DSAlertServer 等待发送的告警数量 DolphinScheduler DSApiServer 响应状态码的接口个数 DolphinScheduler DSMasterServer 1小时过载次数 DolphinScheduler DolphinScheduler 正在运行的工作流实例数量 DolphinScheduler DSWorkerServer 1小时过载次数 DolphinScheduler DSWorkerServer 上等待提交的任务总数 DolphinScheduler DSWorkerServer 上正在执行的任务总数 DolphinScheduler DSWorkerServer 1小时提交队列全满次数 DolphinScheduler DSAlertServer 5分钟未捕获异常个数

本节主要介绍如何在SFS容量型与SFS Turbo之间进行数据迁移。 场景介绍 用户可以将SFS容量型文件系统中的数据迁移至SFS Turbo文件系统中，也可以将SFS Turbo文件系统中的数据迁移至SFS容量型文件系统中，进行云上业务拓展。 此方案通过创建一台Linux操作系统的云服务器，来连接SFS容量型文件系统和SFS Turbo文件系统的通信。 约束与限制 仅支持使用Linux系统的云服务器进行数据迁移。 Linux系统云服务器、SFS容量型文件系统和SFS Turbo文件系统需在同一VPC下。 前提条件 已创建一台操作系统为Linux的云服务器。 已创建SFS容量型和SFS Turbo文件系统，并获取到文件系统的挂载地址。 操作步骤 1. 登录弹性云服务器管理控制台。 2. 登录已创建好的Linux系统云服务器，用于同时访问SFS容量型文件系统和SFS Turbo文件系统。 3. 输入以下挂载命令，用于访问文件系统1。文件系统1可以是SFS容量型文件系统或SFS Turbo文件系统。 mount t nfs o vers3,timeo600,noresvport,nolock 文件系统1挂载地址 /mnt/src 4. 输入以下挂载命令，用于访问文件系统2。文件系统2可以是SFS容量型文件系统或SFS Turbo文件系统。 mount t nfs o vers3,timeo600,noresvport,nolock 文件系统2挂载地址 /mnt/dst 查看挂载信息： 5. 在Linux云服务器中执行以下命令安装rclone工具。 > wget nocheckcertificate > > unzip rclonev1.57.0linuxamd64.zip > > chmod 0755 ./rclone/rclone > > cp ./rclone/rclone /usr/bin/ > > rm rf ./rclone 6. 执行以下命令，进行数据同步。 rclone copy /mnt/src /mnt/dst P transfers 32 checkers 64 说明 参数说明如下，transfers和checkers数目可以根据系统规格自行配置: transfers：传输文件的并发数目。 checkers：扫描文件的并发数目。 P：数据拷贝进度。 等待数据完成同步后，可前往目标文件系统查看是否已成功迁移。