本章节主要介绍 备份与恢复简介 。 概述 MRS Manager提供对系统内的用户数据及系统数据的备份恢复能力，备份功能按组件提供，支持备份管理系统Manager的数据（需要同时备份OMS和LdapServer）、Hive用户数据、DBService中保存的组件元数据和HDFS元数据备份。 备份恢复任务的使用场景如下： 用于日常备份，确保系统及组件的数据安全。 当系统故障导致无法工作时，使用已备份的数据完成恢复操作。 当主集群完全故障，需要创建一个与主集群完全相同的镜像集群，可以使用已备份的数据完成恢复操作。 详见下表：根据业务需要备份元数据 备份类型 备份内容 OMS 默认备份集群管理系统中的数据库数据（不包含告警数据）以及配置数据。 LdapServer 备份用户信息，包括用户名、密码、密钥、密码策略、组信息。 DBService 备份DBService管理的组件（Hive）的元数据。 NameNode 备份HDFS元数据。 原理 任务 在进行备份恢复之前，需要先创建备份恢复任务，并指定任务的参数，例如任务名称、备份数据源和备份文件保存的目录类型等等。通过执行备份恢复任务，用户可完成数据的备份恢复需求。在使用Manager执行恢复HDFS、Hive和NameNode数据时，无法访问集群。 每个备份任务可同时备份不同的数据源，每个数据源将生成独立的备份文件，每次备份的所有备份文件组成一个备份文件集，可用于恢复任务。备份任务支持将备份文件保存在Linux本地磁盘、本集群HDFS与备集群HDFS中。备份任务提供全量备份或增量备份的策略，增量备份策略支持HDFS和Hive备份任务，OMS、LdapServer、DBService和NameNode备份任务默认只应用全量备份策略。 说明 任务运行规则： 某个任务已经处于执行状态，则当前任务无法重复执行，其他任务也无法启动。 周期任务自动执行时，距离该任务上次执行的时间间隔需要在120秒以上，否则任务推迟到下个周期启动。手动启动任务无时间间隔限制。 周期任务自动执行时，当前时间不得晚于任务开始时间120秒以上，否则任务推迟到下个周期启动。 周期任务锁定时无法自动执行，需要手动解锁。 OMS、LdapServer、DBService和NameNode备份任务开始执行前，若主管理节点“LocalBackup”分区可用空间小于20GB，则无法开始执行。 用户在规划备份恢复任务时，请严格根据业务逻辑、数据存储结构、数据库或表关联关系，选择需要备份或者恢复的数据。系统默认创建了一个间隔为24小时的周期备份任务“default”，支持全量备份OMS、LdapServer、DBService和NameNode数据到Linux本地磁盘。

使用限制 限制内容 限制 单实例系统盘数量 1块 单实例数据盘数量 23块 单块数据盘容量 10GB~32TB，其中1GB 10亿Byte，1TB1万亿Byte，格式化之后的实际容量可能较小 单共享盘挂载实例数量 16台 未挂载实例云盘数量 20块 储存安全 读写稳定性 在同一集群中，您的业务数据以三副本的形式分布存储在集群中，保证读写过程中的数据稳定性。 数据备份 支持使用手动创建或自动创建快照，保护云盘历史数据。同时支持采用虚拟机备份和云盘备份来保护数据，备份需额外购买对象储存资源来存放数据。 数据删除 您删除的数据将无法找回，分布式存储系统中已删除的数据会被完全擦除，如想找回建议提前创建快照。当您释放云盘时，存储系统会销毁源数据，所有数据将无法找回，该云盘对应的物理存储空间会被回收。

对比维度 云主机备份 云硬盘备份 备份/恢复对象 服务器中的所有云硬盘（系统盘和数据盘）。 指定的单个或多个磁盘（系统盘或数据盘）。 推荐场景 需要对整个云主机进行保护。 系统盘没有个人数据，因而只需要对部分的数据盘进行备份。 优势 备份的同一个服务器下的所有磁盘数据具有一致性，即同时对所有云硬盘进行备份，不存在因备份创建时间差带来的数据不一致问题。 保证数据安全的同时降低备份成本。

本节主要介绍概述 操作场景 本章介绍如何登录数据管理服务并实现对数据库中的数据管理。 使用流程 通过控制台进行数据管理的使用流程如下： 步骤一：登录数据管理服务 步骤二：新增数据库登录 步骤三：登录数据库 步骤四：数据管理操作

本章节主要介绍（可选）管理脚本的查看脚本引用。 当用户需要查看某个脚本或者某个文件夹下的所有脚本被引用的情况时，可以参考如下操作查看引用。 前提条件 已完成脚本开发。如何开发脚本，请参见开发脚本。 操作步骤 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 如要查看某个脚本引用情况，右键单击待查看的脚本，选择“查看引用”，弹出“引用列表”窗口。 如要查看文件夹下的所有脚本引用情况，右键单击待查看的文件夹，选择“查看引用”，弹出“查看引用”窗口。 4. 在弹出的窗口，可以查看该脚本或该文件夹下所有脚本被引用的情况。

本文介绍如何使用媒体存储服务的服务端加密功能对重要数据进行加密保护。 背景概述 媒体存储服务的服务端加密功能可以帮助客户实现数据的安全保护，为客户提供更加可靠和安全的数据存储服务。 SSEXOS（Server Side Encryption XOS）是完全由媒体存储托管加密的服务端加密特性，客户无需管理密钥，服务端会为每个对象使用不同的密钥进行加密，并且会有一个定期轮换的密钥来加密密钥本身，该方式适用于批量数据加解密。 适用区域 本功能目前仅部分资源池支持，具体可参考：资源池与区域节点。 如需使用，可联系客户经理或提交工单申请。 应用效果 服务端加密功能是一种数据安全保障措施，它可以在数据上传至对象存储服务时就对其进行加密，以防止数据被未经授权的访问，降低数据泄露的风险。 通过使用服务端加密，您可以将数据传输至媒体存储服务，服务端会在接收到数据后立即对其进行加密处理，然后再将加密后的数据存储在云端。 未经授权的人访问了存储在云端的数据，他们也无法读取被加密的数据内容。 批量数据加密 当企业需要对大量的数据统一进行加密，您可以使用媒体存储的SSEXOS设置桶级别的加密配置，使得上传到该桶的对象数据自动被加密从而达到批量数据加密，实现批量数据加密的效果。 操作步骤如下： 调用设置存储桶加密配置接口，为存储桶指定一种加密算法： PUT/{bucket}?encryption HTTP/1.1 Host:cname.domain.com ContentMD5:ContentMD5 AES256 设置了桶的默认加密属性之后，用户往该桶上传对象成功后会在响应中返回以下header表示对象数据经过加密： header 值 xamzserversideencryption AES256

本文介绍如何校验上传对象的数据一致性。 应用场景 媒体存储提供了数据一致性校验功能，可以避免因为网络劫持、数据缓存等原因导致的数据不一致问题。 能力概述 媒体存储提供通过计算MD5值的方式对上传的数据进行一致性校验。默认情况下，服务不会进行一致性校验。 上传对象时，客户端需要先计算出对象的MD5值然后携带上传至媒体存储，媒体存储服务端再根据上传的对象内容计算出MD5值，最终与携带上传的MD5值进行对比。 如果对比结果一致，对象上传成功，否则上传失败。 具体校验逻辑如下图所示： 校验方法 本地对象计算出的MD5值作为请求头。 上传时设置请求消息参数ContentMD5为本地计算得出的校验值，具体示例如下： 请求示例： PUT /v1/testbucket/test HTTP/1.1 请求头header： Host:gdoss.xstore.ctyun.cn Date:Wed, 28 Oct 2023 09:32:00 GMT Authorization:authorization string ContentType:text/plain ContentLength:1145 ContentMD5:gnzLDuhOew 请求体body： 实际文件数据。 MD5计算方式为：openssl dgst md5 binary 上传的对象（example.txt） base64 。

本章节主要介绍ALM45178 OBS数据写操作接口调用成功率低于阈值的告警。 告警解释 系统每30秒周期性检测OBS数写操作接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。 当OBS数据写操作接口调用成功率大于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45178 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据写操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS数据写操作接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 1. 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS数据写操作”中勾选“OBS数据写操作接口调用成功率”，单击“确定”，查看OBS数据写操作接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行步骤3。 否，执行步骤5。 2. 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS数据写操作接口调用成功率”，将阈值或平滑次数参数的值根据实际情况调小。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤5。

此小节介绍云堡垒机的运维报表。 运维用户通过云堡垒机登录资源，以及进行运维操作后，审计管理员可查看运维详细报表。 查看运维报表 主要涵盖“运维时间分布”、“资源访问次数”、“会话时长”、“来源IP访问数”、“会话协同”、“双人授权”、“命令拦截”、“字符命令数”和“传输文件数”等趋势图和详细数据。 约束限制 趋势图最多呈现连续180天的运维数据变化趋势。 默认按小时呈现当天运维数据变化趋势。 运维数据大于30天时，仅可选择按周或按月呈现趋势图。 运维数据小于30天时，可选择按天、按周、按月呈现趋势图。 趋势图可选择线状图、柱状图、饼状图形式。 默认呈现运维时间段内总的趋势图。 支持按目标用户呈现运维统计趋势图，最多可选择5个目标用户。 支持按目标资源呈现运维统计趋势图，最多可选择5个目标资源。 前提条件 已获取“运维报表”模块管理权限。 操作步骤 1 登录云堡垒机系统。 2 选择“审计 > 运维报表”，进入系统报表查看页面。 3 单击各运维统计数据页签，查看各运维统计数及趋势如何详细信息。 详细介绍请参见如下说明。 运维时间分布 呈现用户登录资源情况分布或资源被登录分布情况，默认按小时呈现当天运维数据变化趋势。 在“详细数据”区域，可查看会话起止时间、用户登录名、资源名称、协议类型、资源账户等信息。 运维时间分布图 运维时间分布详细数据 资源访问次数 呈现用户或资源所属历史会话的数量，默认按小时呈现当天运维数据变化趋势。 在“详细数据”区域，可查看会话起止时间、用户登录名、资源名称、协议类型、资源账户等信息。 资源访问次数趋势图 会话时长 呈现用户或资源所属历史会话的会话时长，默认按小时呈现当天运维数据变化趋势。 在“详细数据”区域，可查看会话起止时间、用户登录名、资源名称、协议类型、资源账户、会话时长等信息。 来源IP访问数 呈现用户或资源所属会话的不同来源IP数量，默认按小时呈现当天运维数据变化趋势。 在“详细数据”区域，可查看会话起止时间、用户登录名、资源名称、协议类型、资源账户、来源IP等信息。 会话协同 呈现用户或资源所属会话的协同参与运维用户的数量，默认按小时呈现当天运维数据变化趋势。 在“详细数据”区域，可查看会话起止时间、用户登录名、资源名称、协议类型、资源账户、协同用户登录名等信息。 双人授权 呈现用户或资源所属会话通过双人授权的数量，默认按小时呈现当天运维数据变化趋势。 在“详细数据”区域，可查看授权时间、用户登录名、资源名称、协议类型、资源账户、双人授权用户登录名等信息。 命令拦截 呈现用户或资源所属会话触发的拦截的命令数量，默认按小时呈现当天运维数据变化趋势。 拦截命令类型包括断开连接、拒绝执行、动态授权。 在“详细数据”区域，可查看操作执行时间、用户登录名、资源名称、协议类型、资源账户、操作指令、执行动作等信息。 命令拦截动作饼状图 字符命令数 呈现用户或资源所属会话执行的字符命令数量，默认按小时呈现当天运维数据变化趋势。 在“详细数据”区域，可查看操作执行时间、用户登录名、资源名称、协议类型、资源账户、操作指令等信息。 传输文件数 呈现用户或资源所属会话上传、下载文件的数量，默认按小时呈现当天运维数据变化趋势。 在“详细数据”区域，可查看文件操作时间、用户登录名、资源名称、协议类型、资源账户、操作类型、文件名称等信息。

不支持。 目前不支持将用户已购买的数据盘挂载至应用云主机。 用户可在购买应用云主机订购时选购数据盘，或在应用云主机的云盘管理界面新增数据盘，以上操作完成购买后，系统将自动为您挂载，无需其他操作。

本章节主要介绍翼MapReduce的配置监控指标数据转储操作。 操作场景 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件，并以FTP或SFTP的形式上传到指定的服务器中。 使用该功能前，管理员需要在FusionInsight Manager页面进行相关配置。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“系统 > 对接 > 监控数据上传”。 3. 单击“监控数据上传”右边的开关。 “监控数据上传”默认为不启用，开关显示为表示启用。 4. 根据下表所示的说明填写上传参数： 上传配置参数 参数名称 参数说明 FTP IP地址模式 必选参数，指定服务器IP地址模式，可选择“IPV4”或“IPV6”。 FTP IP地址 必选参数，指定监控指标数据对接后存放监控文件的FTP服务器。 FTP端口 必选参数，指定连接FTP服务器的端口。 FTP用户名 必选参数，指定登录FTP服务器的用户名。 FTP密码 必选参数，指定登录FTP服务器的密码。 保存路径 必选参数，指定监控文件在FTP服务器保存的路径。 转储时间间隔（秒） 必选参数，指定监控文件在FTP服务器保存的周期，单位为秒。 转储模式 必选参数，指定监控文件发送时使用的协议。可选协议为“SFTP”和“FTP”。建议使用基于SSH v2的SFTP模式，否则可能存在安全风险。 SFTP服务公钥 可选参数，指定FTP服务器的公共密钥，“转储模式”选择“SFTP”时此参数生效。 5. 单击“确定”，设置完成。 说明 选择转储模式为SFTP，当SFTP服务公钥为空时，先进行安全风险提示，确定安全风险后再保存配置。

版本升级有哪些注意事项？ 当云堡垒机系统有新版本时，为使用优化或新增的系统功能，可选择对系统进行。 版本升级是对云堡垒机软件版本功能的提升，不收取费用。在云堡垒机版本升级前后，需注意以下几个方面： 升级前：为防止因升级失败而影响使用，建议升级前备份数据。 升级中：版本升级过程约需要30min，版本升级期间云堡垒机系统不可用，但不影响主机资源运行。但在升级期间，建议用户不要登录云堡垒机系统进行操作，以免重要数据丢失。 升级后 版本升级完成后会自动“重启”云堡垒机，重启完成后，即可使用云堡垒机。 版本升级后用户可正常继续使用原有配置和存储数据，升级不影响系统原有配置和存储数据。 堡垒机升级完成后，如您需要进行扩容操作请等待5分钟后再进行。 版本升级前，如何备份云堡垒机系统中数据？ 当云堡垒机系统有新版本时，用户为使用优化或新增的系统功能。 需备份数据 版本升级前，为实现新云堡垒机系统中复用数据信息，用户需在系统升级前手动备份系统数据，系统升级完成后再导入备份数据。 针对不同的数据信息，用户需分别进行导出/导入操作，才能完成所有数据的备份。 版本升级需备份数据： 数据信息 导出 导入 说明 用户 √ √ 无法导出“用户密码”。升级完成后，可选择重置用户密码。 资源账户 √ √ 为防止资源账户信息丢失，建议单独备份和还原资源账户文件。 审计数据 √ × 审计数据无法重新导入到系统，需全量备份审计数据，主要包括历史会话、会话视频、系统登录日志、系统操作日志、运维报表和系统报表。 “运维报表”和“系统报表”支持文本格式导出。 “历史会话”支持导出MP4格式会话视频。 系统配置 √ √ “系统配置”信息包含全量系统配置数据。

规格版本 支持添加的数据库数量 OBS体量 API调用额度 支持的功能 标准版 2个 100GB 不支持 数据安全总览 敏感数据识别 数据使用审计 安全体检 专业版 2个 100GB 100W次 数据安全总览 敏感数据识别 数据使用审计 数据脱敏 数据水印注入/提取 安全体检 API接口的调用

本页介绍天翼云TeleDB数据库备份概述。 TeleDB支持数据库实例的备份与恢复，以保证数据的可靠性。备份存储方式可根据业务需求设置加密或不加密。TeleDB数据库实例的备份包括物理备份和逻辑备份。 备份的目的 当数据库被恶意或误删除，虽然TeleDB支持高可用，但备机数据库会被同步删除且无法还原。因此，数据被删除后只能依赖于实例的备份保障数据安全。 全量备份 全量备份表示对所有目标数据进行备份，包含备份时刻点上数据库的全量数据，耗时时间长（和数据库数据总量成正比），自身即可恢复出完整的数据库。 增量备份 只包含从指定时刻点之后的增量修改数据，耗时时间短（和增量数据成正比，和数据总量无关），但是必须要和全量备份数据一起才能恢复出完整的数据库。 自动备份 TeleDB会在数据库实例的备份时段中创建数据库实例的自动备份。系统根据您指定的备份保留期保存数据库实例的自动备份。 手动备份 用户还可以创建手动备份对数据库进行备份，手动备份是由用户启动的数据库实例的全量备份，会一直保存，直到用户手动删除。 对象存储备份 数据库对象存储备份是一种数据备份策略，‌其中数据库数据被存储在对象存储‌系统中。‌这种备份方法利用对象存储的特性和优势，‌为数据库提供连续的数据保护和低成本的备份服务。‌对象存储作为一种存储架构，‌以对象为单位处理、‌存储和检索数据，‌每个对象包含数据本身、‌元数据以及一个全局唯一的标识符。‌这种存储方式特别适合存储大量非结构化的数据，‌并且能够通过API进行数据的读写。 备份机备份 当前全量备份、差量备份默认在主DN上执行，在备份过程中会影响主DN的CPU和IO，TeleDB支持开启备机备份功能， 开启备机备份后，拷贝、压缩文件等操作均会切换到备DN上执行，减少对主DN业务的影响‌。

本节主要介绍集群拓扑。 点击导航栏中的“系统”>“集群拓扑”，进入“集群拓扑”，可以查看HBlock的集群拓扑图。 集群拓扑对集群物理资源实际部署方式的可视化逻辑展示。 图1 集群拓扑 名称 描述 根节点 根节点名称默认为default。点击右键，可以选择“添加子节点”或“编辑”节点。 根节点 添加子节点 父节点类型。 根节点 添加子节点 父节点名称。 根节点 添加子节点 子节点类型，可以选择： room：机房。选择room时，可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 描述：节点描述，取值：1~50位字符串。 rack：机架。选择rack时，可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 描述：节点描述，取值：1~50位字符串。 server：服务器。选择server，添加服务器。添加服务器时，待添加的服务器安装HBlock后，才可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 服务器IP：指定需要添加的服务器IP，支持IPv4和IPv6地址。 端口号：指定API端口号。取值范围是[1, 65535]，默认值是1443。需要和该服务器安装HBlock时设置的API端口号保持一致。 数据目录：包括数据目录、容量配额、操作。 数据目录：服务器中，用于存储用户数据的绝对路径。 容量配额：一旦达到配额，就立刻阻止数据写入。支持输入数字（默认单位为GiB），或者输入“数字+单位”，数字应精确到两位小数，单位可为KiB、MiB、GiB、TiB或者PiB，并且配额需要不大于数据目录总容量，0表示禁止写入，负数或者不填表示无限制。 操作：点击“移除”，可以移除添加的数据目录。点击“添加”，可以添加数据目录。 描述：节点描述，取值：1~50位字符串。 根节点 编辑 节点名称：修改节点名称。取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 根节点 编辑 描述：节点描述，取值：1~50位字符串。 room类型节点 机房类型的节点。将鼠标放至节点名称处，可以显示节点名称、类型及描述信息。点击右键，可以选择添加子节点、移除或编辑节点。 room类型节点 添加子节点 父节点类型。 room类型节点 添加子节点 父节点名称。 room类型节点 添加子节点 子节点类型，可以选择： rack：机架。选择rack时，可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 描述：节点描述，取值：1~50位字符串。 server：服务器。选择server，添加服务器。添加服务器时，待添加的服务器安装HBlock后，才可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 服务器IP：指定需要添加的服务器IP，支持IPv4和IPv6地址。 端口号：指定API端口号。取值范围是[1, 65535]，默认值是1443。需要和该服务器安装HBlock时设置的API端口号保持一致。 数据目录：包括数据目录、容量配额、操作。 数据目录：服务器中，用于存储用户数据的绝对路径。 容量配额：一旦达到配额，就立刻阻止数据写入。支持输入数字（默认单位为GiB），或者输入“数字+单位”，数字应精确到两位小数，单位可为KiB、MiB、GiB、TiB或者PiB，并且配额需要不大于数据目录总容量，0表示禁止写入，负数或者不填表示无限制。 操作：点击“移除”，可以移除添加的数据目录。点击“添加”，可以添加数据目录。 描述：节点描述，取值：1~50位字符串。 room类型节点 移除 当room节点没有子节点时，可以点击移除按钮，删除该节点。 room类型节点 编辑 节点名称：修改节点名称。取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 room类型节点 编辑 描述：节点描述，取值：1~50位字符串。 rack类型节点 机房类型的节点。将鼠标放至节点名称处，可以显示节点名称、类型及描述信息。点击右键，可以选择添加子节点、移除节点、编辑节点或重映射。 rack类型节点 添加子节点 父节点类型。 rack类型节点 添加子节点 父节点名称。 rack类型节点 添加子节点 子节点类型，可以选择server，添加服务器。添加服务器时，待添加的服务器安装HBlock后，才可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 服务器IP：指定需要添加的服务器IP，支持IPv4和IPv6地址。 端口号：指定API端口号。取值范围是[1, 65535]，默认值是1443。需要和该服务器安装HBlock时设置的API端口号保持一致。 数据目录：包括数据目录、容量配合、操作。 数据目录：服务器中，用于存储用户数据的绝对路径。 容量配额：一旦达到配额，就立刻阻止数据写入。支持输入数字（默认单位为GiB），或者输入“数字+单位”，数字应精确到两位小数，单位可为KiB、MiB、GiB、TiB或者PiB，并且配额需要不大于数据目录总容量，0表示禁止写入，负数或者不填表示无限制。 操作：点击“移除”，可以移除添加的数据目录。 描述：节点描述，取值：1~50位字符串。 rack类型节点 移除 当rack节点没有子节点时，可以点击“移除”按钮，删除该节点。 rack类型节点 编辑 节点名称：修改节点名称。取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 rack类型节点 编辑 描述：节点描述，取值：1~50位字符串。 rack类型节点 重映射 变更父节点。通过下拉框，重新选择父节点名称。 server类型节点 服务器类型的节点。 将鼠标放至节点名称处，可以显示节点名称、类型、服务器ID、业务IP、集群IP、数据目录容量、数据目录已用容量、服务器状态及描述信息。 点击右键，可以选择添加子节点、移除节点、编辑节点或重映射。 server类型节点 添加子节点 父节点类型。 server类型节点 添加子节点 父节点名称。 server类型节点 添加子节点 子节点类型，可以选择path，添加数据目录。 数据目录：服务器中，用于存储用户数据的绝对路径，一次可以添加多个数据目录，数据目录以英文逗号（,）分开。 容量配额：一旦达到配额，就立刻阻止数据写入。支持输入数字（默认单位为GiB），或者输入“数字+单位”，数字应精确到两位小数，单位可为KiB、MiB、GiB、TiB或者PiB，并且配额需要不大于数据目录总容量，0表示禁止写入，负数或者不填表示无限制。 操作：点击“移除”，可以移除添加的数据目录。点击“添加”，可以添加数据目录。 server类型节点 移除 点击“移除”按钮，可以移除服务器。 注意 如果移除已损毁或者宕机的服务器，需要使用强制移除。强制移除服务器，会产生数据丢失风险，请谨慎操作。 如果移除服务器上有iSCSI目标，该iSCSI目标对应卷的高可用类型是ActiveStandby，移除服务器时，业务不会中断，此卷对应的iSCSI目标会切换到其他服务器上，客户端需要重新连接Target对应的新服务器IP。 如果移除服务器上有iSCSI目标，该iSCSI目标对应卷的高可用类型是Disabled，移除服务器时，业务会中断，此卷对应的iSCSI目标会切换到其他服务器上，客户端需要重新连接Target对应的新服务器IP。但服务器移除时，会有数据丢失风险。 如果执行日志采集后，产生的日志保存在服务器安装目录下，在服务器移除之后，该日志将被删除。如果产生的日志保存在HBlock的数据目录内，并且移除服务器时删除服务器HBlock数据目录中的数据，该日志也将被删除。 有服务器正在移除时，不能再移除其他服务器。如果必须移除，请使用强制移除，但有丢数据风险。 该节点的所有数据目录不属于任何存储池，允许移除该服务器。否则不能移除，如果必须移除，请使用强制移除，但有丢数据风险。 如果要移除服务器的某个数据目录属于基础存储池，且是基础存储池中仅剩的一个可用故障域中的节点，不允许移除。 server类型节点 编辑 节点名称：修改节点名称。取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 server类型节点 编辑 描述：节点描述，取值：1~50位字符串。 server类型节点 重映射 变更父节点。通过下拉框，重新选择父节点名称。 path类型节点 数据目录类型的节点。 将鼠标放至节点名称处，可以显示节点名称、类型、数据目录容量、数据目录已用容量、容量配额、已用容量配额、健康状态、健康详情、存储池。 点击右键，可以移除数据目录。 注意 强制移除数据目录，有产生数据丢失风险。 如果执行日志采集后，产生的日志保存在HBlock的数据目录内，移除数据目录时删除数据目录上的HBlock数据，该日志将被删除。 有数据目录正在移除时，不能再移除其他数据目录。如果必须移除，请使用强制移除，但有丢数据风险。

项目 描述 时间范围 可以选择相对时间： 近2小时 近6小时 近1天 近7天 近1年 自定义时间段，选择开始日期和结束日期，精确到天。 注意 起始时间必须早于结束时间，且起始时间不能早于服务器当前时间一年。 数据目录使用率 所有数据目录所在磁盘使用率的平均值。 容量配额收益率 HBlock所有数据目录容量配额使用率的平均值。 HBlock HBlock服务端。 数据目录使用量 所有数据目录所在磁盘使用量的总和。 数据目录总容量 所有数据目录所在磁盘的容量总和。 配额使用量 HBlock配额使用量。 配额 集群中各个数据目录的HBlock配额总量。 客户端<>HBlock 客户端与HBlock之间的数据传输情况。 读带宽 客户端从HBlock读取数据的带宽。 写带宽 客户端向HBlock写入数据的带宽。 总带宽 客户端与HBlock之间的总带宽。 读IOPS 客户端从HBlock读取数据的IOPS。 写IOPS 客户端向HBlock写入数据的IOPS。 总IOPS 客户端与HBlock之间的总IOPS。 读时延 客户端从HBlock读取数据的时延。采集周期内，系统中所有卷读时延的平均值。 写时延 客户端向HBlock写入数据的时延。采集周期内，系统中所有卷写时延的平均值。 总时延 客户端与HBlock之间的总时延。采集周期内，系统中所有卷读写时延的平均值。 HBlock<>Cloud HBlock与云之间的数据传输情况。 上云上传带宽 HBlock向云上传数据的带宽。 上云下载带宽 HBlock向云下载数据的带宽。 上云总带宽 HBlock与云之间的总带宽。

管理原子指标 1. 在数据架构控制台，单击左侧导航树中的“技术指标”，选择“原子指标”页签，进入原子指标页面。 2. 您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建原子指标并发布。 编辑 执行3。 发布 执行4。 查看发布历史 执行5。 下线 执行6。 删除 执行7。 导入 执行8。 导出 执行9。 3. 编辑 a. 在需要编辑的原子指标右侧，单击“编辑”，进入编辑原子指标页面。 b. 根据实际需要编辑相关内容。 c. 单击“发布”。如果您暂时不想发布，可以先单击“保存”，稍后再发布。 4. 发布 a. 在需要发布的原子指标右侧，单击“发布”，弹出“提交发布”对话框。 b. 在下拉菜单中选择审核人。 c. 单击“确认提交”。 5. 查看发布历史 a. 在列表中，找到所需查看的原子指标，单击“更多 > 发布历史”，将显示“发布历史”页面。 b. 在“发布历史”中，您可以查看原子指标的发布历史和版本对比信息。 6. 下线 a. 在需要下线的原子指标右侧，单击“更多 > 下线”，系统弹出“提交下线”对话框。 b. 在下拉菜单中选择审核人。 c. 单击“确认提交”。 说明 下线及删除原子指标的前提是无依赖引用，即无衍生指标引用。 7. 删除 a. 勾选需要删除的原子指标，单击上方“更多 > 下线”，系统弹出“删除”对话框。 b. 单击“是”。 8. 导入 可通过导入的方式将原子指标批量快速的导入到系统中。 a. 在原子指标列表上方，单击“更多>导入”，进入“导入配置”页签。 b. 下载原子指标导入模板，编辑完成后保存至本地。 c. 选择是否更新已有数据。 说明 如果系统中已有的编码和模板中的编码相同，系统则认为是数据重复。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 d. 单击“添加文件”，选择编辑完成的导入模板。 e. 单击“上传文件”，上传完成后，自动跳转到“上次导入”页签，查看已导入的数据。 f. 单击“关闭”。 9. 导出 可通过导出的方式将原子指标导出到本地。 a. 在原子指标列表选中待导出的指标。 b. 在列表上方，单击“更多>导出”，即可将系统中的原子指标导出到本地。 说明 在左侧主题树中选中某个主题，可以导出该主题下的所有原子指标； 当该空间下不超过500条原子指标数据时可以全部导出。

本章节主要介绍关联质量规则操作。 当您完成表的新建和发布后，您可以在表中关联质量规则。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下，完成质量规则的关联后，表发布后就会在DataArts Studio数据质量中自动创建质量作业，如果当前表已经发布，则系统会自动更新质量作业。 关联质量规则并查看质量作业 1.在DataArts Studio数据架构控制台，单击左侧导航栏的“关系建模”进入关系建模页面。 2.在页面选择所需要的模型单击进入，在右侧的列表中将显示该模型下面所有的表。您也可以展开主题结构，选中一个对象，右侧的列表中将显示该对象下所有的表。 3.在列表中，找到所需要的表，单击表名称进入表详情页面。 4.在详情页的表字段区域，选中需要关联质量规则的的字段，然后单击“关联质量规则”按钮。 异常数据输出配置：勾选此项，并勾选生成异常数据，表示异常数据将按照配置的参数存储到规定的库中。 5.在弹出的“关联质量规则”对话框中，单击“添加规则”。 此时，系统将弹出“添加规则”对话框，在规则列表中将显示DataArts Studio数据质量中默认的质量规则，选中所需要的规则，然后单击“确定”。如果列表中的规则不满足业务需求，您也可以创建自定义规则，单击“新建规则”可以跳转到DataArts Studio数据质量页面，请参考新建规则模板新建规则。 添加规则完成后，将返回“关联质量规则”对话框，在“规则名称”列表中，选中一条规则，然后设置告警条件，设置完所有规则的告警条件后单击“确定”。 在“告警条件”输入框中，请输入告警条件表达式，在质量作业运行时，系统将计算出告警条件表达式的结果，并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警，结果为假则不触发质量告警。 告警条件表达式由告警参数和逻辑运算符组成。 每个规则的告警参数会在“告警参数”中以按钮形式列出。单击这些按钮，在“告警条件”中将按告警参数的排列顺序显示为{1}、{2}、{3}等变量名称，以此类推，变量名即代表告警参数。也就是说，在设置“告警条件”时，使用变量{1}代表第一个告警参数，${2}代表第二个告警参数，以此类推。 6.（可选）如需要将质量作业中不符合设定规则的异常数据存储在异常表中，可以打开“异常数据输出配置”开关。 点击开关，并打开“生成异常数据”按钮，表示异常数据将按照配置的参数存储到规定的库中。 各参数具体含义如下： 数据库或Schema：表示存储异常数据的数据库或Schema。 表前缀：表示存储异常数据的表的前缀。 表后缀：表示存储异常数据的表的后缀。 配置完成后点击保存配置。 7.（可选）质量规则的检查范围默认是全表，如需要精确定位分区查询数据，请填写where条件。 8.查看关联质量规则的结果，如果显示成功，单击“确定”。如果显示失败，请查看失败原因，等问题处理后，再重新关联质量规则。 9.返回关系模型列表页面，找到已关联质量规则的表，在“同步状态”列中，鼠标移至创建质量作业的图标上，单击“查看”进入质量作业页面查看已添加的质量规则。 10.进入质量作业的“规则配置”页面，可以查看刚才添加的质量规则。 此外，在建表时已关联的数据标准，在表发布后也会在上图中生成相应的质量规则，您可以在质量作业中进行查看。 字段关联的数据标准生成的质量规则，示例如下： 字段关联了数据标准，数据标准关联的码表生成的质量规则，示例如下：

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在金融、交通、互联网、医疗、能源和政府部门等行业均可以使用翼MR服务进行大数据处理。 批量数据处理场景 HDFS服务负责存储海量日志数据。 YARN服务负责调度离线平台上运行的所有任务。 Hive、Spark、Trino等主流计算框架从数据加工、数据挖掘到数据分析，快速获取数据洞察力。 分析后的数据回写进HDFS服务，为上层数据可视化等产品提供数据支撑。 离线数据分析场景 将海量数据通过导入或者外表等形式引入到OLAP分析引擎里，例如，Trino提供高效、实时和灵活的数据分析能力。 满足用户画像、人群圈选、位置服务、BI报表和业务分析等一系列的业务场景。 流式数据处理场景 基于Flink流式计算框架，对各类业务日志或者消息等实时数据进行分析处理。 相应分析结果同步进HDFS存储服务中。 在线查询场景 基于Web和移动应用程序等生成的PB级别的结构化、半结构化或非结构化数据进行在线分析。 方便客户的Web应用或者数据可视化产品获取分析结果进行实时展示。

本文介绍如何创建内网数据订阅渠道。 操作场景 内网数据订阅适用于企业内部网络环境中，对数据实时性、传输安全性等有较高要求的场景，可在不暴露公网、不影响源端性能的前提下，实现低延迟、高可靠的数据分发与消费。目前已支持内网消息队列（kafka）、内网普罗米修斯（APM实例、自建）方式。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 1、内网数据订阅功能：内网消息队列（kafka）、内网普罗米修斯（APM实例、自建实例）三种方式当前分别受限开放，如有需求可以联系客户经理为您开放此功能。 2、如需使用内网消息队列（kafka）方式数据订阅功能，需先开通天翼云分布式消息服务Kafka实例。 3、如需使用内网普罗米修斯（APM实例）方式数据订阅功能，需先在天翼云应用性能监控（APM）平台>Prometheus监控>实例列表创建实例。 创建内网消息队列（kafka）方式订阅渠道 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“迁移与部署”，单击“云监控服务”，进入监控概览页面。 4. 单击“数据订阅”，切换至订阅渠道页签。 5. 点击"创建订阅渠道"按钮，进入订阅渠道创建页面。 6. “网络通道”选择“VPC内网”，订阅类型选择“分布式消息服务”。 配置参数如下： 参数 参数说明 是否必填 取值样例 实例选择 选择天翼云分布式消息服务Kafka实例 是 用户名 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 密码 填写目标实例的访问用户名 否 注意 如目标实例已启用用户名及密码认证方式，请按实际信息填写 TOPIC 填写数据订阅的kafka实例的主题 是

本章节为您介绍数据安全专区的产品优势。 数据安全合规适配 全面满足《数据安全法》《个人信息保护法》及等保、密评、行业专项监管要求。 内置政务、医疗、教育、运营商、金融等多行业分类分级模板，快速合规落地。 提供完整审计、溯源、报表能力，轻松应对监管检查与整改。 云原生更安全、更便捷 与天翼云同 VPC 部署，数据不出租户环境，安全无额外暴露面。 性能高、时延低，支持弹性扩容，无需硬件改造。 一键纳管云资源，免 Agent 适配 RDS，易用性远超传统方案。 智能化数据治理 AI 自动识别 + 资产全自动梳理，覆盖 40 + 数据源与非结构化数据。 分类分级结果可视化，可联动加密、脱敏、审计实现精准防护。 大幅降低人工梳理成本，快速摸清数据家底与风险分布。 一体化数据防护 覆盖数据采集、存储、共享、运维、接口全生命周期风险。 加密、脱敏、访问控制、攻击防御、水印溯源能力一体化。 从数据库、API 到运维终端，构建全方位数据防泄露体系。 可视化安全运营 数据安全运营中心统一管控，全局风险可视、可预警、可闭环。 全流程操作留痕与审计，异常行为实时告警，事件可追溯。 支持工单流转、态势感知、形成合规报告，降低运营成本。

本章节主要介绍翼MapReduce的存储资源操作。 简介 HDFS是大数据集群中的分布式文件存储服务，存放大数据集群上层应用的所有用户数据，例如写入HBase表或Hive表的数据。 目录是HDFS存储资源分配的基本单位。HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，在目录中创建、删除、移动或重命名文件。租户通过指定HDFS文件系统的目录来获取存储资源。 调度机制 系统支持将HDFS目录存储到指定标签的节点上，或存储到指定硬件类型的磁盘上。例如以下业务场景： 实时查询与数据分析共集群时，实时查询只需部署在部分节点上，其数据也应尽可能的只存储在这些节点上。 关键数据根据实际业务需要保存在具有高度可靠性的节点中。 管理员可以根据实际业务需要，通过数据特征灵活配置HDFS数据存储策略，将数据保存在指定的节点上。 对于租户，存储资源是各租户所占用的HDFS资源。可以通过将指定目录的数据存储到租户配置的存储路径中，实现存储资源调度，保证租户间的数据隔离。 用户可以添加/删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额来管理存储资源。

本章节介绍如何将DRDS同步到MySQL。 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 DRDS实例 RDS for MySQL 前提条件 已登录数据复制服务控制台。 满足实时同步支持的数据库类型和版本，详情请参见实时同步。 使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

对比维度 云主机备份 云硬盘备份 备份/恢复对象 云主机中的所有云硬盘（系统盘和数据盘） 指定的单个或多个磁盘（系统盘或数据盘） 推荐场景 需要对整个云主机进行保护 系统盘没有个人数据，因而只需要对部分的数据盘进行备份 优势 备份的同一个云主机下的所有磁盘数据具有一致性，即同时对所有云硬盘进行备份，不存在因备份创建时间差带来的数据不一致问题 保证数据安全的同时降低备份成本

本章节介绍如何使用云硬盘备份恢复云硬盘数据。 1、登录控制中心。 2、选择选择【存储 > 云硬盘备份】。 3、在云硬盘备份所在行的【操作】列下单击【恢复数据】。 4、根据页面提示，确认信息，并确认恢复数据是否成功。 说明 仅可对数据盘备份执行恢复数据操作，系统盘备份不能执行恢复数据操作。在恢复数据前，需要先停止弹性云主机，并解除弹性云主机和云硬盘的挂载关系后再做恢复操作。恢复后，再挂载云硬盘并启动云服务器。

对比维度 云主机备份 云硬盘备份 备份/恢复对象 云主机中的所有云硬盘（系统盘和数据盘） 指定的单个或多个磁盘（系统盘或数据盘） 推荐场景 需要对整个云主机进行保护 系统盘没有个人数据，因而只需要对部分的数据盘进行备份 优势 备份的同一个云主机下的所有磁盘数据具有一致性，即同时对所有云硬盘进行备份，不存在因备份创建时间差带来的数据不一致问题 保证数据安全的同时降低备份成本

介绍等保满足程度。 二级等保服务是指信息安全等级保护的一个级别，它是根据《中华人民共和国网络安全法》和《网络安全等级保护管理条例》等法律法规制定的一套完整的网络安全管理体系。 根据《网络安全等级保护定级指南》，需要进行二级等保服务的信息系统主要包括以下几类： 承载涉及国家秘密或者重要数据的政府部门、事业单位、企业单位、社会团体等组织机构的内部管理类信息系统； 承载涉及大量个人隐私数据或者重要数据的互联网平台类信息系统； 承载涉及大量个人隐私数据或者重要数据的云计算平台/系统； 承载涉及大量个人隐私数据或者重要数据的物联网； 承载涉及大量个人隐私数据或者重要数据的工业控制系统； 承载涉及大量个人隐私数据或者重要数据的移动互联技术。 如果需要满足等保二级合规要求，您需要购买企业版、旗舰版、容器版或者网页防篡改版才能满足等保二级及以上的认证，基础版的功能无法满足整改要求。

本章介绍天翼云关系型数据库的备份原理和方案 RDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 关系型数据库通过Sysbench导入数据模型和一定量的数据，备份后压缩比约为80%。其中，重复数据越多，压缩比越高。 压缩比备份文件占用的空间/数据文件占用的空间100%。 备份类型 全量备份：对所有目标数据进行备份。全量备份总是备份所有选择的目标，即使从上次备份后数据没有变化。 全量备份触发方式分为：自动备份、手动备份。 增量备份：即事务日志备份。RDS系统自动每5分钟对上一次全量备份，或增量备份后更新的数据进行备份。 备份原理 单机实例 采用单个数据库节点部署架构。与主流的主备实例相比，它只包含一个节点，但具有高性价比。备份触发后，从主库备份数据并以压缩包的形式存储在对象存储服务上，不会占用实例的磁盘空间。 主备实例 采用一主一备的经典高可用架构，主备实例的每个节点的规格保持一致。备份触发后，从主库备份数据并以压缩包的形式存储在对象存储服务上，不会占用实例的磁盘空间。 当数据库或表被恶意或误删除，虽然RDS支持HA高可用，但备机数据库会被同步删除且无法还原。因此，数据被删除后只能依赖于实例的备份保障数据安全。 备份原理图

本节主要介绍OOS的存储类型：标准存储和低频访问存储。 OOS提供两种类型的存储：标准存储和低频访问存储。用户可以根据不同业务场景选择不同的存储类型。 标准存储（STANDARD） ：访问时延低、吞吐量高，能够有效支持各种热点类型数据频繁访问。适用于各种音视频服务、图片服务、大型网站、大数据分析等应用的数据存储。标准存储是默认的存储类型。如果上传文件时未指定存储类型，OOS默认使用标准存储。 低频访问存储（STANDARDIA） ：适合长期保存不经常访问的数据。对于不经常访问但仍需要实时访问的数据，可以采用低频访问存储，例如各类移动应用、智能设备、企业数据的长期备份。 最短存储时间：低频访问存储的文件有最短存储时间，存储时间短于30天的文件被提前删除或变更时，会产生一定费用。 最小计费大小：低频访问存储文件有最小计费大小，即如果文件大小低于64KiB，会按照64KiB计算收费文件大于等于64KiB按照实际存储收费。 数据取回：获取低频访问存储文件时会产生数据取回费用。 存储类型对比 对比指标 标准存储类型 低频访问存储类型 ::: 数据持久性高达 99.99999999999%（13个9） 99.99999999999%（13个9） 服务设计的可用性 99.99% 99.9% 文件最小计费大小 按照文件实际大小计算 64KiB 最短存储时间 无最短存储时间要求 30天 数据取回费用 不收取数据取回费用 按实际获取的数据量收取，单位GiB 数据访问特点 实时访问 实时访问 图片处理 支持 支持 HTTPS加密传输 支持 支持 修改存储类型 支持 支持

本文主要介绍创建迁移任务 操作场景 使用对象存储迁移服务创建对象存储任务，对业务环境的对象数据实施迁移。 如果待迁移的整桶数据超过3TB或者对象个数超过500万，建议使用创建迁移任务组进行数据迁移。 前提条件 已获取源端和目的端账号的AK/SK。 源端账号拥有list Bucket，get BucketLocation，list Object，head Object，get Object等权限，具体权限获取方式请联系源端云服务商。 list Bucket、get BucketLocation权限在迁移前选择桶时使用，如果使用指定桶名时可不用配置。 目的端拥有OBS OperateAccess权限，获取方式请参见创建IAM用户并授权使用OBS。 已在天翼云OBS服务中创建桶。 操作步骤 步骤 1在浏览器中输入 步骤 2单击左侧导航栏的“迁移实施”页签，展开右侧出现的“对象存储迁移”页签，单击“迁移任务 > 创建迁移任务”，仔细阅读弹出的隐私协议声明，勾选“同意以上隐私协议”，单击“确定”，进入“创建迁移任务”页面。 创建迁移任务 阅读，同意对象存储服务隐私协议，单机确认。 步骤 3选择源端/目的端。 选择源端 源端选择参数： 参数 说明 : 数据源 待迁移的源端云服务提供商。 appID 如果源端云服务提供商为腾讯云，则需要输入该参数，appID 是您腾讯云帐户的一个标识。 访问密钥 源端云服务提供商的访问密钥（AK）。最大长度是100个字符。 私有访问密钥 源端云服务提供商的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。 区域 源端云服务提供商所在区域 桶名 待迁移数据所在的桶。 选择目的端： 目的端选择参数 参数 说明 : 数据源 云服务提供商，选择天翼云 访问密钥 天翼云的访问密钥（AK）。最大长度是100个字符。 私有访问密钥 天翼云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。输入访问密钥和私有访问密钥后，请单击“连接目的端桶”。 桶名 存放迁移数据的天翼云OBS桶。 步骤 4单击“下一步”，设置任务参数。 步骤 5选择迁移方式。 选择文件/文件夹 单击“选择”，选择待迁移的文件或文件夹后，单击“确定”。对于已选择的文件或文件夹，您可以单击从迁移对象列表中删除。 如果选择的云服务提供商为七牛，则不支持选择文件/文件夹。 若不设置该参数，则默认迁移全桶数据。 针对每个迁移任务，在同一目录层级下，您最多可以选择500个文件或文件夹。 由于OBS服务的规格限制，请确认对象迁移到目的端后的名称不超过1024个字符，否则将导致任务失败。 指定对象列表 指定对象列表方式，一般用于增量迁移场景，用户需要将待迁移的源端对象名称写入对象列表文件，并将生成的对象列表文件放在天翼云OBS桶中，对象存储迁移服务将会迁移指定对象列表文件中的所有对象。 b.选择“列表文件所在桶（天翼云）”。 此参数中列出的桶是通过输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。 c.在“对象列表文件”区域内单击“选择”，选择用户指定的对象列表文件，单击“确定”。 对象列表文件大小不能超过100MB。 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 对象列表文件必须是UTF8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL Encode编码。 对象列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 对象列表文件中每行长度不要超过65535，否则会导致迁移失败。 对象列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。 对象列表文件如果是归档数据，迁移前需要先手动恢复，对象存储迁移服务才能访问和获取。 输入对象前缀 在“添加对象数据”区域内输入对象数据名称或者名称前缀，系统会自动匹配出数据。您可以单击，从这些匹配到的迁移数据列表中删除不需要迁移的数据。 若不添加该参数，则默认迁移全桶的数据。 指定URL列表 指定URL列表方式，一般适用于HTTP或HTTPS源端的迁移场景，用户需要将待迁移的文件URL和目的端对象名称写入URL列表文件，并将生成的URL列表文件放在天翼云OBS桶中，对象存储迁移服务将会迁移指定URL列表文件中的所有对象。 d.选择“列表文件所在桶（天翼云）”。 此参数中列出的桶是通过输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。 出于安全考虑，若您的源端同时支持HTTP和HTTPS协议，建议迁移时使用HTTPS协议；若使用HTTP协议，会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。 URL列表迁移不支持URL重定向。 e.在“选择URL列表文件”区域内单击“选择”，选择用户指定的URL列表文件，单击“确定”。 URL列表文件大小不能超过100MB。 URL列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 URL列表文件必须是UTF8无BOM格式编码格式。 URL列表文件中每行只能包含一个URL和目的端对象名称。 URL列表文件中每行长度不要超过65535，否则会导致迁移失败。 URL列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。 URL列表文件中每行使用制表符t分割URL和目的端对象名称，格式为：[URL][制表符][目的端对象名称]，其中目的端对象名称使用URL Encode编码，例如： doc%2f%e6%96%87%e4%bb%b61.txt doc%2fthefile2.txt the%20file.txt the+file2.txt doc/thefile.txt 以上示例中，URL所表示的文件，被复制到目的端桶后，对象会被分别命名为：doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。 URL列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 步骤 6（可选）设置“源端参数”。 当您的源端云服务提供商提供了下表中首列相应的功能时，才会出现此部分参数。 源端参数 参数 说明 : 源端使用自定义域名下载 当默认域名不能满足您的迁移需求，比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用，且您的源端云服务提供商支持自定义域名时，可以勾选此选项。说明当源端云服务提供商是七牛云时，因其对默认域名的使用做了限制，为确保您的迁移顺利进行，系统已为您自动勾选此参数。勾选此选项后，进行如下设置：在“自定义域名传输协议”中选择传输协议。说明HTTP协议安全级别低于HTTPS协议，推荐使用HTTPS协议。填写“桶自定义域名”。如果您使用了源端云服务提供商提供的CDN鉴权，则选择“启用CDN鉴权校验”，并配置校验类型和秘钥。说明l您需要参见源端云服务提供商的相关资料配置CDN后，才能使用CDN相关功能。l使用源端CDN产生的费用遵从源端云服务提供商的计费规则，费用由源端云服务提供商向您收取。l不支持URl重定向。单击“检查”，检查配置是否正确。l如果检查未通过，请单击“详情”查看未通过的原因。l如果检查通过，则可继续进行其他迁移配置。 解冻归档数据 归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。l勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。l不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。说明l目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。l解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。l解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。l归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。l对象存储数据从源端云服务提供商迁移到天翼云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 步骤 7单击“高级选项”后面“展开”，展开高级选项参数。 步骤 8（可选）设置高级选项参数。 高级选项参数 参数 说明 : 服务端加密 如果勾选“KMS”，对迁移数据进行KMS服务端加密后再存储至目的OBS桶中。说明使用KMS服务端加密可能会降低迁移速率10%左右。当前区域支持KMS加密时，此参数方可用。 记录失败对象 选择是否记录迁移失败的对象。l选择“否”，则不记录迁移失败的对象。如果迁移失败，只能全量重传。l选择“是”，记录迁移失败的对象。如果迁移失败，支持只对迁移失败对象进行重传。说明迁移失败的对象将被记录在一个以任务名称命名的失败对象列表文件中，普通任务：上传到目的端桶的“oms/failedobjectlists/”路径下；任务组任务：上传到目的端桶的“oms/failedobjectlists”路径下。该文件记录了迁移任务失败的摘要信息，包括：失败原因、发生时间（参照当前区域所属时区）、失败对象（经过URL编码）、失败对象（未经过URL编码）、源端SDK返回的错误码。当迁移失败对象重传成功后，失败对象列表文件仍会保留在目的端。您如果不再需要该文件，请手动删除。 解冻归档数据 归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。l勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。l不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。说明l目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。l解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。l解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。l归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。l对象存储数据从源端云服务提供商迁移到天翼云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 迁移指定时间后的对象 选择是否使用时间过滤源端待迁移对象。l选择“否”，不过滤源端待迁移对象。l选择“是”，仅迁移在指定时间之后修改的源端待迁移对象。需要单击，设置迁移指定时间。 流量控制 设置迁移任务在指定时段的最大流量带宽。l选择“否”，不进行流量控制。l选择“是”，进行流量控制。需要执行以下步骤：1.单击“新增流量控制”。下方新增一条规则记录。2.在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。限制最大流量的数值范围：1~ 200MB/s。3. 重复步骤，增加新的流量控制规则。您也可以单击“操作”栏的，删除本行记录。说明最多可以创建5条记录。即使在创建任务后，您也可以在任务详情中继续设置流量控制规则。 描述 输入本次迁移任务的简单描述信息。最多可输入255个字符。 步骤 9 单击“下一步”，进入确认信息页面。 步骤 10 确认迁移信息的设置，并启动迁移。 1.浏览各项迁移参数的设置是否正确。 如果有误，可以单击“上一步”返回之前的页面进行修改。 2.单击“开始迁移”。 提示创建迁移任务成功。查看迁移任务列表已新增该任务。 关于迁移任务状态，参见查看迁移任务。 任务创建后，会生成一个任务ID供您快速识别。它显示在列表中任务的左上角，由源端桶名+目的端桶名+时间序列标识拼接而成。

场景描述 在源Redis和目标Redis网络互通的前提下，使用在线迁移功能，可将源Redis中的数据以全量同步或者全量同步+增量同步的方式迁移至目标Redis中。操作界面全新改版，重构迁移任务创建全流程，对任务配置、数据源选择、参数配置等模块全面优化，同步扩充迁移配套能力，简化多场景数据迁移配置步骤，有效提升用户操作体验与整体数据迁移效率，支持天翼云 Redis 实例、自建自定义 Redis 等多源数据向目标实例迁移。 说明 如果源Redis禁用了PSYNC命令，仅可进行全量同步，否则可进行全量同步+增量同步。 如果源Redis和目标Redis网络不通，请根据场景使用 如果源Redis和目标Redis在相同db下存在相同的key数据，将按照迁移勾选的进行处理。 如果迁移双方为主备架构，当迁移过程中出现主从切换时，迁移可能发生中断。 建议目标Redis内核版本不低于源Redis版本，否则可能出现命令不兼容问题，导致迁移中断。 建议源端Redis无大key存在，否则迁移可能发生中断。 对业务影响 在线迁移，相当于在源Redis增加一个slave节点进行数据同步，建议在业务低峰期进行迁移操作。 迁移双方实例均是天翼云实例时，迁移任务将部署在源端节点并占用一定的服务器资源（占用的服务器资源与迁移数据量相关）。

本节为您介绍自建PostgreSQL为源的同步任务源端配置。 前提条件 （1）自建PostgreSQL数据库的源端版本为9.5.x、9.6.x、10.x、11.x、12.x、13.x、14.x版本。 （2）自建PostgreSQL数据库WAL日志设置wallevellogical，且maxreplicationslots大于10。 （3）目标端数据库的存储空间必须大于源端数据库所占用的存储空间。 （4）增量数据同步期间，CMS会在源库中创建后缀为cloudlogslot的replication slot用于复制数据。 （5）任务完成后会主动删除该replication slot，如果您在迁移期间修改了数据库密码，或者删除了访问IP白名单，则会导致该replication slot无法自动删除，此时需要您在源库手动删除，避免其持续累积占用磁盘空间导致RDS PostgreSQL实例不可用。 （6）如果 PostgreSQL发生了主备切换，则需要您登录备库来手动清理。 使用限制 无主键表仅支持全量同步，不支持增量同步； 同步过程中，可同步源端数据库的全量表结构、全量数据和增量数据。 源端权限要求 同步模式 所需权限 全量 模式层级：USAGE 表层级： SELECT 增量 用户为超级用户或者复制角色 复制角色赋予方法：alter user 用户名 with replication 模式层级：USAGE 表层级：SELECT 源端配置： 数据源类型 选定为PostgreSQL，可同步版本范围内的PostgreSQL数据库 服务器IP 待同步源端数据库的连接IP 端口号 待同步源端数据库的端口 用户名 用于连接待同步源端数据库的用户名称 密码 用于连接待同步源端数据库的用户的密码 数据库 要同步的源端数据库名 模式 源端实际用于迁出数据的模式（schema）名称