相关服务 交互功能 弹性云主机 数据管理服务支持弹性云主机（ECS）自建库实例的数据管理。 关系型数据库 数据管理服务支持关系型数据库(RDS)实例的管理。 通过数据管理服务连接目标数据库时，需要使用到目标数据库的用户名和密码。 关系型数据库与数据管理服务须在同一个区域下。 文档数据库 数据管理服务支持文档数据库（DDS）实例的管理。 通过数据管理服务连接目标数据库时，需要使用到目标数据库的用户名和密码。 数据库实例与数据管理服务须在同一个区域下。 分布式关系型数据库 数据管理服务支持分布式关系型数据库（DRDS）实例的管理。 通过数据管理服务连接目标数据库时，需要使用到目标数据库的用户名和密码。 数据库实例与数据管理服务须在同一个区域下。

数据订阅功能支持您订阅指标或者告警数据,配置订阅任务后可以将数据转发到您配置的Topic或URL地址。 操作场景 对于实时指标/告警数据，您如需要进行二次消费使用，可以通过数据订阅功能配置订阅任务，实现数据的实时订阅消费， 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 数据订阅功能当前为受限开放阶段，仅支持部分资源池，如有需要可以联系客户经理提单开通。 创建数据订阅任务前提需先创建订阅渠道。 管理数据订阅任务 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控服务”，进入监控概览页面。 4. 选择“数据订阅”菜单，即可进入数据订阅任务列表页面。

新建数据标准并发布 在本示例中，您需要新建如表所示的3个数据标准： 下表为数据标准 目录 标准名称 标准编码（自定义） 数据类型 数据长度 引用码表 码表字段 描述 付款方式 付款方式 paymenttype 长整型(BIGINT) 无 付款方式 付款方式编码 无 供应商 供应商 vendor 长整型(BIGINT) 无 供应商 供应商id 无 费率 费率代码 ratecode 长整型(BIGINT) 无 费率代码 费率id 无 1. 在数据架构控制台，单击左侧导航树中的“数据标准”，进入数据标准页面。 2. 首次进入“数据标准”页面，需要定制模板，定制的模板后续可以在配置中心进行更改。本示例需要额外勾选“引用码表”，如图所示。 3. 请参考以下步骤，分别新建3个数据标准的目录：付款方式、供应商、费率。 在数据标准页面的目录树上方，单击新建目录，然后在弹出框中输入目录名称“付款方式”并选择目录，单击“确定”完成目录的新建。 4. 请参考以下步骤，分别新建3个数据标准：付款方式、供应商、费率。 a.在数据标准页面的目录树中，选中所需要的目录，然后在右侧页面中单击“新建”。 b.在新建数据标准页面中，3个数据标准可分别参考如下配置，配置完成后单击“保存”。在本示例中，数据标准模板只选取了几个参数，您可以参考用户指南中的“数据架构> 管理配置中心”的“标准模板管理”定制数据标准模板。 5. 返回数据标准页面后，在列表中勾选刚才新建的3个数据标准，然后单击“发布”发布数据标准。 6. 在“批量发布”对话框中选择审核人，再单击“确认提交”，等待审核人员审核通过后，数据标准发布成功。如果当前帐号具备审核人权限，也可以勾选“自助审批”，直接提交即可以审核通过。

本章节主要介绍预览数据。 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 1. 在管理控制台左侧，单击“数据管理”>“库表管理”。 2. 单击需导出数据对应数据库名称，进入该数据库“表管理”页面。 3. 单击目标表“操作”栏中的“更多”，选择“表属性”。 4. 单击“预览”页签，即可预览该表数据。 在“SQL编辑器”页面预览数据。 1. 在管理控制台左侧，单击“SQL编辑器”。 2. 在“SQL编辑器”页面的左侧导航栏中，选择“数据库”页签。 3. 鼠标左键单击对应数据库名，进入该数据库的表列表。 4. 鼠标左键单击对应表右侧的，在列表菜单中选择“表属性”，单击“预览”页签，即可预览该表数据。

本文介绍如何在科研助手中查看数据集详情。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据存储】的【数据集管理】。 3. 在【数据集管理 】页面，点击左上角的【个人数据集】选项卡。 4. 选择一个数据集，在操作栏中单击【查看 】按钮。 注意：科研助手的数据集与专业版数据集通用，在科研助手的【数据集管理】中可以显示并操作专业版的数据集。 5. 此时可查看数据集中的存储的内容。 6. 以下为数据集详情页面展示的字段和功能说明： 参数 说明 刷新 刷新当前存储文件管理展示页面。 完整路径 在文件存储服务器中的路径，支持复制。 文件名 文件名或者文件夹名。 大小 若为文件夹时，不显示；若为具体文件时，为文件大小。 修改时间 文件的最后修改时间。 操作 下载

云硬盘挂载至云主机后，需要初始化云硬盘才可以正常使用。本文帮助您了解如何初始化数据盘。 操作场景 一块新创建的数据盘在挂载至云主机后，还不能直接存储数据，您需要为这块数据盘创建分区、格式化等初始化操作后才可以正常使用。 系统盘会自动初始化，无须手动再操作。 数据盘无论是随云主机一起创建的，还是后续购买手动创建的，都需手动初始化。 注意 磁盘分区和格式化被视为高风险操作，因此在进行初始化操作时必须保持谨慎。此操作仅适用于一块全新的数据盘，而不适用于已写入数据的盘。如果您决定格式化已写入数据的盘，请务必为该盘创建一个快照，以确保数据不会丢失。 前提条件 数据盘已挂载至云主机，且未初始化。 操作方法 专属云内磁盘操作同公有云中一样，数据盘需要初始化之后才可使用。初始化方法参见初始化数据盘。

本文介绍重装/切换操作系统/变更规格对磁盘数据有影响吗 对系统盘数据的影响 重装系统（linux）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，请做好数据备份； 重装系统（windows）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，软件安装后的注册表信息，请做好数据备份。 变更规格对系统盘没有影响。 对数据盘的影响 重装系统（windows）后，相关软件可能无法使用，需要重新安装，但是之前程序在数据盘的数据会保留。 变更规格对数据盘没有影响。

本文为您介绍对象存储数据灾备安装部署的相关操作。 概要 对象存储数据灾备主要解决对象存储相关的数据同步场景。帮助用户将海量非结构化数据同步至对象存储中，进而提高非结构化数据的检索与访问性能。既降低了运营的成本，又提高了数据的安全性。文件归档功能使得数据归档管理更加灵活方便，能够及时将本地存储符合归档条件的数据同步至对象存储中，从而释放本地存储资源；所有归档记录可以通过管理界面快速查询和恢复，十分适合有海量数据存储的场景。 对象存储数据灾备的使用场景主要有： 本地/NAS存储上的数据同步至对象存储，详情见本地到对象存储规则、文件比较与同步规则两章节； 对象存储上的数据同步至本地/NAS存储，详情见对象存储到本地规则章节； 对象存储到对象存储之间的数据同步，详情见文件比较与同步规则章节。 针对以上场景：对象存储数据灾备可以实现间隔为秒级的数据定期同步。 操作步骤 一、购买许可 持续数据保护/主机高可用/数据定时灾备/文件存储数据灾备/对象存储数据灾备/数据库双活的购买许可步骤类似。下面以持续数据保护为例，介绍购买许可步骤。 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源同步”“资源同步管理”，进入资源管理模块页面。 5. 点击左侧菜单栏“对象存储数据灾备”，点击“许可”，进入许可页面。 6. 点击右上角“购买对象存储数据灾备许可”按钮，弹出购买许可弹窗。按需购买许可。 7. 填写购买数量和时长，勾选已阅读并同意相关协议后，点击“购买”按钮，完成许可支付。

本节介绍了卸载云主机的数据盘的操作场景、前提条件、操作步骤。 操作场景 如果创建私有镜像所使用的原云主机挂载了多个数据盘，可能导致由私有镜像创建的新云主机无法使用。因此在创建私有镜像前，需要卸载原云主机中挂载的所有数据盘。 本节介绍如何卸载云主机中挂载的所有数据盘。 前提条件 已登录到创建Linux私有镜像所使用的云主机。 操作步骤 1. 查询是否挂载数据盘。 执行以下命令，检查云主机挂载的磁盘块数。 fdisk l − 磁盘块数＞1，表示云主机挂载有数据盘，执行2。 − 磁盘块数1，表示云主机未挂载数据盘，执行3。 2. 执行以下命令，检查当前云主机挂载的数据分区。 mount − 回显不包含数据盘分区的信息时，无需进行卸载数据盘的操作。 /dev/vda1 on / type ext4 (rw,relatime,dataordered) − 回显包含类似如下信息，请执行3。 /dev/vda1 on / type ext4 (rw,relatime,dataordered) /dev/vdb1 on /mnt/test type ext4 (rw,relatime,dataordered) 3. 清理“fstab”文件中的配置信息。 a. 执行以下命令编辑“fstab”文件。 vi /etc/fstab b. 删除相关数据盘在“fstab”文件中的配置信息。 “/etc/fstab”文件中记录了系统启动时自动挂载的文件系统和存储设备的信息，需要删除，如下图中最后一行是数据盘在“fstab”中的配置信息。 数据盘在fstab文件中的配置信息 4. 执行如下命令，卸载已挂载的数据盘。 卸载前请确认数据盘上没有任何数据读写，否则会导致卸载失败。 umount /dev/vdb1 5. 执行以下命令，再次查看当前云主机挂载的数据分区。 mount 回显信息中不再包含数据盘分区的信息时，则表示卸载成功。

本文为您介绍如何通过多次迁移,实现对源端增量数据的迁移。 操作场景 对象存储迁移服务ZMS在执行任务时，会先进行源端数据扫描，若您的源端持续增加新数据，则每次执行迁移任务时，无法确保迁移源端实时新增的数据。本方案将介绍通过规划任务的多次迁移，逐步实现将您的源端增量数据迁移至天翼云ZOS。 源端增量数据包含以下情况： 源端存量数据的修改：后续业务对源端已有的存量数据进行修改。 对源端新写入的数据：源端数据不存在，后续业务在源端新写入的数据。 迁移方案的原理 要实现对源端增量数据的迁移，需要每次执行迁移时，对不需要重复迁移的数据进行跳过，仅迁移增量数据。 对象存储迁移服务ZMS提供“ 按最后修改时间 ”选项，支持对进行同名文件是否覆盖的判断。该配置实现以下效果： 对源端和目的端的同名文件：若源端该文件的最后修改时间（Lastmodified）比目的端新，则用源端更新的文件覆盖目的端较旧的文件，实现将源端存储数据的最新修改同步至目的端。 对源端新写入的文件：源端新写入的文件在目的端无同名文件，会直接将该新写入文件迁移至目的端，实现对源端新写入文件的迁移。 因此，配置“ 按最后修改时间 ”进行迁移，既可以将对源端新写入的数据全部进行迁移，又可以对源端和目的端都存在的同名文件按最后修改时间判断，将源端最新修改（不包含删除）过的存量数据也进行迁移。 注意 若您的源端存量数据存在删除的情况，迁移服务不会将您的源端删除操作同步至目的端，若您需要将目的端的已迁移数据也进行删除，请自行操作目的端对象存储。 该方案对增量数据的迁移无法确保时效性，不适用对增量数据的迁移有很强的时效性的情况。

本文主要介绍可信数据空间场景总体流程。 低密可信数据接入、开发、交易流程指引，分为四个主要模块：数据接入、数据开发、产品上架、产品购买。 数据接入 提供方申请连接器，运营方审批并监管，提供方上传数据并发布资源，运营方审核后同步至平台资源目录。 数据开发 开发方申请资源，运营方审核，提供方会签，开发方进行数据开发并发布服务，平台同步API至要素管理中心。 产品上架 提供方创建数据要素，运营方审核并制定策略，提供方发布产品，平台同步至产品市场。 产品购买 产品购买流程包括购买方申请、运营方审核、合同签订、资料审核、交付确定及售后服务。 整个流程涉及多方协作，确保数据可信流通与交易。 总体流程图如下：

本章节主要介绍数据治理中心DataArts Studio的实例退订操作。 退订DataArts Studio实例 当用户不需要使用某个DataArts Studio实例时，可以参考如下操作退订该实例。 1.登录天翼云控制中心； 2.在“数据分析”项目下，单击【数据治理中心 DataArts Studio】； 3.找到创建成功的DataArts Studio实例，核实实例信息，点击“退订”即可。 详见下图：选择退订 删除作业 当用户不需要使用某个作业时，可以参考如下操作删除该作业，以减少作业的配额占用。 普通删除 1.登录数据治理中心控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发>作业开发”。 3.在作业目录中，右键单击作业名称，选择“删除”。 4.在弹出的“删除作业”页面，单击“确定”，删除作业。 批量删除 1.登录数据治理中心控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3.在作业目录顶部，单击，选择“显示复选框”，在作业目录前出现复选框。 4.选择需要删除的作业，再次单击，选择“删除作业”。 5.在弹出的“删除作业”页面，单击“确定”，批量删除作业。

本文介绍如何为弹性云主机注入自定义数据。 操作场景 当您需要通过脚本简化弹性云主机配置、通过脚本初始化系统、在创建弹性云主机时上传已有脚本，或者完成其他需要使用脚本的功能时，可以考虑使用实例自定义数据注入功能来配置弹性云主机。 使用限制 Windows 用于创建弹性云主机的镜像必须安装了Cloudinit组件。 实例自定义数据大小限制：小于等于16KB。 如果通过文本方式上传实例自定义数据，数据只能包含ASCII码字符；如果通过文件方式上传实例自定义数据，只能上传text/格式的文件，且文件大小小于等于16KB。 必须使用公共镜像、继承于公共镜像的私有镜像，或自行安装了Cloudinit组件的私有镜像。 实例自定义脚本必须满足相应弹性云主机自定义脚本类型的格式要求。 Linux 用于创建弹性云主机的镜像必须安装了Cloudbaseinit 组件。 实例自定义数据大小限制：小于等于16KB。 如果通过文本方式上传实例自定义数据，数据只能包含ASCII 码字符；如果通过文件方式上传实例自定义数据，可以包含任意字符，同时，要求文件大小小于等于16KB。 必须是公共镜像，或继承于公共镜像的私有镜像，或自行安装了Cloudbaseinit 组件的私有镜像。 实例自定义数据使用方法 1. 根据实际需要写UserData脚本，脚本格式必须符合Cloudinit/Cloudbaseinit官网相关规范。 2. 在创建弹性云主机时，在“高级配置 > 用户数据 > 立即配置 > 以文本形式”的文本框中粘贴实例自定义数据脚本内容，或选择以文件形式上传。 说明 实例自定义数据注入支持两种方式： 文本：将实例自定义数据脚本内容粘贴到文本框中。 文件：将实例自定义数据脚本内容保存至文本地文件后再上传。 3. 系统创建弹性云主机后，弹性云主机将自动执行Cloudinit 或 Cloudbaseinit 组件，读取实例自定义数据脚本。

本章节主要介绍如果进行物理建表。 物理表 物理表是指按照一定规则和方法，将物理表中所定义的实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 可视化建模： 前提条件 需要完成主题规划和数仓分层设计信息配置后，才能进行物理建模操作，主题划分和数仓分层设计请参见数仓主题规划与数仓分层设计。 需要完成数据源接入，才可进行物理建模操作。 使用流程 1. 登录数据中台，单击上侧导航栏的数据建模>物理建表，进入物理表页面。 2、创建物理表 a.在物理表页面，鼠标点击新建图标，创建物理表。 3、在“新建物理表”页面，根据页面提示完成相关配置。 a.填写基本配置参数。 参数名称 说明 所属主题 选择所属的主题信息 数据源 选择处于已发布状态的数据源 表中文名 以中文、英文、数字、下划线，且以中文或英文开头,最少4字符,最多64字符 表英文名 以英文、数字、下划线组成，且以英文开头,最少4字符,最多64字符表英文名 表类型 物理表支持以下表类型： 表：表是数据库中用于存储数据的物理结构，它由行和列组成，每一行代表一个记录，每一列代表一个字段。当需要长期存储数据，且数据需要频繁更新和查询时，选择表。 视图：视图是基于一个或多个表的虚拟表，它不存储数据，而是通过SQL查询语句动态生成数据，需要提供数据的抽象层，简化用户查询时，选择视图。 关联逻辑模型 选择物理表所需关联的逻辑模型 关联逻辑实体 关联当前【关联逻辑模型】中生效的逻辑实体 分区类型 当数据库类型是DM、可选如下分区类型： 范围分区（Range Partition)：是根据表中某个列或多个列的值的范围来创建分区。应用场景为时间序列数据和数值范围数据。 列表分区（List Partition)：列表分区是通过指定表中某个列的离散值集来创建分区，应用场景为地区或分类数据、状态或类型数据 当数据库类型是GaussDB、可选如下分区类型 Range：根据分区键的值范围将数据映射到分区，适用于时间序列数据，如按日期范围分区。 list：通过指定分区键的离散值列表来控制数据映射到分区，适用于已知离散值的场景，如按特定分类或状态分区。 hash：基于分区键使用哈希算法将数据均匀映射到分区，适用于数据分布均匀且无明显分区键的场景。 当数据库类型是Doris、可选如下分区类型 Range（范围分区）：根据指定列的值范围进行分区，适用于数据具有连续数值范围的场景。 List（列表分区）：根据指定列的离散值列表进行分区，适用于数据具有离散值集合的场景。 是否外部表 当数据库类型是Hive、需选是否外部表信息 用于指定Hive表是否为外部表。外部表允许用户访问存储在Hive外部的文件系统中的数据，而不必将其移动到Hive的默认存储位置. 文件格式 当数据库类型是Hive、需选文件格式信息 RCFILE：列式存储格式，支持压缩，适用于Hive分析。 TEXTFILE：行式存储，默认编码UTF8，简单通用。 GBKTEXTFILE：行式存储，GBK编码，适合中文数据。 SEQUENCEFILE：二进制存储，支持压缩，效率高。 PARQUET：列式存储，支持复杂数据类型，查询优化。 ORC：列式存储，高效压缩，适合大规模数据分析。 列分隔符 当数据库类型是Hive、需定义列分隔符信息 指定Hive表中字段值之间的分隔方式，以便正确解析行式存储文件中的数据 压缩类型 当数据库类型是Hive、需定义压缩类型信息 压缩类型配置用于指定数据存储时采用的压缩算法，以减少存储空间和提高I/O效率 当数据库类型是KingBase、需选压缩类型信息。 (5，5)压缩算法：性能与压缩比相对均衡的压缩模式 (3，1)压缩算法：压缩率最大的压缩模式。 表类型 当数据库类型是KingBase、需选择如下表类型。 复制表：数据完整存放在各个主机上，适用于配置表、字典表等数据量小的表。 哈希表：数据按hash策略分布存储与不同主机上，以实现分布式存储和计算 当数据库类型是Doris、需选择如下表类型。 Aggregate：聚合表，用于存储聚合后的数据，适用于快速查询统计结果。 Unique：唯一表，保证表中每一行数据的唯一性，适用于需要去重的数据存储。 Duplicate：重复表，允许表中存在重复数据，适用于存储原始数据，不进行去重处理。 Nocopies表 当数据库类型是KingBase、需选Nocopies表信息。 0：表示该表是复制表，即在数据库集群中，该表的数据会复制到所有的节点上，以保证数据的高可用性。 1：表示该表是非复制表，即在数据库集群中，该表的数据只存储在创建表的节点上，不会复制到其他节点，适用于存储不经常访问或不需要高可用性的数据。 行列模式 当数据库类型是KingBase、需选行列模式信息。 行存储：数据整行存储，适用于经常需要关注整行数据的OLTP(在线联机事务处理系统 。 哈希表：数据按hash策略分布存储与不同主机上，以实现分布式存储和计算) TTL 当数据库类型是kafka、需填TTL信息。 TTL用于设置Kafka主题中消息的存活时间，超过此时间的消息将被自动删除。 单位是天（day）、小时（hours）或分钟（minutes） 分区个数 当数据库类型是kafka、需填分区个数信息。 分区个数的作用是提高并行处理能力和消息吞吐量，分区数越多，可同时处理的消费者和生产者请求就越多。对于小型集群（少于6个broker），可以选择是broker数量的3倍；对于大型集群（超过12个broker），可以选择是broker数量的2倍。 当前分区 当数据库类型是kafka、需填当前分区信息。 指定创建主题（topic）时的初始分区数量，如果没有指定，则使用集群配置的默认值，默认的当前分区数值取决于Kafka集群的配置 备份数 当数据库类型是kafka、需填备份数信息。 备份数（Replication Factor）：是指定每个分区的副本数量，以提高数据的可靠性和容错能力 数据类型 当数据库类型是kafka、需填数据类型信息。 json：用于指定消息体为JSON格式，这是一种轻量级的数据交换格式。 json数组：用于指定消息体为JSON数组格式，允许单个消息包含多个JSON对象，适用于批量处理数据的场景。 Csv：用于指定消息体为CSV格式，其中的数据通常由纯文本组成，字段由逗号分隔，适用于存储表格数据的场景。 字符集 当数据库类型是kafka、需填写字符集信息。 f8：指定使用UTF8字符集，是一种广泛使用的字符编码，能够表示任何Unicode字符，适用于国际化场景 gbk：指定使用GBK字符集，是一种用于简体中文的字符编码，适用于涉及简体中文字符的场景 结构类型 当数据库类型是kafka、需选择结构类型。 单一模式：消息体只包含单一结构的数据，如单个JSON对象或CSV记录，适用于简单的数据模型。 复合模式：消息体包含复合结构的数据，如JSON数组或嵌套JSON对象，适用于复杂的数据模型，可以包含多个记录或字段。 表引擎 当数据库类型是ClickHouse、需选择如下表引擎信息。 MergeTree：一种高效的列式存储引擎，适用于处理大量数据的写入和快速查询，支持数据自动合并以优化存储和查询性能。 ReplacingMergeTree：类似于MergeTree，但具有去重功能，自动删除具有相同主键的旧记录，保留最新的记录。 TinyLog：轻量级的日志引擎，适用于小规模数据的写入，不支持索引，查询性能不如MergeTree。 Log：简单的行式存储引擎，适用于快速写入和简单查询，不支持复杂的查询操作，数据存储为纯文本格式。 当数据库类型是Doris、需选择如下表引擎信息。 OLAP：由Doris负责数据管理和存储，适用于分析型查询。 分桶类型 当数据库类型是Doris、需填分桶类型信息。 "hash"分桶：即根据哈希值将数据均匀分配到不同的桶中，以实现负载均衡 分桶数量 当数据库类型是Doris、需填分桶数量信息。 自动分桶：默认选择"auto"让系统根据数据量和查询模式自动决定最优的分桶数量。 手动分桶：支持用户手动设置分桶数，分桶数量的最小值为 15000。 拓展属性 当数据库类型是Doris、需填写拓展属性。 拓展属性：允许用户为表设置额外的配置选项，如副本数量、存储介质和数据冷却时间等，以满足特定的性能和存储需求。 b.在“物理表属性”页面添加所需要的物理表字段属性，物理表字段属性参数说明参考。 参数名称 说明 英文名称 以英文、数字、下划线组成，且以英文开头,最少4字符,最多64字符。 属性名 以中文、英文、数字、下划线，且以中文或英文开头，最少4字符,最多64字符。 数据类型 设置属性的数据类型。 数据标准 选择一个已发布数据标准与逻辑实体属性关联 主键 表中唯一标识每条记录的字段或字段组合 分区 选中表示基于该字段值进行数据分区 不为空 选中表示该字段不可为空 索引信息 当数据库类型是DM、需填写索引信息。 无索引：不配置索引。 唯一索引：要求索引列的值在表中唯一，用于确保数据的唯一性，提高查询效率。 组合索引：在表的多个字段上建立的索引，适用于需要同时在多个字段上进行查询过滤的场景，可以提高多字段联合查询的效率。 加密方式 当数据库类型是Hive、需填写加密方式信息。 AESENC：通过AESENCRYPT函数实现，适用于快速加密大量敏感数据，如用户信息和财务数据 。 SM4ENC：是一种对称加密算法，适用于需要符合国家标准和法规要求的场景，如政府数据、金融数据等。 日期表达式 当数据库类型是kafka、需填写日期表达式信息。 用于定义Kafka消息中日期字段的格式，例如：yyyyMMdd 选择器表达式 当数据库类型是kafka、需填写选择器表达式信息。 jsonpath：使用JSONPath表达式从JSON格式的消息中提取特定字段，适用于处理JSON消息。 xpath：使用XPath表达式从XML格式的消息中提取数据，适用于处理XML消息。 列表下标：通过指定列表的下标来提取数组中的特定元素，适用于处理包含数组的数据结构。 分布排序键 当数据库类型是ClickHouse、需设置分布排序键。 分布排序键”（Distribution Key）：用于指定数据在分布式表中的分布方式，通常选择一个或多个列作为分布键，以确保数据按照这些列的值分布到不同的节点上，从而优化查询性能和负载均衡。 分桶字段 当数据库类型是Dorise、需设置分桶字段。 设置该字段为分桶字段，这个字段的值将影响数据在不同桶中的分布，从而对查询性能和负载均衡产生影响。 聚合key 当数据库类型是Dorise、需设置聚合key字段。 设置改字段为聚合字段，这些字段决定了数据的聚合方式，如SUM、MAX、MIN等，适用于数据预聚合场景 聚类类型 当数据库类型是Dorise、需选择聚合类型。 SUM：对数值列进行求和，适用于需要计算总量或累计值的场景。 REPLACE：用于替换Value列的值。当新数据的Key列与已有数据的Key列相同时，新数据的Value列会替换掉旧数据的Value列 MAX：找出数值列的最大值，适用于需要确定最大值的场景。 MIN：找出数值列的最小值，适用于需要确定最小值的场景。 分区key 当数据库类型是Dorise、需设置分区key。 “分区key”参数用于指定表的分区键 c.在“属性信息”页面，单击“创建关系”进入创建数据表之间关系。 参数名称 说明 当前表 默认选择上一步骤创建的物理表 当前字段 默认选择上一步骤创建的物理表的属性信息 关系 1:1表示此物理表数据在关联物理表中只有一条数据与之对应。 1:N表示此物理表数据在关联物理表中至少有一条数据与之对应。 N:1表示此物理表数据有多条数据与关联物理表中一条数据与之对应。 关联表 与同模型下已生效物理表进行关联 关联字段 与同模型下已生效物理表字段进行关联 6、 完成物理表基本信息后，单击“确定”，完成物理表信息创建。 后续步骤 您可进行物理表物化、上线转为已生效状态，已生效的物理表可在其他模块应用。

本文介绍Kafka业务数据不均衡最佳实践 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因： 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分配策略，但策略逻辑有问题，会导致分区间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。 Kafka提供了分区重平衡的功能，可以把分区的副本重新分配到不同的Broker节点上，解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。

本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后，您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成，请参见上篇数据密级。 新建分类规则 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据分类”，在“分类规则”页签中，单击“新建”。 系统弹出“新建分类”对话框，填写相关配置，完成创建分类规则。支持按模板创建（内置）规则和自定义规则两种方式。 详见下图：配置分类规则 配置分类规则参数说明 配置 说明 分类类型 即规则所属分类，支持内置（按模板添加）和自定义添加。 密级 对配置的数据进行等级划分。如果现有的分级不满足需求，请进入数据密级管理页面进行设置，详情请参见上篇数据密级。 分类模板 分类类型选择“内置”，呈现此参数。如果选择“内置”，用户可以根据实际需要选择系统内置的敏感数据识别定义模板，例如：时间、手机号、车牌号。 分类名称 分类类型选择“内置”，分类名称自动关联分类模板生成。 分类类型选择“自定义”，用户可以自行填写分类名称。 说明 定义数据分类规则，名称必须唯一。 识别规则 分类类型选择“自定义”，呈现此参数，支持正则表达式。 正则表达式 内容识别：提供的数据识别方式之一，自定义正则表达式。 列名识别：提供字段名精确匹配和模糊匹配方式，支持多个字段匹配。 描述 对当前规则进行简单描述。

本章主要介绍翼MapReduce的恢复DBService数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对DBService进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对DBService进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie的元数据。恢复DBService的数据将恢复全部相关组件的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，依赖DBService的组件可能配置过期，需要重启配置过期的服务。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常，不能执行恢复操作。

步骤五： 功能验收 在客户控制台成功添加加速域名/实例后，为保证DNS解析顺利切换而不影响现有业务，建议先模拟访问进行功能验收，验收无误后，再切换DNS解析。 具体流程如下： 1. 在天翼云客户控制台的【域名】【IP应用加速接入】，复制加速域名/实例对应的CNAME记录值。 2. 通过ping（Windows）或dig（MAC） CNAME记录的方式，如 ping .ctdns.cn 获取该CNAME解析出来的天翼云已为您分配的某个节点IP，即为可测试验证功能的线上节点IP。 3. 用户修改本地电脑“C:WindowsSystem32Driversetc”的hosts文件，添加一条记录，如：“IP 加速域名”，让本地电脑访问加速域名时，强制绑定解析到该节点IP，由该节点IP进行服务，从而可以通过本地电脑来验证加速域名对应的相关业务功能和场景；如遇到修改后的host文件无法访问，可参考如下步骤： Hosts文件无法保存解决方法： Hosts文件无法修改可能是因为没有管理员权限所致的，完成以下的设置后，当我们修改了Hosts文件后就可以顺利保存了。 打开“计算机”，依次进入“C:WindowsSystem32Driversetc”（不同系统不同版本下，该文件的位置可能不同，仅供参考），找到hosts文件。 先选择“hosts”文件，打开其“属性”。 切换到“安全”选项卡，点击“高级”。 在“权限”下，点击“更改权限”。 点击“添加”，增添一个新权限。 点击“高级”进入高级设置。 选择“立即查找”，并在下方选择当前的系统账户，点击“确定”将其打开。 将“完全控制”勾上允许，并点击“确定”。 此时弹出一个安全警告窗口，点击“是”即可。 4. 验证内容： 成功绑定hosts文件后，您可以打开浏览器，在本地电脑访问加速域名进行连通性测试，测试结果可通过浏览器自带的开发者工具（F12）查看。如果浏览器访问到的IP和您在hosts文件中绑定的IP一致，表示配置正确。如果访问到的IP和您在hosts文件中绑定的IP不一致，表示配置不正确，您需要检查hosts文件中绑定的IP地址是否正确，确保该IP地址是CNAME地址的IP。 在电脑本地成功访问加速域名绑定的IP后，您可以基于自己的测试用例，或者必要的核验步骤，验证相关功能的准确性，如果功能验证不如预期，请提工单联系运维处理。

本文介绍如何基于Serverless集群快速部署FastChat应用。 在这篇文章中，我们将介绍如何在Serverless集群上快速部署FastChat应用。您可以选择使用控制台或kubectl来完成应用部署，随后即可通过外部端点访问FastChat。 前提条件 已开通Serverless集群，并且能通过公网访问集群。 背景信息 Serverless集群兼容原生Kubernetes语义和API，您可以在Serverless集群中轻松创建Deployment、StatefulSet、Service、Ingress、PersistentVolume、ConfigMap或CRD等资源。此外，您也可以使用Helm部部署和管理复杂的Kubernetes应用程序的生命周期。 FastChat介绍 FastChat是一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台。其核心功能包括：最先进模型的权重、训练代码和评估代码（例如Vicuna、FastChatT5）；基于分布式多模型的服务系统，具有Web界面和与OpenAI兼容的RESTful API。 注意 天翼云不对第三方模型“FastChat”的合法性、安全性、准确性进行任何保证，天翼云不对由此引发的任何损害承担责任。 您应自觉遵守第三方模型“FastChat”的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。 操作步骤 创建FastChat应用 您可以通过控制台部署FastChat应用，也可以通过kubectl工具连接Serverless集群来创建FastChat应用。 1. 登录管理控制台，在左侧菜单栏选择“集群”。 2. 在集群列表页面，选择目标集群名称，然后在左侧菜单栏，选择“工作负载 ”下的“无状态”，选择“创建Deployment”。 3. 在创建Deployment页面，填写负载类型、负载名称、命名空间、实例数量等。 4. 在容器配置的基本信息中填写容器名称、镜像、镜像版本、CPU/内存配额限制等。 注意 FastChat镜像要提前上传到容器镜像服务的镜像仓库中，点击选择镜像选择FastChat镜像即可。 5. 在容器配置的生命周期中点击“启动命令”，添加启动执行命令。 6. 在容器配置的健康检查中点击“就绪探针”并开启，按需进行相应配置。 7. 在访问设置项，点击“开启Service”，设置服务相关参数，通过该服务公开FastChat应用。 注意 需要提前手工创建ELB。 8. 点击“提交”，返回到如下页面表示创建成功，等待Deployment的副本Pod运行起来即可。

本章节主要介绍导入数据。 支持将OBS上的数据导入到DLI中创建的表中。 注意 创建OBS表时指定的路径必须是文件夹，若建表路径是文件将导致导入数据失败。 导入数据时只能指定一个路径，路径中不能包含逗号。 当OBS的目录下有同名文件夹和文件时，数据导入指向该路径会优先指向文件而非文件夹。 若将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 不建议对同一张表并发导入数据，因为有一定概率发生并发冲突，导致导入失败。 导入文件支持CSV，Parquet，ORC，JSON和Avro格式，且文本格式仅支持UTF8。 前提条件 待导入的数据已存储到OBS上。 导入数据步骤 1. 导入数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导入数据。 a. 在管理控制台的左侧，选择“数据管理”>“库表管理”。 b. 单击需导入数据的表对应的数据库名称，进入该数据库的“表管理”页面。 c. 在目标表“操作”栏中选择“更多”中的“导入”，弹出“导入数据”页面。 在“SQL编辑器”页面导入数据。 a. 在管理控制台的左侧，单击“SQL编辑器”。 b. 在“SQL编辑器”页面左侧导航栏选择“数据库”页签，鼠标左键单击需要导入数据的表对应的数据库名，进入“表”区域。 c. 鼠标左键单击对应表右侧的，在列表菜单中选择“导入”，弹出“导入数据”页面。 2. 在“导入数据”页面，参见下表填写相关信息。 详见下表：参数说明 参数名称 描述 示例 数据库 当前表所在的数据库。 表名称 当前表名称。 队列 选择队列。 文件格式 导入数据源的文件格式。导入支持CSV，Parquet，ORC，JSON，Avro格式。 CSV 数据源路径 直接输入路径或单击选择OBS的路径，若没有合适的桶可直接跳转OBS创建。 创建OBS表时指定的路径必须是文件夹，若建表路径是文件将导致导入数据失败 。 当OBS的目录下有同名文件夹和文件时，数据导入指向该路径会优先指向文件而非文件夹 。 说明 路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。 选中“高级选项”，勾选“表头:无”前的方框，“表头:无”显示为“表头:有”，表示有表头；去勾选即为“表头:无”，表示无表头。 自定义分隔符 当“文件格式”为“CSV”，勾选自定义分隔符前的方框时，该参数有效。 支持选择如下分隔符。 逗号(,) 竖线(l) 制表符(t) 其他：输入自定义分隔符 默认值：(,) 自定义引用字符 当“文件格式”为“CSV”，勾选自定义引用字符前的方框时，该参数有效。 支持选择如下引用字符。 单引号(') 双引号(") 其他：输入自定义引用字符 默认值：单引号(') 自定义转义字符 当“文件格式”为“CSV”，并在自定义转义字符前的方框打勾时，该参数有效。 选中高级选项，支持选择如下转义字符。 反斜杠( ) 其他：输入自定义转义字符 默认值：反斜杠( ) 日期格式 当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”，该参数表示表中日期的格式，默认格式为“yyyyMMdd”。 20000101 时间戳格式 当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”，该参数表示表中时间戳的格式，默认格式为“yyyyMMdd HH:mm:ss”。 20000101 09:00:00 错误数据存储路径 当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”，该参数表示可将错误数据保存到对应的OBS路径中。 obs://DLI/ 3. 单击“确定”，系统开始导入数据。 4. 有两种方式可查看导入的数据。 说明 目前预览只显示导入的前十条数据。 在“数据管理”>“库表管理”页面，单击数据库名，在表管理界面对应表的“操作”栏选择“更多”中的“表属性”，在弹框的“预览”页签中，可查看导入的数据 在“SQL编辑器”的“数据库”页签中，单击数据库名称，进入对应的表列表，鼠标左键单击对应表右侧的 ，在列表菜单中选择“表属性”，在弹框的“预览”页签中，可查看导入的数据。 5. （可选）可以在“作业管理 > SQL作业”页面，查看该导入作业的状态以及执行结果。

本页为数据传输服务DTS的安全白皮书。 天翼云DTS是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库间的数据传输，致力于解决远距离、毫秒级异步数据传输难题。 DTS秉承天翼云对用户的安全承诺，通过完善的账号权限体系、网络隔离与防护、数据加密传输、断点续传、数据校验，保障用户在进行数据迁移、同步过程中的安全性、可用性和数据一致性。 完善的账号权限体系 DTS在天翼云完善的账号权限体系的基础上，为用户提供严格的租户隔离，以及对各种资源进行了精细的权限控制，保障了用户的账号、数据和进行各项操作的安全性。 网络隔离与防护 DTS借助天翼云的Web应用防火墙和主机安全，以及基于HTTPS加密传输，实现了可靠的网络防护和Web访问的安全性。DTS实例通过VPC实现不同用户资源的网络隔离，以及通过网络ACL和安全组实现了资源粒度，如ECS、数据库实例的严格、精细的出入流量控制，保障了资源访问的安全性。 数据加密传输 DTS对于数据传输的源端和目标端之间的连接，提供了可选的SSL加密传输的连接方式，保障了数据迁移、同步过程中数据传输的安全性。 断点续传 DTS实现了断点续传功能，保障了数据迁移、同步的稳定性和高效性。

创建OBS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 详见下图：选择连接器类型 2.连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从MRS HDFS导出数据到OBS的任务。 详见下图：创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建MRS HDFS连接中的“hdfsllink”。 −源目录或文件：待迁移数据的目录或单个文件路径。 −文件格式：传输数据时所用的文件格式，这里选择“二进制格式”。不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 −其他可选参数一般情况下保持默认即可，详细说明请参见 配置HDFS源端参数。 目的端作业配置 −目的连接名称：选择创建OBS连接中的“obslink”。 −桶名：待迁移数据的桶。 −写入目录：写入数据到OBS服务器的目录。 −文件格式：迁移文件类数据到文件时，文件格式选择“二进制格式”。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置OBS目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持多个文件的并发抽取，调大参数有利于提高迁移效率 是否写入脏数据：否，文件到文件属于二进制迁移，不存在脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

功能介绍 数据总览 数据总览是一项专为多租户场景设计的功能，支持将多个租户的数据整合并汇总至统一的大屏界面进行集中展示。该功能涵盖关联租户数据统计、近期使用情况分析、云电脑使用人数与时长统计，以及登录时长与资源包使用量的TOP5排名展示，帮助用户全面掌握多租户下的整体运营状况。 租户概览 租户概览从单一租户的视角呈现云电脑使用数据，在多租户视图与单租户视图中均可查看，管理员可通过左上角的租户下拉菜单切换不同的租户对象。 租户概览提供以下信息：租户名称、整体数据指标、近期使用数据指标、资源包使用情况以及网络时延等数据。 明细查询 数据明细功能支持基于时间、桌面等多个维度进行筛选，方便用户进行针对性查询与导出。当前提供以下四个明细查询表，均可通过右上角的“导出记录”按钮一 键导出。 明细数据包括： 电脑活跃数据：按日期统计所有租户的活跃用户数、使用时长和平均用户使用时长 电脑登陆数据：按云电脑维度，查询指定时间范围的全部登录记录 按租户统计活跃数据：按照租户名称查询过滤对应的云电脑使用明细 资源使用率：按照租户名称查询名下云电脑的CPU/内存/系统盘/数据盘/时延等使用数据

本章节介绍如何投递日志数据至OBS桶。 约束与限制 跨账号投递仅支持投递到其他账号管道中，不支持投递到其他云服务。 如果新增的数据投递为跨账号投递，则需要登录目的账号进行授权操作。 步骤一：创建数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间> 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道后，单击目标管道名称后的“更多 > 投递”，右侧弹出现在数据投递设置页面。 6. （可选）在弹出的授权提示中，确认无误后，单击“确定”，完成授权。 首次投递到目的投递类型需要进行授权，如果已经授权，则无需执行此步骤。 7. 在新增投递配置页面中，配置数据投递相关参数。 1. 配置基本信息。 参数名称 参数说明 投递名称 自定义投递名称。 投递资源消耗 默认生成，无需配置。 2. 配置数据源。 数据源配置中，显示当前管道数据的详细信息，无需配置。 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE，即默认从态势感知（专业版）管道投递数据。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称。 数据位置策略 当前管道中数据位置的策略。 读取身份 数据源读取身份信息说明。 3. 配置数据目的，请根据投递目的进行配置。 OBS：将当前管道数据投递到OBS服务。 投递到OBS中，需要已有一个桶策略为私有、公共读或公共读写的可用的桶（暂不支持并行文件桶）。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型。投递到OBS服务仅支持选择“本账号”类型。 投递类型 选择投递类型，此处选择OBS。 桶名称 选择目的OBS桶名称。 写入身份 默认生成，无需配置。 4. 在“访问授权”中，查看步骤6中授予的权限。 投递请求需要获取访问您云资源的读写权限，授权后，投递任务才能拥有对您云资源相应的访问权限。 8. 单击“确定”。

本章节主要介绍高质量数据集平台如何管理标注数据集。 标注数据集是由标注模块产生的数据集。 【查看】支持查看标注数据集详情； 【授权】支持将数据集授权给个人或团队； 【更新元数据】点击后会将该数据集元数据信息进行更新。

本章主要介绍翼MapReduce的恢复Hive业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Hive数据。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动Hive的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查Hive备份文件保存路径。 停止Hive的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本页为您介绍数据传输服务DTS如何保护用户的数据。 数据传输服务DTS通过多种数据保护手段和特性，保障传输中数据的安全性和完整性。 断点续传 当用户暂停任务，或源库发生异常不可连接时，DTS数据传输服务会记录最后迁移的位点，待用户重新启动任务、源库恢复正常时，继续从当前位点开始迁移，保障用户迁移数据的完整性。 回收任务完成资源 在用户的迁移、同步任务完成后，DTS数据传输服务将会销毁迁移、同步的工作节点，不保留任何用户数据，充分保障用户的数据安全。 安全的云服务 DTS数据传输服务构建在高效、可靠、安全的弹性云主机和云存储上，结合其能力，保证迁移、同步任务稳定运行。

本章节主要介绍新建一个对账作业实例的操作。 场景说明 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。 环境准备 需要准备好对账的数据源，即通过管理中心分别创建数据连接，用于跨源数据对账。 操作步骤 1.建立跨源数据连接。 a.创建DLI数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据湖探索（DLI）”，输入数据连接名称，单击“测试”，提示连接成功，单击“确定”。 b.创建DWS数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据仓库服务（DWS）”，输入数据连接名称，设置其他参数，如下图所示，单击“测试”，提示连接成功，单击“确定”。 2.创建对账作业。 a.在DataArts Studio数据质量模块，单击左侧导航菜单“对账作业”。 b.单击“新建”，配置对账作业的基本信息，如下图所示。 c.单击“下一步”，进入规则配置页面。您需要点击规则卡片中的，然后配置对账规则，如下图所示。 说明 要分别配置源端和目的端的信息。 配置告警条件，其中点击左侧的表行数 （${11}）表示左侧源端选中表的行数，点击右侧表行数 （${21}）表示目的端表行数。此处配置告警条件为 ${11}!${21}，表示当左侧表行数与右侧表行数不一致时，触发报警并显示报警状态。 d.单击“下一步”，配置订阅信息，如下图所示。 说明 勾选触发告警表示作业报警时发送通知到对应的smn主题，勾选运行成功表示不报警时发送通知到SMN主题。 e.单击“下一步”，配置调度方式，如下图所示。 说明 单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置。 3.查看对账作业 a.单击对应的对账作业操作列中的运行链接，运行对账作业后，自动跳转到运维管理页面。 b.单击结果&日志查看运行结果和运行日志，等待作业运行结束后，如下图所示。

本章节主要介绍逆向数据库维度建模操作。 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的关系模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见任务管理。 逆向数据库导入表到维度模型中 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2. 在DataArts Studio数据架构控制台，单击左侧导航栏的“维度建模”进入维度建模页面。 3. 打开需要逆向数据库导入的维度或表的页签，然后单击列表上方的“逆向数据库”。 4. 在“逆向数据库”对话框中配置参数。 参数名称 说明 所属主题 单击“选择主题”按钮选择所属的主题信息。 数据连接类型 选择维度建模的逆向数据库。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见创建数据连接。 数据库 选择数据库。 队列 仅限DLI连接类型，需选择DLI队列。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 更新已有表 在导入时，只有创建或更新操作，不会删除已有的表。 不更新 ：如果表已存在，将直接跳过，不更新。 更新 ：如果表已存在，更新已有的表信息。如果表处于“已发布”状态，表更新后，您需要重新发布表，才能使更新后的表生效。 数据表 选择“全部”时，将数据库中的所有的表都导入。 选择“部分”时，请选择需要导入的表。 5. 单击“确定”开始执行逆向数据库操作。等待操作执行完成，即可在“上次逆向”中查看结果或者执行重新逆向操作。

本文介绍RDSPostgreSQL实例数据被损坏的可能场景。 主机损坏或异常 在数据盘损坏的场景下，实例数据库可能会被损坏以至数据丢失。 数据库主机服务器断电，可能会导致数据页损坏，可能会导致数据库发生异常。 数据遭恶意篡改 在一些安全漏洞被利用的场景下，可能数据会遭到恶意篡改。为了防止这种情况发生，建议严格权限管理，避免非授权用户操作数据库。

查看数据质量评分 质量评分的满分可设置为5分，10分，100分。默认为5分制，是以表关联的规则为基础进行评分的。而表、数据库等不同维度的评分均基于规则评分，本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您可以查询所创建数据连接下数据库、数据库下的数据表以及数据表所关联规则的评分，具体评分对象的计算公式，请参见下表。 对象评分计算公式 对象 评分计算公式 规则 创建质量作业时，作业关联的规则中结果说明列包含“比率”、“值率”的系统内置规则及用户自定义规则可以生成质量评分报告。 包含“比率”、“值率”的规则可以分为正向规则及反向规则，正向规则即比值越高，代表数据质量越好；反向规则即比值越高，则数据质量越差。 正向规则包含唯一值率、重复值率、合法比率规则，反向规则包含空值率规则。 正向规则评分满足规则的数据行数/数据总行数满分（5，10，100）。 反向规则评分（1满足规则的数据行数/数据总行数）满分（5，10，100）。 数据表 表评分计算公式：∑(表关联的所有规则评分规则权重)/∑规则权重 数据库 数据库下所有数据表评分的加权求平均值，即：∑数据库下所有数据表评分/表的数量。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 选择数据质量 2.选择“数据质量监控 > 质量报告”。 3.在“技术报告”页签，选择数据连接及截至日期，查询截至日期前7天的数据质量评分，如下图所示。 选择数据连接 说明 以评分满分为5分为例。其中45分评价为优秀，34分为良好，23分为不及格，12分为较差，01分为极差。 当天质量评分数据在次日凌晨生成。 质量评分历史趋势中的实线为截至日期前7天质量评分组成的连线，虚线为这7天质量评分的平均分。 若一天多次运行该作业，当天的质量评分为最后一次的得分。 4.单击“表评分”列的评分值链接，展开该表关联的规则评分。 5.单击“规则评分”列的评分值链接，展开该规则关联的字段评分，如下图所示。 表关联规则评分界面

本文为您说明初始化数据盘场景及磁盘分区形式介绍。 操作场景 针对挂载至物理机的云盘数据盘或者物理机的本地数据盘，需要登录服务器初始化磁盘，即格式化磁盘，之后磁盘才可以正常使用。 系统盘 系统盘不需要初始化，创建物理机时会自带系统盘并且自动初始化，默认磁盘分区形式为主启动记录分区（MBR，Master boot record）。 数据盘 创建物理机时直接创建云盘数据盘，云盘数据盘会自动挂载至服务器。 单独创建云盘数据盘，然后将该云盘数据盘挂载至物理机。 物理机的本地数据盘。 以上三种情况创建的数据盘挂载至物理机后，均需要初始化后才可以使用，请您根据业务的实际规划选择合适的分区方式。