本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后，您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成，请参见上篇数据密级。 新建分类规则 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据分类”，在“分类规则”页签中，单击“新建”。 系统弹出“新建分类”对话框，填写相关配置，完成创建分类规则。支持按模板创建（内置）规则和自定义规则两种方式。 详见下图：配置分类规则 配置分类规则参数说明 配置 说明 分类类型 即规则所属分类，支持内置（按模板添加）和自定义添加。 密级 对配置的数据进行等级划分。如果现有的分级不满足需求，请进入数据密级管理页面进行设置，详情请参见上篇数据密级。 分类模板 分类类型选择“内置”，呈现此参数。如果选择“内置”，用户可以根据实际需要选择系统内置的敏感数据识别定义模板，例如：时间、手机号、车牌号。 分类名称 分类类型选择“内置”，分类名称自动关联分类模板生成。 分类类型选择“自定义”，用户可以自行填写分类名称。 说明 定义数据分类规则，名称必须唯一。 识别规则 分类类型选择“自定义”，呈现此参数，支持正则表达式。 正则表达式 内容识别：提供的数据识别方式之一，自定义正则表达式。 列名识别：提供字段名精确匹配和模糊匹配方式，支持多个字段匹配。 描述 对当前规则进行简单描述。

本文主要介绍数据智能中台的购买类问题。 天翼云都有哪些资源池可以订购数据智能中台产品？ 当前只支持在华东1资源池订购，全网可访问。 数据智能中台的哪些销售品可以独立购买？ 数据中台、高质量数据集平台和AI中台。 数据智能助理可以怎么购买？ 购买数据智能助理之前，首先需要先购买数据中台。

本章节主要介绍数据治理中心的配置MongoDB连接功能。 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数详见下表：MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodblink 服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DBmongodb 用户名 连接MongoDB的用户名。 cdm 密码 连接MongoDB的密码。

本章主要介绍翼MapReduce的恢复DBService数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对DBService进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对DBService进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie的元数据。恢复DBService的数据将恢复全部相关组件的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，依赖DBService的组件可能配置过期，需要重启配置过期的服务。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常，不能执行恢复操作。

本文为您介绍创建数据订阅任务的操作场景、前提条件和操作步骤。 操作场景 场景一：数据实时分析 使用云监控数据订阅功能，将业务进行异步解耦，在不影响源库业务的情况下，实时同步监控数据（指标、事件）或告警数据到客户自有分析系统中，帮助企业用户进行实时数据分析。 场景二：数据归档存储 使用云监控数据订阅功能，您可将资源监控或告警数据的增量更新数据，实时地推送到归档数据库或数据仓库。 说明 数据订阅功能当前为受限开放，如有需求可以联系客户经理为您开放此功能。 资源池下单个用户最多可创建10个数据订阅任务。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 注意 数据订阅功能数据类型支持指标数据、事件数据，订阅方式支持分布式消息服务及API方式。 指标数据订阅支持分布式消息服务（kafka）及remotewriteapi方式。 事件数据订阅支持分布式消息服务（kafka）及apipush方式。（事件订阅入口为：云监控服务>事件监控>事件订阅） 创建订阅任务需提前创建订阅渠道。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击左侧“数据订阅”菜单，进入数据订阅任务列表。 5. 单击“创建订阅任务”功能，进入数据订阅任务创建二级页面。 6. 创建订阅任务参数配置如下： 模块 参数 参数说明 配置示例 备注 选择订阅对象 服务维度 选择需要订阅数据的服务维度信息，支持多选 云主机云主机 选择订阅对象 监控对象类型 具体实例 选择订阅对象 选择对象 选择资源实例对象 具体实例 定义订阅方式 订阅通道 选择公网/内网 分布式消息服务 定义订阅方式 发送渠道 Kafka Kafka 定义订阅方式 订阅失败缓存时间 输入用户客户端地址 基础信息 订阅任务名称 填写自定义订阅任务名称 testtask 基础信息 描述 填写订阅任务描述信息 说明 关于告警数据订阅全部资源的场景，涉及两个周期： 订阅服务subscription同步订阅配置的周期，预计上线配置2分钟。 数据订阅配置全部资源，也需要周期同步全量的实例资源，预计线上配置3分钟。 因此，考虑极限情况，告警订阅服务在周期1 + 周期2之后产生的告警，订阅服务才能匹配消费到。

本页介绍如何通过数据管理服务DMS登录关系数据库SQL Server版实例。 操作场景 创建关系数据库SQL Server版实例后，可以通过登录数据管理服务DMS对数据库实例进行数据管理、用户授权、SQL审计、数据可视化等管理操作。 前置条件 创建数据库和账号。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择【产品 > 数据库 > 关系型数据库 > 关系数据库SQL Server版】，进入关系数据库SQL Server产品页面。然后单击【管理控制台】，进入TeleDB数据库【概览】页面。 2. 在左侧导航栏，选择【SQL Server > 实例管理】，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 您有三种方式可以进入数据管理服务DMS。 1. 在实例列表上方，单击【进入数据管理服务】，即可进入到DMS的首页，根据提示信息填写相关信息，即可登入DMS。 2. 在实例列表中，单击目标实例名称，进入实例【基本信息】页面，单击右上角的【登录数据库】，即可进入该实例的DMS登录页面。 3. 在实例列表中，找到目标实例，在【操作】列选择【更多 > 登录数据库】，即可进入该实例的DMS登录页面。 4. 登入DMS后，即可对相应实例的数据库实例进行管理。

本页为您介绍数据传输服务DTS的产品规格。 数据传输服务DTS产品规格说明 数据传输服务DTS提供如下可用的产品规格： 任务类型 分类 适用场景 参考性能 数据迁移 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据迁移 中规格 小型企业及个人在线业务的去O迁移或上云 3000RPS 数据迁移 大规格 中小型企业及个人在线业务的去O迁移或上云 5000RPS 数据迁移 超大规格 大型型企业在线业务的去O迁移或上云 7000RPS 数据迁移 极大规格 超大型企业在线业务的去O迁移或上云 12000RPS 数据同步 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据同步 中规格 小型企业及个人在线业务的数据复制与灾备 3000RPS 数据同步 大规格 中小型企业在线业务的数据复制与灾备 5000RPS 数据同步 超大规格 大型企业核心业务的本地同城灾备或异地灾备环境搭建 7000RPS 数据同步 极大规格 超大型企业核心业务的本地同城灾备或异地灾备环境搭 12000RPS 数据同步 特大规格 特大型企业核心业务的本地同城灾备或异地灾备环境搭建 30000RPS 说明 如需进行MySQL实例间双向同步、PostgreSQL实例间双向同步，请务必在订购时选择订购数据同步大规格及以上规格。您可以在订购时选择同步拓扑双向同步，此时系统将自动为您限制仅能选择数据同步大规格及以上规格；如订购时未选择双向同步，那么仅当您订购的数据同步实例是大规格及以上规格时，还可以在在实例配置配置迁移对象及高级配置环节选择双向同步。 订购MySQL>MySQL、PostgreSQL>PostgreSQL数据同步实例小规格，将不支持启动任务后修改同步对象，如需动态修改同步对象请选择订购中规格及以上规格。 当用户订购DDS/MongoDBDDS/MongoDB迁移链路、数据架构类型为分片，分片数>5时，可订购极大规格。 当用户订购DDS/MongoDBDDS/MongoDB同步链路、数据架构类型为分片，分片数>5时，可订购极大规格；分片数>9时，可订购特大规格。 各规格的线上运行性能受网络环境、源实例和目标实例的性能、延迟等因素影响，实际的性能数字会有差异。

本页为数据传输服务DTS的安全白皮书。 天翼云DTS是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库间的数据传输，致力于解决远距离、毫秒级异步数据传输难题。 DTS秉承天翼云对用户的安全承诺，通过完善的账号权限体系、网络隔离与防护、数据加密传输、断点续传、数据校验，保障用户在进行数据迁移、同步过程中的安全性、可用性和数据一致性。 完善的账号权限体系 DTS在天翼云完善的账号权限体系的基础上，为用户提供严格的租户隔离，以及对各种资源进行了精细的权限控制，保障了用户的账号、数据和进行各项操作的安全性。 网络隔离与防护 DTS借助天翼云的Web应用防火墙和主机安全，以及基于HTTPS加密传输，实现了可靠的网络防护和Web访问的安全性。DTS实例通过VPC实现不同用户资源的网络隔离，以及通过网络ACL和安全组实现了资源粒度，如ECS、数据库实例的严格、精细的出入流量控制，保障了资源访问的安全性。 数据加密传输 DTS对于数据传输的源端和目标端之间的连接，提供了可选的SSL加密传输的连接方式，保障了数据迁移、同步过程中数据传输的安全性。 断点续传 DTS实现了断点续传功能，保障了数据迁移、同步的稳定性和高效性。

本文主要介绍云日志服务中数据加工的基本概念。 基本概念 ETL ETL是指将对业务系统的数据进行抽取、清洗、转换、加载的过程，从而整合零散、不标准、不统一的数据。云日志服务支持加载源日志单元数据，将数据转换后输出到目标日志单元。 事件、数据、日志 在数据加工功能中，事件、数据都表示日志，例如事件时间就是日志时间，字段操作指令fields就是用于保留或丢弃特定日志字段的指令。 日志时间 日志时间指事件所发生的时间，也称事件时间。在云日志服务中的保留字段为ts，一般由日志中的时间信息直接提取生成。数据类型为datetime。 日志标签 日志存在标记，区别于其他字段，在数据加工中，标签字段以tag:作为前缀。包括： 用户自定义标签：用户通过API PutLogs写入数据时添加的标签。 系统标签：云日志服务为用户添加的标签，包括tagfileName和taghostIp等。 配置相关概念 源日志单元 数据加工中，从中读取数据再进行加工的日志单元是源日志单元。 一个加工任务仅支持一个源日志单元，但可以对一个源日志单元配置多个加工任务。 目标日志单元 数据加工中，数据写入的日志单元是目标日志单元。 一个加工任务可以配置多个目标日志单元，可以是静态配置，也可以是动态配置。具体配置方法，请参见多目标日志单元数据分发。 SPL SPL（Semistructured Processing Language）是云日志服务数据加工使用的一种类Linux Shell的脚本语言。SPL提供内置8个基本指令和一百多个类SQL函数，简化了常见的数据加工模式。

本章节介绍如何投递日志数据至OBS桶。 约束与限制 跨账号投递仅支持投递到其他账号管道中，不支持投递到其他云服务。 如果新增的数据投递为跨账号投递，则需要登录目的账号进行授权操作。 步骤一：创建数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间> 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道后，单击目标管道名称后的“更多 > 投递”，右侧弹出现在数据投递设置页面。 6. （可选）在弹出的授权提示中，确认无误后，单击“确定”，完成授权。 首次投递到目的投递类型需要进行授权，如果已经授权，则无需执行此步骤。 7. 在新增投递配置页面中，配置数据投递相关参数。 1. 配置基本信息。 参数名称 参数说明 投递名称 自定义投递名称。 投递资源消耗 默认生成，无需配置。 2. 配置数据源。 数据源配置中，显示当前管道数据的详细信息，无需配置。 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE，即默认从态势感知（专业版）管道投递数据。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称。 数据位置策略 当前管道中数据位置的策略。 读取身份 数据源读取身份信息说明。 3. 配置数据目的，请根据投递目的进行配置。 OBS：将当前管道数据投递到OBS服务。 投递到OBS中，需要已有一个桶策略为私有、公共读或公共读写的可用的桶（暂不支持并行文件桶）。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型。投递到OBS服务仅支持选择“本账号”类型。 投递类型 选择投递类型，此处选择OBS。 桶名称 选择目的OBS桶名称。 写入身份 默认生成，无需配置。 4. 在“访问授权”中，查看步骤6中授予的权限。 投递请求需要获取访问您云资源的读写权限，授权后，投递任务才能拥有对您云资源相应的访问权限。 8. 单击“确定”。

本文为您介绍对象存储数据灾备安装部署的相关操作。 概要 对象存储数据灾备主要解决对象存储相关的数据同步场景。帮助用户将海量非结构化数据同步至对象存储中，进而提高非结构化数据的检索与访问性能。既降低了运营的成本，又提高了数据的安全性。文件归档功能使得数据归档管理更加灵活方便，能够及时将本地存储符合归档条件的数据同步至对象存储中，从而释放本地存储资源；所有归档记录可以通过管理界面快速查询和恢复，十分适合有海量数据存储的场景。 对象存储数据灾备的使用场景主要有： 本地/NAS存储上的数据同步至对象存储，详情见本地到对象存储规则、文件比较与同步规则两章节； 对象存储上的数据同步至本地/NAS存储，详情见对象存储到本地规则章节； 对象存储到对象存储之间的数据同步，详情见文件比较与同步规则章节。 针对以上场景：对象存储数据灾备可以实现间隔为秒级的数据定期同步。 操作步骤 一、购买许可 持续数据保护/主机高可用/数据定时灾备/文件存储数据灾备/对象存储数据灾备/数据库双活的购买许可步骤类似。下面以持续数据保护为例，介绍购买许可步骤。 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源同步”“资源同步管理”，进入资源管理模块页面。 5. 点击左侧菜单栏“对象存储数据灾备”，点击“许可”，进入许可页面。 6. 点击右上角“购买对象存储数据灾备许可”按钮，弹出购买许可弹窗。按需购买许可。 7. 填写购买数量和时长，勾选已阅读并同意相关协议后，点击“购买”按钮，完成许可支付。

本节介绍数据缓存亲和性调度。 Fluid提供了数据缓存亲和性调度优化能力，根据数据集排布的Pod调度策略，支持通过Webhook机制将调度信息注入到业务Pod中，从而实现将业务Pod优先调度到有数据缓存能力的节点。 在智算场景下，创建训练任务指定数据集时，通过调度优化策略将训练任务优先调度到缓存数据节点，可以提高数据同节点访问概率，获取最大程度访问效率。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 已创建数据集并开启加速。 数据集加速状态为已加速或已预热。 功能介绍 基于Mutating Webhook机制，Fluid可以在 业务Pod 创建时拦截，检测是否使用 Fluid PVC，从而为应用Pod注入所需数据缓存的亲和性信息（fluid.io/s{namespace}{dataset}）。当Kubernetes调度器调度应用Pod时，可以优先选择有缓存数据的节点。 注意 如果应用Pod在spec.affinity或spec.nodeSelector中自定义了与fluid调度相关的亲和性信息，此时以应用Pod自身配置为准，Fluid不会注入相关的亲和性调度配置信息。 操作步骤 1、创建数据集并开启数据加速 2、训练任务使用加速数据集 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用； 进入离线训练应用创建页面，在“基本信息”栏添加标签： 标签名为：fuse.serverful.fluid.io/inject 标签值为：true 进入离线训练应用创建页面，进行相关信息配置，详细参考创建训练任务； 配置训练数据： 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 继续其他配置，完成训练应用创建。 查看训练任务调度信息 进入主菜单 > 工作负载 > 容器组，查看训练任务Pod对应的YAML信息，已经注入缓存节点调度信息： 进入主菜单 > 工作负载 > 容器组，可以看到训练任务pod 所在节点与fluid数据节点一致。

本章主要介绍翼MapReduce的恢复Hive业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Hive数据。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动Hive的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查Hive备份文件保存路径。 停止Hive的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

创建客户端CEK数据密钥，用来对数据库用户数据加解密。 plaintext CREACREATE COLUMN ENCRYPTION KEY columnencryptionkeyname WITH( CLIENTMASTERKEY clientmasterkeyname, ALGORITHM algorithmtype, ENCRYPTEDVALUE encryptedvalue ); 参数描述： columnencryptionkeyname：CEK数据密钥对象名，在同一命名空间中满足唯一性约束 CLIENTMASTERKEY：指定用于对当前CEK加密的CMK ALGORITHM：指定该CEK将用于何种加密算法，支持： AEADAES256CBCHMACSHA256：采用AES256 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 AEADAES128CBCHMACSHA256：采用AES128 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 SM4SM3：采用国密SM4 CBC模式对数据加密实现数据机密性，通过消息验证码(国密SM3生成数据摘要)确保数据的完整性和身份校验。 ENCRYPTEDVALUE（可选项）：用户指定的密钥口令，如果不指定，则会自动生成密钥。密钥口令长度范围为[28, 256]个字符。28个字符派生出来的密钥安全强度满足AES128。如果采用用AES256，密钥口令的长度需要39个字符。如果不指定，则会自动生成256比特的密钥。

本文介绍数据加工任务运行的指标详情。 操作入口 1. 登录云日志服务控制台。 2. 点击左侧菜单栏数据加工。 3. 点击目标数据加工任务名称，进入加工任务详情页面。 总览指标 加工速率：默认时间周期为1小时，统计窗口为1分钟，速率为数据条目数/秒。 read：从源日志单元中读到的数据条数。 delivered：成功写入到目标日志单元的数据条数。 dropped：在加工过程中丢弃的日志数据条数。 failed：从源日志单元中读取，在加工过程中发生失败的数据条数。 读取日志数统计：从源日志单元读取到的数据条数总计，默认时间周期为1小时。 写出日志数统计：成功写入到所有目标日志单元的数据条数总计，默认时间周期为1小时。 失败日志数统计：从源日志单元中读取、并在加工过程中发生失败的数据条数总计，默认时间周期为1小时。 写出日志数占比：成功投递到目标日志单元的数据条数占源日志单元读取到数据条数的比例，默认时间周期为1小时。

本章节主要介绍高质量数据集平台如何管理标注数据集。 标注数据集是由标注模块产生的数据集。 【查看】支持查看标注数据集详情； 【授权】支持将数据集授权给个人或团队； 【更新元数据】点击后会将该数据集元数据信息进行更新。

本节介绍如何新增数据投递。 约束与限制 跨账号投递仅支持投递到其他账号管道中，不支持投递到其他云服务。 如果新增的数据投递为跨账号投递，则需要登录目的账号进行授权操作。 创建数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计> 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道后，单击目标管道名称后的“更多> 投递”，右侧弹出现在数据投递设置页面。 6. （可选）在弹出的授权提示中，确认无误后，单击“确认”，完成授权。 首次投递到目的投递类型需要进行授权，如果已经授权，请跳过该步骤。 7. 在新增投递配置页面中，配置数据投递相关参数。 1. 配置基本信息。 参数名称 参数说明 投递名称 自定义投递规则的名称。 投递资源消耗 默认生成，无需配置。 2. 配置数据源。 数据源配置中，显示当前管道数据的详细信息，无需配置。 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE，即默认从态势感知（专业版）管道投递。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称 数据位置策略 当前管道中数据位置的策略。 读取身份 数据源读取身份信息说明。 3. 配置数据目的，请根据投递目的进行配置。 PIPE：将当前管道数据投递到本账号其他管道或其他账号的管道中，请根据您的需要进行选择配置。 本账号投递：将当前管道数据投递到本账号的其他管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“本账号”。 投递类型 选择投递类型，此处选择PIPE。 工作空间 选择目的PIPE所在工作空间。 数据空间 选择目的PIPE所在数据空间。 管道 选择目的PIPE所在管道。 写入身份 默认生成，无需配置。 跨账号投递：将当前管道数据投递到其他账号的管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“跨账号”。 投递类型 选择投递类型，此处选择PIPE。 账号ID 输入目的PIPE所在账号的ID。 工作空间ID 输入目的PIPE所在工作空间的ID，查询方法请参见查看管道详情。 数据空间ID 输入目的PIPE所在数据空间的ID，查询方法请参见查看管道详情。 管道ID 输入目的PIPE所在管道的ID，查询方法请参见查看管道详情。 写入身份 默认生成，无需配置。 4. 在“访问授权”中，查看上述步骤6中授予的权限。 投递请求需要获取访问您云资源的读写权限，授权后，投递任务才能拥有对您云资源相应的访问权限。 8. 单击“确定”。

本页为您介绍数据传输服务DTS如何保护用户的数据。 数据传输服务DTS通过多种数据保护手段和特性，保障传输中数据的安全性和完整性。 断点续传 当用户暂停任务，或源库发生异常不可连接时，DTS数据传输服务会记录最后迁移的位点，待用户重新启动任务、源库恢复正常时，继续从当前位点开始迁移，保障用户迁移数据的完整性。 回收任务完成资源 在用户的迁移、同步任务完成后，DTS数据传输服务将会销毁迁移、同步的工作节点，不保留任何用户数据，充分保障用户的数据安全。 安全的云服务 DTS数据传输服务构建在高效、可靠、安全的弹性云主机和云存储上，结合其能力，保证迁移、同步任务稳定运行。

数据订阅功能支持您订阅指标或者告警数据,配置订阅任务后可以将数据转发到您配置的Topic或URL地址。 操作场景 对于实时指标/告警数据，您如需要进行二次消费使用，可以通过数据订阅功能配置订阅任务，实现数据的实时订阅消费， 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 数据订阅功能当前为受限开放阶段，仅支持部分资源池，如有需要可以联系客户经理提单开通。 创建数据订阅任务前提需先创建订阅渠道。 管理数据订阅任务 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控服务”，进入监控概览页面。 4. 选择“数据订阅”菜单，即可进入数据订阅任务列表页面。

查看数据质量评分 质量评分的满分可设置为5分，10分，100分。默认为5分制，是以表关联的规则为基础进行评分的。而表、数据库等不同维度的评分均基于规则评分，本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您可以查询所创建数据连接下数据库、数据库下的数据表以及数据表所关联规则的评分，具体评分对象的计算公式，请参见下表。 对象评分计算公式 对象 评分计算公式 规则 创建质量作业时，作业关联的规则中结果说明列包含“比率”、“值率”的系统内置规则及用户自定义规则可以生成质量评分报告。 包含“比率”、“值率”的规则可以分为正向规则及反向规则，正向规则即比值越高，代表数据质量越好；反向规则即比值越高，则数据质量越差。 正向规则包含唯一值率、重复值率、合法比率规则，反向规则包含空值率规则。 正向规则评分满足规则的数据行数/数据总行数满分（5，10，100）。 反向规则评分（1满足规则的数据行数/数据总行数）满分（5，10，100）。 数据表 表评分计算公式：∑(表关联的所有规则评分规则权重)/∑规则权重 数据库 数据库下所有数据表评分的加权求平均值，即：∑数据库下所有数据表评分/表的数量。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 选择数据质量 2.选择“数据质量监控 > 质量报告”。 3.在“技术报告”页签，选择数据连接及截至日期，查询截至日期前7天的数据质量评分，如下图所示。 选择数据连接 说明 以评分满分为5分为例。其中45分评价为优秀，34分为良好，23分为不及格，12分为较差，01分为极差。 当天质量评分数据在次日凌晨生成。 质量评分历史趋势中的实线为截至日期前7天质量评分组成的连线，虚线为这7天质量评分的平均分。 若一天多次运行该作业，当天的质量评分为最后一次的得分。 4.单击“表评分”列的评分值链接，展开该表关联的规则评分。 5.单击“规则评分”列的评分值链接，展开该规则关联的字段评分，如下图所示。 表关联规则评分界面

本章节主要介绍数据架构使用流程。 DataArts Studio数据架构的流程如下： 1.准备工作 ： −添加审核人 ：在数据架构中，业务流程中的步骤都需要经过审批，因此，需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 −管理配置中心 ：数据架构中提供了丰富的自定义选项，统一通过配置中心提供，您需要根据自己的业务需要进行自定义配置。 2.数据调研 ：基于现有业务数据、行业现状进行数据调查、需求梳理、业务调研，输出企业业务流程以及数据主题划分。 −主题设计 ：通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。 主题域分组 ：基于业务场景对主题域进行分组。 主题域 ：互不重叠数据的高层面的数据分类，用于管理其下一级的业务对象。 业务对象 ：指企业运作和管理中不可缺少的重要人、事、物信息。 −流程设计 ：针对流程的一个结构化的整体框架，描述了企业流程的分类、层级以及边界、范围、输入/输出关系等，反映了企业的商业模式及业务特点。 3.标准设计 ：新建码表&数据标准。 −新建码表 ：通常只包括一系列允许的值和附加文本描述，与数据标准关联用于生成值域校验质量监控。 −新建数据标准 ：用于描述公司层面需共同遵守的属性层数据含义和业务规则。其描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 4.模型设计： 应用关系建模和维度建模的方法，进行分层建模。 −关系建模 ：基于关系建模，新建SDI层和DWI层两个模型。 SDI ：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。 DWI ：Data Warehouse Integration，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 −维度建模 ：基于维度建模，新建DWR层模型并发布维度和事实表。 DWR ：Data Warehouse Report，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 维度 ：维度是用于观察和分析业务数据的视角，支撑对数据进行汇聚、钻取、切片分析，用于SQL中的GROUP BY条件。 事实表 ：归属于某个业务过程的事实逻辑表，可以丰富具体业务过程所对应事务的详细信息。 5.指标设计 ：新建业务指标和技术指标，技术指标又分为原子指标、衍生指标和复合指标。 −指标 ：指标一般由指标名称和指标数值两部分组成，指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。 业务指标用于指导技术指标，而技术指标是对业务指标的具体实现。 −原子指标 ：原子指标中的度量和属性来源于多维模型中的维度表和事实表，与多维模型所属的业务对象保持一致，与多维模型中的最细数据粒度保持一致。 原子指标中仅含有唯一度量，所含其它所有与该度量、该业务对象相关的属性，旨在用于支撑指标的敏捷自助消费。 −衍生指标 ：是原子指标通过添加限定、维度卷积而成，限定、维度均来源于原子指标关联表的属性。 −复合指标 ：由一个或多个衍生指标叠加计算而成，其中的维度、限定均继承于衍生指标。 注意，不能脱离衍生指标、维度和限定的范围，去产生新的维度和限定。 6.数据集市建设 ：新建DM层并发布汇总表。 −DM (Data Mart) ：又称数据集市。DM面向展现层，数据有多级汇总。 −汇总表 ：汇总表是由一个特定的分析对象（如会员）及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度（如会员），汇总逻辑表面向用户提供了以统计粒度（如会员）为主题的所有统计数据（如会员主题集市）。

创建数据集 1. 创建普通存储数据集：登录智算服务控制台，单击左侧菜单栏的“智算资产”>“我的数据集”菜单项进入我的数据集模块，点击“基础数据集“菜单，选择“普通/智算存储”，点击【+创建普通/智算存储数据集】，进入创建页面 2. 填写相关配置并提交。基础数据集创建目前仅支持使用自有存储，创建完成后，自动为您创建拼接此数据后缀的容器内挂载路径。 类型 字段 说明 存储基本信息 数据集名称 压缩任务名称，不超过20个字符 存储基本信息 描述 数据集描述信息 权限配置 可见范围 读写权限范围，支持设置仅文件所有者可见、指定工作空间内的算法开发角色可见两种权限策略 存储位置 存储桶/HPFS名称 您租户账号下的存储桶或HPFS名称；若您还未创建，您可点击【去创建】跳转到存储控制台进行创建 存储位置 ZOS/HPFS路径 您对应存储的具体的目录路径，您可根据提示示例进行填写，平台会对您填写路径的存在性进行校验，若校验不通过会进行提示，并禁止提交。 对于管理员用户，此项选填；对于普通子用户，此项必填。 特殊配置 设为保密数据集 对于某些行业客户，在大模型训练时会涉及到保密数据的处理问题，比如需要避免用户下载到本地造成数据泄漏，针对这类问题，平台推出了特色的数据保密功能，以应对用户下载或拷贝保密数据的行为。相关配置仅对管理员用户开放，且此功能会增加操作复杂度和资源占用，建议您只在需要的时候使用。 开启此按钮后，可将本数据集设置为保密数据集。开启保密后，此数据集将：1）仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；2）数据挂载到容器时禁止访问外网。 特殊配置 设为保密数据集的输出路径 若您已设置保密数据集，您还需再创建一个保密输出数据集，专门用于存储保密数据集的输出，并谨慎设置相关权限：1）若您使用了自有存储，建议您只给自己或管理者读写权限（需前往对应存储控制台设置），即您需要确保这是由您完全可控的存储；2）此数据集的可见范围（在本页面的权限配置设置），建议您只对需要的用户设置。 特殊配置 云审计 您设置好保密输出路径后，会自动弹出云审计设置，此设置对使用了对应保密输出数据集的任务生效。开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 特殊配置 审计频率 您开启云审计后，会弹出审计频率设置。审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。

本文为您说明初始化数据盘场景及磁盘分区形式介绍。 操作场景 针对挂载至物理机的云盘数据盘或者物理机的本地数据盘，需要登录服务器初始化磁盘，即格式化磁盘，之后磁盘才可以正常使用。 系统盘 系统盘不需要初始化，创建物理机时会自带系统盘并且自动初始化，默认磁盘分区形式为主启动记录分区（MBR，Master boot record）。 数据盘 创建物理机时直接创建云盘数据盘，云盘数据盘会自动挂载至服务器。 单独创建云盘数据盘，然后将该云盘数据盘挂载至物理机。 物理机的本地数据盘。 以上三种情况创建的数据盘挂载至物理机后，均需要初始化后才可以使用，请您根据业务的实际规划选择合适的分区方式。

本文介绍重装/切换操作系统/变更规格对磁盘数据有影响吗 对系统盘数据的影响 重装系统（linux）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，请做好数据备份； 重装系统（windows）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，软件安装后的注册表信息，请做好数据备份。 变更规格对系统盘没有影响。 对数据盘的影响 重装系统（windows），相关软件需要试用可能造成程序不可用，需要重新安装，但是之前程序在数据盘的数据会保留。 变更规格对数据盘没有影响。

本节主要介绍实例自定义数据的定义,以及如何将自定义数据传入实例、查看自定义数据、修改自定义数据等。 实例自定义数据 实例自定义数据是指用户给虚拟机实例上传的脚本、指令或配置文件等数据，用于管理实例的启动行为或对实例进行一些基础配置，如：完成自动化运维脚本、安装/卸载/更新软件或补丁、设置用户名及密码等。 注意 实例必须使用公共镜像或基于公共镜像创建的自定义镜像，或者确保自定义镜像中已经安装cloudinit相关组件。 创建虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 对于普通线上用户，点击【新建实例】；对于线下用户，点击【新建实例>指定区域开通】。 4. 在“高级选项”中设置实例自定义数据，虚拟机创建完成启动后，即可生效，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 已有虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 在虚拟机列表找到目标实例，操作列依次点击【更多>实例管理>自定义数据】，编辑完成后点击【确认】，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 4. 找到目标实例，重装虚拟机操作系统，即可为已有虚拟机设置自定义数据。 注意 为已有虚拟机设置实例自定义数据需重装后才可生效。

本文主要介绍MySQL数据迁移后sql执行速度慢的原因分析及解决方案。 场景描述 数据迁移至MySQL实例后，sql语句执行明显慢于原数据库。 原因分析 数据迁移至MySQL实例后，第一次执行的sql比在原数据库执行的性能差， 是由MySQL的bufferpool机制决定的：sql语句第一次执行时，由于执行计划和查询数据等信息未加载至bufferpool中，需要生成执行计划，并从磁盘加载数据，磁盘IO读写性能明显差于内存bufferpool的读写性能，因为第一次执行速度会慢很多；sql第一次执行完后，读取的数据会被存放于内存的bufferpool中，当第二次执行相同语句时，数据直接从bufferpool中读取，因此数据的访问速度明显快于第一次从磁盘访问数据速度。 该场景中，在原数据库中执行sql读取的数据一般来源于bufferpool，访问速度极快。当数据迁移到云上MySQL时，第1次执行同样的sql语句，需要从磁盘读取，就会访问较慢，当再次执行相同sql会从内存读取，执行速度就会恢复正常。 解决方案 该场景属于正常现象，在同一个数据库中，第1次执行sql时很慢，但再次执行由于数据已经被加载到bufferpool中，执行速度会明显提升。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本文介绍如何在科研助手中创建数据集。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据存储】的【数据集管理】。 3. 在【数据集管理 】页面，点击左上角的【个人数据集 】选项卡。 4. 在【个人数据集】页面，点击左上角的【创建数据集】按钮。 5. 在弹出的【创建数据集 】页面中，存储类型选择【SFS 】，配置参数。创建数据集页面如下： 6. 点击右下角的【确认】，即可完成数据集的创建。 7. 具体参数如下表所示： 参数 说明 是否必选 名称 作业名称。要求如下：长度范围为4~36个字符。名称由小写字母、数字、中划线（）组成。以小写字母开头。以小写字母或数字结尾。 是 可用区 开发机可选的可用区。 是 存储类型 数据集使用的存储类型，默认为SFS。 是 选择IO类型 IO类型，默认为超高IO云硬盘。 是 存储容量 数据集的存储容量大小，要求输入为数字，单位为GiB。 是

关于媒体存储数据迁移的能力概述。 适用场景 媒体存储为客户提供在线迁移服务，客户可以通过在线迁移服务实现以下数据迁移场景： 将同个账号的媒体存储的某个bucket数据迁移至另一个bucket。 跨不同的天翼云账号迁移媒体存储间的数据。 将第三方数据，如阿里云、AWS等数据迁移到媒体存储。 说明 目前数据迁移为内测能力，如有需要，可联系客户经理或 功能说明 数据迁移具备以下能力： 用户可以通过媒体存储控制台页面，快速配置数据迁移策略；可指定需要迁移的对象范围、覆盖方式。 提供任务管理页面，用户可随时掌握迁移进度，管理迁移任务。 采用HTTPS数据加密通道，保证迁移传输安全；服务会自动比对数据，保证迁移数据的准确性。 提供迁移报告，用户可直观了解迁移总数、成功数、失败数，支持失败对象一键重试。 使用方式 操作途径 使用方式 控制台 可参考：创建迁移任务。

本章节主要介绍ALM38008 Kafka数据目录状态异常的告警。 告警解释 系统每60秒周期性检测Kafka数据目录状态，当检测到某数据目录状态异常时产生该告警。 平滑次数为1，当数据目录状态恢复正常后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 目录名 产生告警的目录名称。 Trigger Condition Kafka数据目录状态异常。 对系统的影响 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 可能原因 数据目录权限被篡改。 数据目录所在磁盘故障。 处理步骤 检查故障的数据目录权限 根据告警提示的主机信息，登录到该节点上。 1. 查看告警详细信息中所提示的数据目录及其子目录，属组是否为omm:wheel。 是，记录当前节点主机名，并执行步骤4。 否，执行步骤3。 2. 恢复数据目录及其子目录的属组为omm:wheel。 检查数据目录所在磁盘是否故障 使用omm用户，在所提示的数据目录的上一级目录下，进行创建、删除文件测试，看能够正常读写磁盘。 是，执行步骤6。 否，执行步骤5。 3. 更换或者修复数据目录所在磁盘，保证其可以正常读写。 4. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，进入Kafka实例页面，重启步骤2中主机名上的Broker实例。 5. 等待Broker启动完成之后，观察界面告警是否清除。 是，处理完毕。 否，执行步骤8。

本章节为您介绍数据识别模块的相关内容。 数据识别模块包含数据标签模块。 数据标签主要包含内置标签展示，自定义标签新增、修改、删除、启停用，标签查询等功能。 新增数据标签 1.登录API风险监测实例。 2.在左侧导航栏选择“数据识别 > 数据标签”，进入数据标签页面。 3.单击“新增按钮”，即可开始数据标签新增。 4.在弹出的对话框中填写相关参数。 配置模块 配置项 说明 基础设置 标签名称 只能输入中文字符、字母、数字、下划线()、点(.)或短横()，长度不超20。 基础设置 描述 填写数据标签的描述。 基础设置 分类 可选择已有分类或自定义分类。 基础设置 分级 选择已有分级或自定义，只能使用数字进行分级。 基础设置 启用状态 选择启用或禁用。 数据特征 序号 最多添加10 项。 数据特征 识别位置 共六种，分别为：请求头、请求体、响应头、响应体、响应url、文件，可以全部选择。 数据特征 识别方式 关键词或正则匹配。 数据特征 识别规则 输入关键词或正则表达式。 二次校验 标签值 关键词或正则表达式匹配。 二次校验 标签值前20 字符 关键词或正则表达式匹配。 二次校验 标签值数量 可选择大于、小于、等于。 过滤规则 序号 过滤规则的序号。 过滤规则 规则名称 添加的过滤规则的名称。 过滤规则 匹配规则 可选过滤条件有URL、标签值、标签前文匹配，匹配类型支持正则表达式和关键词。 过滤规则 操作 删除一项规则。 过滤规则 新增一项 添加一项识别规则。 测试用例 可输入样例数据 上述规则都填写好以后，点击校验测试用例，可以校验输入的数据内容是否符合上述设置的过滤规则。 5.填写完成后，单击“确定”即可完成数据标签新增。

本文主要介绍可信数据空间的产品定义。 可信数据空间是融合数据沙箱、隐私计算、区块链、高速传输网等前沿技术打造的数据流通利用基础设施。在可信数据空间中，各参与方通过连接器接入，空间提供各类开发能力以及可信管控能力，实现对各种数据流通场景的支持。其中，数据沙箱提供了安全隔离环境和集中式的开发能力，隐私计算实现原始数据可用不可见的端到端交付，区块链实现数据全生命周期的存证溯源，高速传输网实现即时组网、弹性带宽和安全加密，保障数据在空间中安全、合规、高速、高效地流通和利用。