本文为您介绍创建数据订阅任务的操作场景、前提条件和操作步骤。 操作场景 场景一：数据实时分析 使用云监控数据订阅功能，将业务进行异步解耦，在不影响源库业务的情况下，实时同步监控数据（指标、事件）或告警数据到客户自有分析系统中，帮助企业用户进行实时数据分析。 场景二：数据归档存储 使用云监控数据订阅功能，您可将资源监控或告警数据的增量更新数据，实时地推送到归档数据库或数据仓库。 说明 数据订阅功能当前为受限开放，如有需求可以联系客户经理为您开放此功能。 资源池下单个用户最多可创建10个数据订阅任务。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 注意 数据订阅功能数据类型支持指标数据、事件数据，订阅方式支持分布式消息服务及API方式。 指标数据订阅支持分布式消息服务（kafka）及remotewriteapi方式。 事件数据订阅支持分布式消息服务（kafka）及apipush方式。（事件订阅入口为：云监控服务>事件监控>事件订阅） 创建订阅任务需提前创建订阅渠道。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击左侧“数据订阅”菜单，进入数据订阅任务列表。 5. 单击“创建订阅任务”功能，进入数据订阅任务创建二级页面。 6. 创建订阅任务参数配置如下： 模块 参数 参数说明 配置示例 备注 选择订阅对象 服务维度 选择需要订阅数据的服务维度信息，支持多选 云主机云主机 选择订阅对象 监控对象类型 具体实例 选择订阅对象 选择对象 选择资源实例对象 具体实例 定义订阅方式 订阅通道 选择公网/内网 分布式消息服务 定义订阅方式 发送渠道 Kafka Kafka 定义订阅方式 订阅失败缓存时间 输入用户客户端地址 基础信息 订阅任务名称 填写自定义订阅任务名称 testtask 基础信息 描述 填写订阅任务描述信息 说明 关于告警数据订阅全部资源的场景，涉及两个周期： 订阅服务subscription同步订阅配置的周期，预计上线配置2分钟。 数据订阅配置全部资源，也需要周期同步全量的实例资源，预计线上配置3分钟。 因此，考虑极限情况，告警订阅服务在周期1 + 周期2之后产生的告警，订阅服务才能匹配消费到。

本章节主要介绍预览数据。 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 1. 在管理控制台左侧，单击“数据管理”>“库表管理”。 2. 单击需导出数据对应数据库名称，进入该数据库“表管理”页面。 3. 单击目标表“操作”栏中的“更多”，选择“表属性”。 4. 单击“预览”页签，即可预览该表数据。 在“SQL编辑器”页面预览数据。 1. 在管理控制台左侧，单击“SQL编辑器”。 2. 在“SQL编辑器”页面的左侧导航栏中，选择“数据库”页签。 3. 鼠标左键单击对应数据库名，进入该数据库的表列表。 4. 鼠标左键单击对应表右侧的，在列表菜单中选择“表属性”，单击“预览”页签，即可预览该表数据。

本文主要介绍云日志服务中如何创建数据加工任务。 云日志服务支持您使用数据加工读取源日志单元中的数据，对数据进行加工处理后，写入到不同的目标日志单元中。您也可以对加工后的数据进行查询和分析，进一步发掘数据价值。本文介绍如何在云日志服务控制台上创建数据加工任务。 操作步骤 1. 登录云日志服务控制台。 2. 左侧点击【日志加工】菜单，进入日志加工页面。 3. 点击【创建加工任务】； 4. 输入任务名称、加工源日志单元以及加工后日志存储目标等参数，参数说明如下表。输入完成后点击下一步，进入加工语句设置页面。 5. 在加工语句设置页面，输入加工语句，点击预览数据，即可预览数据加工结果以及结果汇总。 6. 下方可点击原始日志tab，查看加工前的原始日志。默认取原始日志中的前10条日志进行加工预览，您也可点击【加入测试数据】，针对特定的日志进行加工预览。 7. 当您确认加工预览结果符合预期时，您可点击【完成】，即可创建加工任务。 参数 说明 任务名称 数据加工任务的名称。 存储目标名称 存储目标的名称。存储目标中包括日志项目、日志单元等配置。 目标日志项目 用于存储数据加工结果的目标日志项目。 目标日志单元 用于存储数据加工结果的目标日志单元。 加工范围 持续加工：数据加工任务将持续进行。指定结束时间：您可指定数据加工任务的结束时间。

本章节主要介绍数据治理中心DataArts Studio的实例退订操作。 退订DataArts Studio实例 当用户不需要使用某个DataArts Studio实例时，可以参考如下操作退订该实例。 1.登录天翼云控制中心； 2.在“数据分析”项目下，单击【数据治理中心 DataArts Studio】； 3.找到创建成功的DataArts Studio实例，核实实例信息，点击“退订”即可。 详见下图：选择退订 删除作业 当用户不需要使用某个作业时，可以参考如下操作删除该作业，以减少作业的配额占用。 普通删除 1.登录数据治理中心控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发>作业开发”。 3.在作业目录中，右键单击作业名称，选择“删除”。 4.在弹出的“删除作业”页面，单击“确定”，删除作业。 批量删除 1.登录数据治理中心控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3.在作业目录顶部，单击，选择“显示复选框”，在作业目录前出现复选框。 4.选择需要删除的作业，再次单击，选择“删除作业”。 5.在弹出的“删除作业”页面，单击“确定”，批量删除作业。

本节介绍如何使用加速数据集。 以创建离线训练应用为例，说明如何使用加速数据集。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 确保存储插件cstorcsi运行正常。 数据集加速状态为已加速或已预热。 约束与限制 当前使用加速数据集仅限default命名空间。 如数据集加速状态为已加速或已预热，训练应用默认使用加速PVC；其他状态下，训练应用默认使用非加速PVC。 操作步骤 使用加速数据集 登录云容器引擎管理控制台 在集群列表页点击进入指定集群 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用 进入离线训练应用创建页面，进行相关信息配置，详细参考 创建训练任务 配置训练数据 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 训练应用创建完成，将默认使用加速PVC。以PyTorchJob为例，可以在yaml中查看挂载信息：

本文介绍如何在科研助手中查看数据集详情。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据存储】的【数据集管理】。 3. 在【数据集管理 】页面，点击左上角的【个人数据集】选项卡。 4. 选择一个数据集，在操作栏中单击【查看 】按钮。 注意：科研助手的数据集与专业版数据集通用，在科研助手的【数据集管理】中可以显示并操作专业版的数据集。 5. 此时可查看数据集中的存储的内容。 6. 以下为数据集详情页面展示的字段和功能说明： 参数 说明 刷新 刷新当前存储文件管理展示页面。 完整路径 在文件存储服务器中的路径，支持复制。 文件名 文件名或者文件夹名。 大小 若为文件夹时，不显示；若为具体文件时，为文件大小。 修改时间 文件的最后修改时间。 操作 下载

云硬盘挂载至云主机后，需要初始化云硬盘才可以正常使用。本文帮助您了解如何初始化数据盘。 操作场景 一块新创建的数据盘在挂载至云主机后，还不能直接存储数据，您需要为这块数据盘创建分区、格式化等初始化操作后才可以正常使用。 系统盘会自动初始化，无须手动再操作。 数据盘无论是随云主机一起创建的，还是后续购买手动创建的，都需手动初始化。 注意 磁盘分区和格式化被视为高风险操作，因此在进行初始化操作时必须保持谨慎。此操作仅适用于一块全新的数据盘，而不适用于已写入数据的盘。如果您决定格式化已写入数据的盘，请务必为该盘创建一个快照，以确保数据不会丢失。 前提条件 数据盘已挂载至云主机，且未初始化。 操作方法 专属云内磁盘操作同公有云中一样，数据盘需要初始化之后才可使用。初始化方法参见初始化数据盘。

本文介绍如何为弹性云主机注入自定义数据。 操作场景 当您需要通过脚本简化弹性云主机配置、通过脚本初始化系统、在创建弹性云主机时上传已有脚本，或者完成其他需要使用脚本的功能时，可以考虑使用实例自定义数据注入功能来配置弹性云主机。 使用限制 Windows 用于创建弹性云主机的镜像必须安装了Cloudinit组件。 实例自定义数据大小限制：小于等于16KB。 如果通过文本方式上传实例自定义数据，数据只能包含ASCII码字符；如果通过文件方式上传实例自定义数据，只能上传text/格式的文件，且文件大小小于等于16KB。 必须使用公共镜像、继承于公共镜像的私有镜像，或自行安装了Cloudinit组件的私有镜像。 实例自定义脚本必须满足相应弹性云主机自定义脚本类型的格式要求。 Linux 用于创建弹性云主机的镜像必须安装了Cloudbaseinit 组件。 实例自定义数据大小限制：小于等于16KB。 如果通过文本方式上传实例自定义数据，数据只能包含ASCII 码字符；如果通过文件方式上传实例自定义数据，可以包含任意字符，同时，要求文件大小小于等于16KB。 必须是公共镜像，或继承于公共镜像的私有镜像，或自行安装了Cloudbaseinit 组件的私有镜像。 实例自定义数据使用方法 1. 根据实际需要写UserData脚本，脚本格式必须符合Cloudinit/Cloudbaseinit官网相关规范。 2. 在创建弹性云主机时，在“高级配置 > 用户数据 > 立即配置 > 以文本形式”的文本框中粘贴实例自定义数据脚本内容，或选择以文件形式上传。 说明 实例自定义数据注入支持两种方式： 文本：将实例自定义数据脚本内容粘贴到文本框中。 文件：将实例自定义数据脚本内容保存至文本地文件后再上传。 3. 系统创建弹性云主机后，弹性云主机将自动执行Cloudinit 或 Cloudbaseinit 组件，读取实例自定义数据脚本。

本文介绍Kafka业务数据不均衡最佳实践 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因： 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分配策略，但策略逻辑有问题，会导致分区间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。 Kafka提供了分区重平衡的功能，可以把分区的副本重新分配到不同的Broker节点上，解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。

新建数据标准并发布 在本示例中，您需要新建如表所示的3个数据标准： 下表为数据标准 目录 标准名称 标准编码（自定义） 数据类型 数据长度 引用码表 码表字段 描述 付款方式 付款方式 paymenttype 长整型(BIGINT) 无 付款方式 付款方式编码 无 供应商 供应商 vendor 长整型(BIGINT) 无 供应商 供应商id 无 费率 费率代码 ratecode 长整型(BIGINT) 无 费率代码 费率id 无 1. 在数据架构控制台，单击左侧导航树中的“数据标准”，进入数据标准页面。 2. 首次进入“数据标准”页面，需要定制模板，定制的模板后续可以在配置中心进行更改。本示例需要额外勾选“引用码表”，如图所示。 3. 请参考以下步骤，分别新建3个数据标准的目录：付款方式、供应商、费率。 在数据标准页面的目录树上方，单击新建目录，然后在弹出框中输入目录名称“付款方式”并选择目录，单击“确定”完成目录的新建。 4. 请参考以下步骤，分别新建3个数据标准：付款方式、供应商、费率。 a.在数据标准页面的目录树中，选中所需要的目录，然后在右侧页面中单击“新建”。 b.在新建数据标准页面中，3个数据标准可分别参考如下配置，配置完成后单击“保存”。在本示例中，数据标准模板只选取了几个参数，您可以参考用户指南中的“数据架构> 管理配置中心”的“标准模板管理”定制数据标准模板。 5. 返回数据标准页面后，在列表中勾选刚才新建的3个数据标准，然后单击“发布”发布数据标准。 6. 在“批量发布”对话框中选择审核人，再单击“确认提交”，等待审核人员审核通过后，数据标准发布成功。如果当前帐号具备审核人权限，也可以勾选“自助审批”，直接提交即可以审核通过。

本节介绍了卸载云主机的数据盘的操作场景、前提条件、操作步骤。 操作场景 如果创建私有镜像所使用的原云主机挂载了多个数据盘，可能导致由私有镜像创建的新云主机无法使用。因此在创建私有镜像前，需要卸载原云主机中挂载的所有数据盘。 本节介绍如何卸载云主机中挂载的所有数据盘。 前提条件 已登录到创建Linux私有镜像所使用的云主机。 操作步骤 1. 查询是否挂载数据盘。 执行以下命令，检查云主机挂载的磁盘块数。 fdisk l − 磁盘块数＞1，表示云主机挂载有数据盘，执行2。 − 磁盘块数1，表示云主机未挂载数据盘，执行3。 2. 执行以下命令，检查当前云主机挂载的数据分区。 mount − 回显不包含数据盘分区的信息时，无需进行卸载数据盘的操作。 /dev/vda1 on / type ext4 (rw,relatime,dataordered) − 回显包含类似如下信息，请执行3。 /dev/vda1 on / type ext4 (rw,relatime,dataordered) /dev/vdb1 on /mnt/test type ext4 (rw,relatime,dataordered) 3. 清理“fstab”文件中的配置信息。 a. 执行以下命令编辑“fstab”文件。 vi /etc/fstab b. 删除相关数据盘在“fstab”文件中的配置信息。 “/etc/fstab”文件中记录了系统启动时自动挂载的文件系统和存储设备的信息，需要删除，如下图中最后一行是数据盘在“fstab”中的配置信息。 数据盘在fstab文件中的配置信息 4. 执行如下命令，卸载已挂载的数据盘。 卸载前请确认数据盘上没有任何数据读写，否则会导致卸载失败。 umount /dev/vdb1 5. 执行以下命令，再次查看当前云主机挂载的数据分区。 mount 回显信息中不再包含数据盘分区的信息时，则表示卸载成功。

本文为您介绍如何通过多次迁移,实现对源端增量数据的迁移。 操作场景 对象存储迁移服务ZMS在执行任务时，会先进行源端数据扫描，若您的源端持续增加新数据，则每次执行迁移任务时，无法确保迁移源端实时新增的数据。本方案将介绍通过规划任务的多次迁移，逐步实现将您的源端增量数据迁移至天翼云ZOS。 源端增量数据包含以下情况： 源端存量数据的修改：后续业务对源端已有的存量数据进行修改。 对源端新写入的数据：源端数据不存在，后续业务在源端新写入的数据。 迁移方案的原理 要实现对源端增量数据的迁移，需要每次执行迁移时，对不需要重复迁移的数据进行跳过，仅迁移增量数据。 对象存储迁移服务ZMS提供“ 按最后修改时间 ”选项，支持对进行同名文件是否覆盖的判断。该配置实现以下效果： 对源端和目的端的同名文件：若源端该文件的最后修改时间（Lastmodified）比目的端新，则用源端更新的文件覆盖目的端较旧的文件，实现将源端存储数据的最新修改同步至目的端。 对源端新写入的文件：源端新写入的文件在目的端无同名文件，会直接将该新写入文件迁移至目的端，实现对源端新写入文件的迁移。 因此，配置“ 按最后修改时间 ”进行迁移，既可以将对源端新写入的数据全部进行迁移，又可以对源端和目的端都存在的同名文件按最后修改时间判断，将源端最新修改（不包含删除）过的存量数据也进行迁移。 注意 若您的源端存量数据存在删除的情况，迁移服务不会将您的源端删除操作同步至目的端，若您需要将目的端的已迁移数据也进行删除，请自行操作目的端对象存储。 该方案对增量数据的迁移无法确保时效性，不适用对增量数据的迁移有很强的时效性的情况。

本章节主要介绍数据治理中心的配置DDS连接功能。 DDS连接适用于云上的文档数据库服务，常用于从DDS同步数据到大数据平台。 连接云服务DDS时，相关参数详见下表： DDS连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 ddslink 服务器列表 服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的DDS数据库名称。 DBdds 用户名 连接DDS的用户名。 cdm 密码 连接DDS的密码。

本章节主要介绍导入数据。 支持将OBS上的数据导入到DLI中创建的表中。 注意 创建OBS表时指定的路径必须是文件夹，若建表路径是文件将导致导入数据失败。 导入数据时只能指定一个路径，路径中不能包含逗号。 当OBS的目录下有同名文件夹和文件时，数据导入指向该路径会优先指向文件而非文件夹。 若将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 不建议对同一张表并发导入数据，因为有一定概率发生并发冲突，导致导入失败。 导入文件支持CSV，Parquet，ORC，JSON和Avro格式，且文本格式仅支持UTF8。 前提条件 待导入的数据已存储到OBS上。 导入数据步骤 1. 导入数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导入数据。 a. 在管理控制台的左侧，选择“数据管理”>“库表管理”。 b. 单击需导入数据的表对应的数据库名称，进入该数据库的“表管理”页面。 c. 在目标表“操作”栏中选择“更多”中的“导入”，弹出“导入数据”页面。 在“SQL编辑器”页面导入数据。 a. 在管理控制台的左侧，单击“SQL编辑器”。 b. 在“SQL编辑器”页面左侧导航栏选择“数据库”页签，鼠标左键单击需要导入数据的表对应的数据库名，进入“表”区域。 c. 鼠标左键单击对应表右侧的，在列表菜单中选择“导入”，弹出“导入数据”页面。 2. 在“导入数据”页面，参见下表填写相关信息。 详见下表：参数说明 参数名称 描述 示例 数据库 当前表所在的数据库。 表名称 当前表名称。 队列 选择队列。 文件格式 导入数据源的文件格式。导入支持CSV，Parquet，ORC，JSON，Avro格式。 CSV 数据源路径 直接输入路径或单击选择OBS的路径，若没有合适的桶可直接跳转OBS创建。 创建OBS表时指定的路径必须是文件夹，若建表路径是文件将导致导入数据失败 。 当OBS的目录下有同名文件夹和文件时，数据导入指向该路径会优先指向文件而非文件夹 。 说明 路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。 选中“高级选项”，勾选“表头:无”前的方框，“表头:无”显示为“表头:有”，表示有表头；去勾选即为“表头:无”，表示无表头。 自定义分隔符 当“文件格式”为“CSV”，勾选自定义分隔符前的方框时，该参数有效。 支持选择如下分隔符。 逗号(,) 竖线(l) 制表符(t) 其他：输入自定义分隔符 默认值：(,) 自定义引用字符 当“文件格式”为“CSV”，勾选自定义引用字符前的方框时，该参数有效。 支持选择如下引用字符。 单引号(') 双引号(") 其他：输入自定义引用字符 默认值：单引号(') 自定义转义字符 当“文件格式”为“CSV”，并在自定义转义字符前的方框打勾时，该参数有效。 选中高级选项，支持选择如下转义字符。 反斜杠( ) 其他：输入自定义转义字符 默认值：反斜杠( ) 日期格式 当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”，该参数表示表中日期的格式，默认格式为“yyyyMMdd”。 20000101 时间戳格式 当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”，该参数表示表中时间戳的格式，默认格式为“yyyyMMdd HH:mm:ss”。 20000101 09:00:00 错误数据存储路径 当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”，该参数表示可将错误数据保存到对应的OBS路径中。 obs://DLI/ 3. 单击“确定”，系统开始导入数据。 4. 有两种方式可查看导入的数据。 说明 目前预览只显示导入的前十条数据。 在“数据管理”>“库表管理”页面，单击数据库名，在表管理界面对应表的“操作”栏选择“更多”中的“表属性”，在弹框的“预览”页签中，可查看导入的数据 在“SQL编辑器”的“数据库”页签中，单击数据库名称，进入对应的表列表，鼠标左键单击对应表右侧的 ，在列表菜单中选择“表属性”，在弹框的“预览”页签中，可查看导入的数据。 5. （可选）可以在“作业管理 > SQL作业”页面，查看该导入作业的状态以及执行结果。

本文介绍RDSPostgreSQL实例数据被损坏的可能场景。 主机损坏或异常 在数据盘损坏的场景下，实例数据库可能会被损坏以至数据丢失。 数据库主机服务器断电，可能会导致数据页损坏，可能会导致数据库发生异常。 数据遭恶意篡改 在一些安全漏洞被利用的场景下，可能数据会遭到恶意篡改。为了防止这种情况发生，建议严格权限管理，避免非授权用户操作数据库。

本章节主要介绍新建一个对账作业实例的操作。 场景说明 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。 环境准备 需要准备好对账的数据源，即通过管理中心分别创建数据连接，用于跨源数据对账。 操作步骤 1.建立跨源数据连接。 a.创建DLI数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据湖探索（DLI）”，输入数据连接名称，单击“测试”，提示连接成功，单击“确定”。 b.创建DWS数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据仓库服务（DWS）”，输入数据连接名称，设置其他参数，如下图所示，单击“测试”，提示连接成功，单击“确定”。 2.创建对账作业。 a.在DataArts Studio数据质量模块，单击左侧导航菜单“对账作业”。 b.单击“新建”，配置对账作业的基本信息，如下图所示。 c.单击“下一步”，进入规则配置页面。您需要点击规则卡片中的，然后配置对账规则，如下图所示。 说明 要分别配置源端和目的端的信息。 配置告警条件，其中点击左侧的表行数 （${11}）表示左侧源端选中表的行数，点击右侧表行数 （${21}）表示目的端表行数。此处配置告警条件为 ${11}!${21}，表示当左侧表行数与右侧表行数不一致时，触发报警并显示报警状态。 d.单击“下一步”，配置订阅信息，如下图所示。 说明 勾选触发告警表示作业报警时发送通知到对应的smn主题，勾选运行成功表示不报警时发送通知到SMN主题。 e.单击“下一步”，配置调度方式，如下图所示。 说明 单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置。 3.查看对账作业 a.单击对应的对账作业操作列中的运行链接，运行对账作业后，自动跳转到运维管理页面。 b.单击结果&日志查看运行结果和运行日志，等待作业运行结束后，如下图所示。

本章节主要介绍逆向数据库维度建模操作。 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的关系模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见任务管理。 逆向数据库导入表到维度模型中 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2. 在DataArts Studio数据架构控制台，单击左侧导航栏的“维度建模”进入维度建模页面。 3. 打开需要逆向数据库导入的维度或表的页签，然后单击列表上方的“逆向数据库”。 4. 在“逆向数据库”对话框中配置参数。 参数名称 说明 所属主题 单击“选择主题”按钮选择所属的主题信息。 数据连接类型 选择维度建模的逆向数据库。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见创建数据连接。 数据库 选择数据库。 队列 仅限DLI连接类型，需选择DLI队列。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 更新已有表 在导入时，只有创建或更新操作，不会删除已有的表。 不更新 ：如果表已存在，将直接跳过，不更新。 更新 ：如果表已存在，更新已有的表信息。如果表处于“已发布”状态，表更新后，您需要重新发布表，才能使更新后的表生效。 数据表 选择“全部”时，将数据库中的所有的表都导入。 选择“部分”时，请选择需要导入的表。 5. 单击“确定”开始执行逆向数据库操作。等待操作执行完成，即可在“上次逆向”中查看结果或者执行重新逆向操作。

本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后，您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成，请参见上篇数据密级。 新建分类规则 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据分类”，在“分类规则”页签中，单击“新建”。 系统弹出“新建分类”对话框，填写相关配置，完成创建分类规则。支持按模板创建（内置）规则和自定义规则两种方式。 详见下图：配置分类规则 配置分类规则参数说明 配置 说明 分类类型 即规则所属分类，支持内置（按模板添加）和自定义添加。 密级 对配置的数据进行等级划分。如果现有的分级不满足需求，请进入数据密级管理页面进行设置，详情请参见上篇数据密级。 分类模板 分类类型选择“内置”，呈现此参数。如果选择“内置”，用户可以根据实际需要选择系统内置的敏感数据识别定义模板，例如：时间、手机号、车牌号。 分类名称 分类类型选择“内置”，分类名称自动关联分类模板生成。 分类类型选择“自定义”，用户可以自行填写分类名称。 说明 定义数据分类规则，名称必须唯一。 识别规则 分类类型选择“自定义”，呈现此参数，支持正则表达式。 正则表达式 内容识别：提供的数据识别方式之一，自定义正则表达式。 列名识别：提供字段名精确匹配和模糊匹配方式，支持多个字段匹配。 描述 对当前规则进行简单描述。

本章主要介绍翼MapReduce的恢复DBService数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对DBService进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对DBService进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie的元数据。恢复DBService的数据将恢复全部相关组件的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，依赖DBService的组件可能配置过期，需要重启配置过期的服务。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常，不能执行恢复操作。

本章节主要介绍高质量数据集平台如何管理标注数据集。 标注数据集是由标注模块产生的数据集。 【查看】支持查看标注数据集详情； 【授权】支持将数据集授权给个人或团队； 【更新元数据】点击后会将该数据集元数据信息进行更新。

本文介绍如何使用数据缓存创建实例。 创建数据缓存后，您可以使用数据缓存创建ECI实例，将缓存好的数据直接挂载到ECI实例中，免去拉取数据的等待时间，加速业务启动。 前提条件 确保数据缓存已经处于可用状态。 配置说明 1. 创建容器组过程中，输入数据缓存的bucket名称，点击添加，选择缓存目录和目标容器。 2. 创建容器组完成，等待一段时间变成Running状态后，点击远程连接，进入容器查看刚刚使用的数据缓存。 3. 可以在容器testdir目录查看之前拉取的数据。

本章节主要介绍ALM25004 LdapServer数据同步异常的告警。 告警解释 系统按30秒周期性检测LdapServer数据，如果连续12次检测，Manager的主备LdapServer的数据内容都不一致，产生该告警，当两者的数据一致时，对应告警恢复。 系统按30秒周期性检测LdapServer数据，如果连续12次检测，集群中的LdapServer的数据与Manager的LdapServer数据都不一致，产生该告警，当两者的数据一致时，对应告警恢复。 告警属性 告警ID 告警级别 是否自动清除 25004 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机节点信息。 对系统的影响 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 可能原因 LdapServer进程所在的节点网络故障。 LdapServer进程异常。 OS重启导致的LdapServer数据损坏。 处理步骤 检查LdapServer所在的节点网络是否故障 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。记录该告警定位信息中的“主机名”的IP地址为IP1（若出现多个告警，则分别记录其中的IP地址为IP1、IP2、IP3等）。 2.联系运维人员，登录IP1节点，在这个节点上使用ping命令检查该节点与主OMS节点的管理平面IP是否可达。 是，执行步骤4。 否，执行步骤3。 3.联系网络管理员恢复网络，然后查看“LdapServer数据同步异常”告警是否恢复。 是，处理完毕。 否，执行步骤4。

本页为数据传输服务DTS的安全白皮书。 天翼云DTS是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库间的数据传输，致力于解决远距离、毫秒级异步数据传输难题。 DTS秉承天翼云对用户的安全承诺，通过完善的账号权限体系、网络隔离与防护、数据加密传输、断点续传、数据校验，保障用户在进行数据迁移、同步过程中的安全性、可用性和数据一致性。 完善的账号权限体系 DTS在天翼云完善的账号权限体系的基础上，为用户提供严格的租户隔离，以及对各种资源进行了精细的权限控制，保障了用户的账号、数据和进行各项操作的安全性。 网络隔离与防护 DTS借助天翼云的Web应用防火墙和主机安全，以及基于HTTPS加密传输，实现了可靠的网络防护和Web访问的安全性。DTS实例通过VPC实现不同用户资源的网络隔离，以及通过网络ACL和安全组实现了资源粒度，如ECS、数据库实例的严格、精细的出入流量控制，保障了资源访问的安全性。 数据加密传输 DTS对于数据传输的源端和目标端之间的连接，提供了可选的SSL加密传输的连接方式，保障了数据迁移、同步过程中数据传输的安全性。 断点续传 DTS实现了断点续传功能，保障了数据迁移、同步的稳定性和高效性。

本页为您介绍数据传输服务DTS如何保护用户的数据。 数据传输服务DTS通过多种数据保护手段和特性，保障传输中数据的安全性和完整性。 断点续传 当用户暂停任务，或源库发生异常不可连接时，DTS数据传输服务会记录最后迁移的位点，待用户重新启动任务、源库恢复正常时，继续从当前位点开始迁移，保障用户迁移数据的完整性。 回收任务完成资源 在用户的迁移、同步任务完成后，DTS数据传输服务将会销毁迁移、同步的工作节点，不保留任何用户数据，充分保障用户的数据安全。 安全的云服务 DTS数据传输服务构建在高效、可靠、安全的弹性云主机和云存储上，结合其能力，保证迁移、同步任务稳定运行。

本页介绍数据传输服务DTS的标签管理功能及操作指引。 功能介绍 DTS的标签管理功能，用于对用户所拥有的数据同步实例进行分类管理，用户可对数据同步实例绑定不同的标签，用于分类和快捷查询。 操作指引 数据同步实例标签管理功能的操作步骤和方法与数据迁移类似，具体请参照数据传输服务DTS 用户指南 数据迁移 标签管理的操作。

本节为Oracle RAC搭建最佳实践的Oracle数据库初始化进行说明。 静默安装 与grid和database安装相同，预先准备response文件，然后以静默安装的方式进行Oracle数据库的配置。 response文件位于：/u01/app/oraclehome/assistants/dbca/dbca.rsp 。 切换到oracle用户，并切换到 /u01/app/oraclehome ，执行dbca命令： [oracle@racnode01 oraclehome]$ dbca silent createDatabase responseFile assistants/dbca/dbca.rsp 以上安装命令可能会失败，需要检查执行日志文件，处理失败项，然后跳过非关键问题后继续执行： [oracle@racnode01 oraclehome]$ dbca silent ignorePrereqFailure createDatabase responseFile assistants/dbca/dbca.rsp 检查状态 检查配置的ora.racdb.db是否正常 ONLINE 。 [root@racnode01 ~] crsctl stat res t ... ora.racdb.db 1 ONLINE ONLINE racnode01 Open,HOME/u01/app/o raclehome,STABLE 2 ONLINE ONLINE racnode02 Open,HOME/u01/app/o raclehome,STABLE 安装完成之后，可以通过Oracle相关测试工具（如 swingbench ），进行功能、性能、稳定性测试。

前提条件 已完成脚本开发任务。 提交版本并解锁 “提交”会将当前开发态的最新脚本保存并提交为版本，并覆盖之前的脚本版本。为了便于后续其他开发者对此脚本进行修改，建议您在“提交”后通过“解锁”解除该脚本锁定。 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3.在脚本目录中，双击已开发完成的脚本名称，进入脚本开发页面。 4.在脚本编辑器上方单击“提交”，提交版本描述内容长度最多为128个字符，并勾选是否在下个调度周期使用新版本，不勾选则无法点击确认。 详见下图：提交 5.“提交”后在脚本编辑器上方单击“解锁”，解除锁定，便于后续其他开发者对此脚本进行修改更新。 详见下图：解锁 版本回滚 提交版本后，可以在版本列表中看到已经提交过的版本信息（当前最多保存最近10条版本信息）。点击“回滚”，可以回退到任意一个已提交的版本。 回滚内容包括： DLI：数据连接、数据库、资源队列、脚本内容。 DWS：数据连接、数据库、脚本内容。 HIVE：数据连接、数据库、资源队列、脚本内容。 SPARK：数据连接、数据库、脚本内容。 SHELL：主机连接、参数、交互式参数、脚本内容。 RDS：数据连接、数据库、脚本内容。 PRESTO：数据连接、模式、脚本内容。 PYTHON：主机连接、参数、交互式参数、脚本内容。 FLINK：脚本内容。 操作如下： 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录中，双击脚本名称，进入脚本开发页面。 4. 在页面右侧单击“版本”，查看版本提交记录，找到需要回滚的版本单击“回滚”即可。 如果当前有开发态的编辑内容没有提交，将会被覆盖。回滚之后需要重新提交才能生效，调度默认使用最新提交的版本进行调度。 详见下图：版本回滚

数据订阅功能支持您订阅指标或者告警数据,配置订阅任务后可以将数据转发到您配置的Topic或URL地址。 操作场景 对于实时指标/告警数据，您如需要进行二次消费使用，可以通过数据订阅功能配置订阅任务，实现数据的实时订阅消费， 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 数据订阅功能当前为受限开放阶段，仅支持部分资源池，如有需要可以联系客户经理提单开通。 创建数据订阅任务前提需先创建订阅渠道。 管理数据订阅任务 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控服务”，进入监控概览页面。 4. 选择“数据订阅”菜单，即可进入数据订阅任务列表页面。

实时实例指标查看 实时实例运行起来之后，可以查看flink相关的运行指标，在列表页，点击【更多】按钮，点击【查看指标】即可跳转至指标页面。 注意：只有处于【运行中】状态的实时实例才可查看指标。查看指标中可以查看任务运行情况、业务延迟情况、资源情况、I/O情况、checkpiont情况与返压情况等。 补数实例 对周期任务发起补数据操作后，将根据周期类型和业务日期产生不同的补数据实例。您可以根据业务需求对补数据实例进行运维管理，包括查看运行日志、重跑等操作。 注意：补数操作需要任务处于生效状态才能使用。 应用场景 新开发的周期任务，只能从第二天开始调度。如果您需要马上查看历史分区数据，可以执行补数据操作。 上游依赖的任务重跑或补数据导致历史分区数据刷新。您可以通过补数据功能，回刷下游任务的历史分区数据。 业务的历史数据存在遗漏，需补充历史数据，相当于将写入数据至历史的对应时间分区。 业务历史数据有遗漏需要补充历史数据的示例说明： 步骤一：进入周期任务列表页，点击补数操作 进入运维中心页面。 按照以下操作指引，进入周期任务列表页。 依次单击数据运维>任务运维>周期任务>操作栏更多>补数据 步骤二：填写补数日期 选中某生效任务，在其操作栏点击更多按钮再操作补数据功能，弹出弹窗。 需要选中补数的业务日期，其中开始时间到结束时间都只能是历史时间，没法选中未来的时间节点，如当天为10号，我需要补9号的数据，则在任务生效的情况下，开始时间和结束时间都选择9号，即可生成9号的数实例。 补数任务一次性只能提交50个业务日期。 步骤三：运行补数实例 补数据实例生成后将自动触发运行。

本文介绍重装/切换操作系统/变更规格对磁盘数据有影响吗 对系统盘数据的影响 重装系统（linux）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，请做好数据备份； 重装系统（windows）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，软件安装后的注册表信息，请做好数据备份。 变更规格对系统盘没有影响。 对数据盘的影响 重装系统（windows），相关软件需要试用可能造成程序不可用，需要重新安装，但是之前程序在数据盘的数据会保留。 变更规格对数据盘没有影响。

本文为您说明初始化数据盘场景及磁盘分区形式介绍。 操作场景 针对挂载至物理机的云盘数据盘或者物理机的本地数据盘，需要登录服务器初始化磁盘，即格式化磁盘，之后磁盘才可以正常使用。 系统盘 系统盘不需要初始化，创建物理机时会自带系统盘并且自动初始化，默认磁盘分区形式为主启动记录分区（MBR，Master boot record）。 数据盘 创建物理机时直接创建云盘数据盘，云盘数据盘会自动挂载至服务器。 单独创建云盘数据盘，然后将该云盘数据盘挂载至物理机。 物理机的本地数据盘。 以上三种情况创建的数据盘挂载至物理机后，均需要初始化后才可以使用，请您根据业务的实际规划选择合适的分区方式。

本页介绍如何通过数据管理服务DMS登录关系数据库SQL Server版实例。 操作场景 创建关系数据库SQL Server版实例后，可以通过登录数据管理服务DMS对数据库实例进行数据管理、用户授权、SQL审计、数据可视化等管理操作。 前置条件 创建数据库和账号。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择【产品 > 数据库 > 关系型数据库 > 关系数据库SQL Server版】，进入关系数据库SQL Server产品页面。然后单击【管理控制台】，进入TeleDB数据库【概览】页面。 2. 在左侧导航栏，选择【SQL Server > 实例管理】，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 您有三种方式可以进入数据管理服务DMS。 1. 在实例列表上方，单击【进入数据管理服务】，即可进入到DMS的首页，根据提示信息填写相关信息，即可登入DMS。 2. 在实例列表中，单击目标实例名称，进入实例【基本信息】页面，单击右上角的【登录数据库】，即可进入该实例的DMS登录页面。 3. 在实例列表中，找到目标实例，在【操作】列选择【更多 > 登录数据库】，即可进入该实例的DMS登录页面。 4. 登入DMS后，即可对相应实例的数据库实例进行管理。