{Job.getNodeOutput('preDLI')} ，其中preDLI为前一个节点的名称。 − 作业运行参数：用于将数据集中的数据传递到子作业以供使用。Source对应的是数据集TableList表的第一列，Destination是第二列，所以配置的EL表达式分别为 {Loop.current[0]} 、 {Loop.current[1]} 。 详见下图：配置For Each算子 配置完成后保存作业。 5. 测试运行主作业。 点击主作业画布上方的“测试运行”按钮，测试作业运行情况。主作业运行后，会通过For Each节点自动调用运行子作业。 点击左侧导航栏中的“实例监控”，进入实例监控中查看作业运行情况。等待作业运行成功后，就能查看For Each节点生成的子作业实例，由于数据集中有6行数据，所以这里就对应产生了6个子作业实例。 详见下图：查看作业实例 查看对应的6个DLI目的表中是否已被插入预期的数据。您可以在DataArts Studio数据开发模块中，新建DLI SQL脚本执行以下SQL命令导入数据，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： / 查看表a数据，其他表数据请修改命令后运行 / SELECT FROM a; 将查询到的表数据与给源数据表插入数据步骤中的数据进行对比，可以发现数据插入符合预期。 详见下图：目的表数据

本文为您说明初始化数据盘场景及磁盘分区形式介绍。 操作场景 针对挂载至物理机的云盘数据盘或者物理机的本地数据盘，需要登录服务器初始化磁盘，即格式化磁盘，之后磁盘才可以正常使用。 系统盘 系统盘不需要初始化，创建物理机时会自带系统盘并且自动初始化，默认磁盘分区形式为主启动记录分区（MBR，Master boot record）。 数据盘 创建物理机时直接创建云盘数据盘，云盘数据盘会自动挂载至服务器。 单独创建云盘数据盘，然后将该云盘数据盘挂载至物理机。 物理机的本地数据盘。 以上三种情况创建的数据盘挂载至物理机后，均需要初始化后才可以使用，请您根据业务的实际规划选择合适的分区方式。

本实践将为您介绍如何安装LVM。 操作场景 默认情况下，弹性云主机系统中并没有安装LVM，因此需要您手工安装。本章节将帮助您查询您的弹性云主机是否安装了LVM以及如何去安装LVM。 本文以云主机的操作系统为“CentOS 7.5 64位”为例，不同云主机的操作系统的格式化操作可能不同，本文仅供参考。 操作步骤 以下操作步骤中云主机的操作系统为“CentOS 7.6 64bit”，回显仅供参考。 1. 登录控制中心。 2. 单击控制中心左上角的，选择地域，此处我们选择华东1。 3. 单击“计算>弹性云主机”，进入弹性云主机页面。 4. 单击待操作的弹性云主机所在行的“操作>远程登录”。 5. 以root用户身份登入云主机，登录之后如图： 6. 安装LVM管理工具的第一步首先是确认当前主机中是否已经安装过LVM管理工具，您可以执行命令：rpm qa grep lvm2，回显如图： 这样的回显表示当前主机中并未安装LVM管理工具。默认情况下，弹性云主机的LVM管理工具都是未安装状态。 7. 在未安装状态下执行命令 yum install lvm2，使用yum安装LVM管理工具，并根据提示信息完成安装。回显如下： 当出现“Complete!”时就说明已经安装成功。 8. 接下来可以再次执行命令 rpm qa grep lvm2来查验此云主机中是否已经安装成功LVM管理工具，具体回显信息如下，说明已经成功安装。

本文为您介绍如何通过密钥管理提供的信封加密技术，实现本地大规模数据的加解密。 信封加密（Envelope Encryption）是一种应对海量数据的高性能加解密方案。这种技术不再使用用户主密钥（CMK）直接加密和解密数据，而是通过生成加密数据的数据密钥（DEK），将其封入信封中（即通过CMK加密）存储、传递和使用，由KMS确保数据密钥的随机性和安全性。 实际使用时，用户无需将大量业务数据上传至KMS服务端，直接通过离线的数据密钥在本地实现加解密，有效避免安全隐患，保证了业务加密性能的要求。 场景示意图 加解密流程 信封加密过程 1. 通过KMS控制台或者调用CreateKey接口，创建一个用户主密钥（CMK）。 2. 调用GenerateDataKey接口创建一个数据密钥。KMS会返回一个明文的数据密钥和一个经用户主密钥（CMK）加密的密文数据密钥。 3. 使用明文的数据密钥加密本地文件，产生密文文件，然后销毁内存中的明文数据密钥。 4. 用户将密文数据密钥和密文文件一同存储到持久化存储设备或服务中。 信封解密过程 1. 从本地文件中读取密文数据密钥。 2. 调用KMS服务的Decrypt接口，将密文数据解密为明文数据密钥。 3. 用明文数据密钥为本地密文文件解密，再销毁内存中的明文密钥。 相关API 您可以调用以下KMS API，实现对本地数据的加密或解密操作。 API名称 说明 createKey 创建用户主密钥（CMK）。 generateDataKey 生成信封加密的数据密钥，返回数据密钥的明文和经过指定用户主密钥加密的密文。 decrypt 解密由generateDataKey接口生成的数据密钥密文，不需要指定CMK。

本章主要介绍翼MapReduce的恢复OMS数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对FusionInsight Manager系统进行重大数据调整等操作后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，需要对Manager进行恢复数据操作。 管理员可以通过FusionInsight Manager创建恢复Manager任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Manager数据。 对系统的影响 恢复过程中需要重启Controller，重启时FusionInsight Manager无法登录和操作。 恢复过程中需要重启所有集群，集群重启时无法访问。 Manager数据恢复后，会丢失从备份时刻到恢复时刻之间的数据，例如系统设置、用户信息、告警信息或审计信息。可能导致无法查询到数据，或者某个用户无法访问集群。 Manager数据恢复后，系统将强制各集群的LdapServer从OLadp同步一次数据。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查OMS资源状态是否正常，检查各集群的LdapServer实例状态是否正常。如果不正常，不能执行恢复操作。 检查集群主机和服务的状态是否正常。如果不正常，不能执行恢复操作。 检查恢复数据时集群主机拓扑结构与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 检查恢复数据时集群中已添加的服务与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 停止依赖集群运行的上层业务应用。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 ETL配置 是 单击配置需要转换的源端数据和目的端数据。当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时，支持的目的端数据类型为DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时，支持的目的端数据类型为MySQL。 当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。 须知 DLI到DWS端的数据转换： 因为数据开发模块调用DWS的集群时，需要走网络代理。所以导入数据到DWS时，需要提前先在数据开发模块中创建DWS的数据连接。 DLI导入数据到DWS时，DWS的表需要先创建好。 DLI到CSS端的数据转换： DLI导入数据到CSS集群时，需要在DLI侧提前创建好关联对应CSS集群的跨源连接，请参见《 SQL模板 否 单击“配置”按钮获取SQL模板。

本章主要介绍翼MapReduce的恢复NameNode数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对NameNode进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对NameNode进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复NameNode任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的NameNode数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 恢复数据后需要重启NameNode，重启完成前NameNode不可访问。 恢复数据后可能导致元数据与业务数据无法匹配，HDFS进入安全模式且HDFS服务启动失败。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 登录FusionInsight Manager，请参见登录管理系统。 在FusionInsight Manager停止所有待恢复数据的NameNode角色实例，其他的HDFS角色实例必须保持正常运行，恢复数据后重启NameNode。NameNode角色实例重启前无法访问。 检查NameNode备份文件保存路径是否保存在主管理节点“ 数据存放路径 /LocalBackup/”。

本节介绍如何使用数据集。 在离线训练创建过程，可以使用已有数据集，包括公共数据集和私有数据集。 操作步骤 创建AI训练应用 进入AI应用列表，点击创建AI应用按钮。 使用公共数据集 1. 点击训练数据选择数据集，在弹出页面选择公共数据集，找到需要挂载的公共数据集。 2. 选中数据集及版本后，写入挂载路径即可。 3. 若需要挂载多个数据集，可使用同样方式进行多次挂载。 使用私有数据集 私有数据集在选择数据集时，需点击私有数据集进行选择，其余操作和公共数据集一致。

本节介绍如何使用数据集。 在离线训练创建过程，可以使用已有数据集，包括公共数据集和私有数据集。 操作步骤 创建AI训练应用 进入AI应用列表，点击创建AI应用按钮。 使用公共数据集 1. 点击训练数据选择数据集，在弹出页面选择公共数据集，找到需要挂载的公共数据集。 2. 选中数据集及版本后，写入挂载路径即可。 3. 若需要挂载多个数据集，可使用同样方式进行多次挂载。 使用私有数据集 私有数据集在选择数据集时，需点击私有数据集进行选择，其余操作和公共数据集一致。

本章节主要介绍节点数据血缘的查看数据血缘。 当数据开发模块中的作业已完成血缘关系配置后，启动作业调度，并在数据目录模块进行元数据采集任务，则可以在数据目录模块可视化查看数据血缘关系。 前提条件 已完成血缘关系的自动配置或手动配置，请参见配置数据血缘。 启动作业调度 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发控制台，单击左侧导航栏中的作业开发按钮，进入作业开发页面后，打开已完成血缘配置的作业。 3.在数据开发中，当作业进行“执行调度”时，系统开始解析血缘关系。 说明 测试运行不会解析血缘。 详见下图：作业调度 新建元数据采集任务 如果已创建元数据采集任务，此操作可跳过。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2.请参见任务管理，新建元数据采集任务。

创建OBS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 详见下图：选择连接器类型 2.连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从OBS导出数据到云搜索服务的任务。 详见下图：创建OBS到云搜索服务的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建OBS连接中的“obslink”。 −桶名：待迁移数据的桶。 −源目录或文件：待迁移数据的路径，也可以迁移桶下的所有目录、文件。 −文件格式：迁移文件到数据表时，文件格式选择“CSV格式”。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置OBS源端参数。 目的端作业配置 −目的连接名称：选择创建云搜索服务连接中的“csslink”。 −索引：待写入数据的Elasticsearch索引，也可以输入一个新的索引，CDM会自动在云上搜索服务中创建。 −类型：待写入数据的Elasticsearch类型，可输入新的类型，CDM支持在目的端自动创建类型。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置云搜索服务目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“云搜索服务的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本文介绍运营后台数据概览页面内容。 概览 用户可在数据概览页面查看本租户的应用使用数据，包括累计数据与趋势图。 操作步骤 1. 在产品页左侧导航栏中，选择【设置】的【运营管理】，进入运营后台 2. 在运营后台左侧导航栏中，选择【系统管理】的【数据概览】 3. 在【数据概览】页面，展示了本租户应用的使用数据，包括 1. 累计数据：总活跃用户数、总活跃次数、用户平均交互次数、总新增用户数、累计使用用户数 2. 趋势及占比数据：活跃用户数趋势图、活跃次数趋势图、用户平均活跃次数趋势图、新增用户数趋势图、累计用户数趋势图、各应用交互占比、3 日留存率趋势图、7 日留存率趋势图 4. 用户可选择指定时间范围内的数据进行查询。

本章节介绍数据迁移的计费说明。 目前在线迁移服务暂不收取服务费用，但因迁移数据时会产生数据的上传下载以及API请求，所以会产生对应的下行流量费用以及API请求次数费用。 下行流量说明 数据迁移时，服务会将数据先从源端下载，再将数据上传至媒体存储，这个过程会产生源端的下行流量费用，流量由已迁移数据的实际大小决定，数据上传至媒体存储不收取费用。 1.如果源端为第三方云厂商，数据迁移时产生的下行流量费用由第三方云厂商收取。 2.如果源端为媒体存储，数据迁移时产生的下行流量费用由天翼云收取。 API请求次数说明 以下说明基于单个文件的请求次数 场景 源端 目的端 对于源地址中与目的地址不同名的文件 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次get请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次put请求 3. 迁移完成后校验数据需要一次head请求 对于源地址和目的地址的同名文件，并且文件需要迁移至目的端 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次get请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一put请求 3. 迁移完成后校验数据需要一次head请求 对于源端和目的端的同名文件，并且文件不需要迁移至目的端 迁移前对比数据，确认对象是否存在和对比需要一次head请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移完成后校验数据需要一次head请求 注意： 如果迁移文件大于或等于100MB，则迁移数据时会将文件进行分片后再上传，单个分片大小为50MB，此时迁移数据的请求数根据迁移数据大小决定。如果进行了分片处理，在分片之前会有一个post请求，分片上传完毕之后合并分片会有一个post请求。 例如：大小为150M的文件会被分成三片，迁移时源端请求数与之前一致，数据迁移过程中目的端会产生三次put请求和两次post请求，因此目的端整个流程一共有两次head请求，两次post请求和三次put请求。 采用传入文件或者文件列表形式的方式进行迁移，每个object会多产生一次head请求（为了验证传入的文件是否存在）。

本文介绍RDSPostgreSQL实例数据被损坏的可能场景。 主机损坏或异常 在数据盘损坏的场景下，实例数据库可能会被损坏以至数据丢失。 数据库主机服务器断电，可能会导致数据页损坏，可能会导致数据库发生异常。 数据遭恶意篡改 在一些安全漏洞被利用的场景下，可能数据会遭到恶意篡改。为了防止这种情况发生，建议严格权限管理，避免非授权用户操作数据库。

本实践介绍了通过生命周期策略实现数据自动管理的操作场景、前提条件与操作步骤。 操作场景 对于以下场景中的对象数据，通过生命周期管理可自动将某些无需访问的文件删除，也可将一些不再频繁访问的文件转换为低频访问存储或归档存储，进而降低费用，优化存储资源利用。 数据的定期删除：存储桶开启多版本控制后，数据被覆盖和删除操作后会以历史版本的形式保存下来，桶中累积了大量的历史版本数据，需要定期自动删除过期或无用的数据。 数据转换：需要根据数据的访问频次及重要性，自动将数据自动从高频访问存储转换到低频访问存储或归档存储的场景，以降低成本。 合规性要求：需要根据法规或合规要求进行数据保留期限管理和删除操作的场景，以释放存储资源并保护数据安全。 方案优势 节省存储成本：生命周期策略可以根据数据的使用模式和重要性，自动将不再需要的数据转移到更经济的存储类型或实施数据删除。对于长期存储的低频访问数据，可以将其迁移至成本更低的归档存储类型，从而显著降低存储成本。 简化数据管理：通过生命周期策略，您无需手动干预来管理数据的存储过程。一旦设置了适当的策略，系统将自动执行转换和删除等操作。这节省了管理员的时间和精力，并且减少了人为错误的风险。 保证数据合规性：生命周期策略可以确保数据按照法律、合规和行业要求进行管理。您可以设置策略来满足特定的数据保留周期要求，并自动执行数据删除以遵守隐私和安全规定。

本章主要介绍数据密级管理，包括密级的创建、删除和调整优先级。 只有在创建密级之后，您才可以创建数据分类，进而创建脱敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据密级”，用户可以在该页面新建、管理和删除分级，也可以调整分级的优先级。 创建分级：单击“数据密级”页签左上角的“新建”，输入名称和描述。 删除：在“数据密级”页签，勾选不需要的分级，单击左上角的“删除”。 调整优先级：在“数据密级”页签，单击相应分级后的上移（提高优先级）和下移（降低优先级）。

本实践将为您介绍如何通过LVM创建逻辑卷。 操作场景 当LVM管理工具安装成功之后，用户可以通过LVM来创建逻辑卷。通过LVM架构图，可以了解到在这一层需要完成三个步骤： 创建物理卷（Physical Volumes）：将云硬盘分区或整个云硬盘设备初始化为物理卷。 创建卷组（Volume Group）：将一个或多个物理卷添加到卷组中。 创建逻辑卷（Logical Volumes）：从卷组中划分逻辑卷。 本指导假设您前期已经在操作系统为“CentOS 7.6 64bit”的弹性云主机上挂载了两个大小为10GB的数据盘。 操作步骤 1. 以root用户登录云主机，登录成功之后如图： 2. 执行命令 fdisk l grep /dev/vd grep v vda，查看云主机中的云硬盘并记录设备名称。回显如下图所示： 如图所示，当前云主机中已经挂载两个数据盘，分别为/dev/vdb和/dev/vdc，容量为10GB。 3. 查看之后，请执行 pvcreate命令进行物理卷创建的工作，pvcreate的参数是设备名称。此处执行命令 pvcreate /dev/vdb /dev/vdc，回显信息如图所示： 如图所示，物理卷/dev/vdb与物理卷/dev/vdc已经创建成功。 4. 执行 pvdisplay命令来验证物理卷/dev/vdb与物理卷/dev/vdc的创建信息，具体回显如图所示： 5. 物理卷创建成功，接下来创建卷组，卷组通常使用 vgcreate命令创建，请执行 vgcreate vgdata /dev/vdb /dev/vdc。其中vgdata为创建的卷组名，/dev/vdb 、/dev/vdc为物理设备名，具体回显信息如下图： 如图，卷组“vgdata”已创建成功。 6. 执行 vgdisplay命令验证卷组“vgdata”的具体信息，具体回显如图所示： 7. 最后创建逻辑卷，执行命令为：lvcreate L 15GB n lvdata vgdata，此命令的格式为：lvcreate L 逻辑卷大小 n 逻辑卷名称 卷组名称，具体回显信息如下图所示： 说明 具体参数说明如下： 1. 逻辑卷大小：该值应小于所创建卷组剩余可用空间，容量单位可以选择“MB”或“GB”，在此例中创建15GB的逻辑卷大小。 2. 逻辑卷名称：可自定义，此处以lvdata为例。 3. 卷组名称：已经创建的卷组的名称。 8. 执行 lvdisplay命令来验证逻辑卷的创建信息，验证是否创建成功，具体回显信息如下图所示： 至此，逻辑卷创建成功。

本文主要介绍云日志服务中如何创建数据加工任务。 云日志服务支持您使用数据加工读取源日志单元中的数据，对数据进行加工处理后，写入到不同的目标日志单元中。您也可以对加工后的数据进行查询和分析，进一步发掘数据价值。本文介绍如何在云日志服务控制台上创建数据加工任务。 操作步骤 1. 登录云日志服务控制台。 2. 左侧点击【日志加工】菜单，进入日志加工页面。 3. 点击【创建加工任务】； 4. 输入任务名称、加工源日志单元以及加工后日志存储目标等参数，参数说明如下表。输入完成后点击下一步，进入加工语句设置页面。 5. 在加工语句设置页面，输入加工语句，点击预览数据，即可预览数据加工结果以及结果汇总。 6. 下方可点击原始日志tab，查看加工前的原始日志。默认取原始日志中的前10条日志进行加工预览，您也可点击【加入测试数据】，针对特定的日志进行加工预览。 7. 当您确认加工预览结果符合预期时，您可点击【完成】，即可创建加工任务。 参数 说明 任务名称 数据加工任务的名称。 存储目标名称 存储目标的名称。存储目标中包括日志项目、日志单元等配置。 目标日志项目 用于存储数据加工结果的目标日志项目。 目标日志单元 用于存储数据加工结果的目标日志单元。 加工范围 持续加工：数据加工任务将持续进行。指定结束时间：您可指定数据加工任务的结束时间。

本章节主要介绍云搜索服务如何操作冷热数据存储。 云搜索服务提供了冷数据节点供企业选择，企业可以将部分现查要求秒级返回的数据放在高性能机器上面，对于历史数据要求分钟级别返回的数据放在大容量低规格节点。 说明 创建集群时，数据节点为必选，只有当选择了冷数据节点后，数据节点才会变成热节点。 选择冷数据节点的同时，支持独立选择Master和Client节点。 冷数据节点支持节点和磁盘扩容，前提是冷节点规格支持（本地盘不支持磁盘扩容）。 冷热数据切换 选择冷数据节点后，冷数据节点将会打上“cold”标签，用来表示冷节点。同时，数据节点将会上升为热节点，会被打上“hot”标签。用户可以通过配置指定索引，将数据分配到冷热节点。 通过设置template，可以通过模板将相应的index存储到指定冷热节点。 如下，登录集群的Kibana Console页面，配置myindex开头的索引，储存在冷节点上面。 这样可以通过模板在创建的时候把myindex的数据存储在冷数据节点上面。 PUT template/test { "order": 1, "template": "myindex", "settings": { "index": { "refreshinterval": "30s", "numberofshards": "3", "numberofreplicas": "1", "routing.allocation.require.boxtype": "cold" } } } 同时也可以单独对已经创建好的索引进行操作。 PUT myindex/settings { "index.routing.allocation.require.boxtype": "cold" } 也可以去掉冷热数据配置，不受冷热数据标签影响。 PUT myindex/settings { "index.routing.allocation.require.boxtype": null }

本章节主要介绍数据治理中心DataArts Studio的实例退订操作。 退订DataArts Studio实例 当用户不需要使用某个DataArts Studio实例时，可以参考如下操作退订该实例。 1.登录天翼云控制中心； 2.在“数据分析”项目下，单击【数据治理中心 DataArts Studio】； 3.找到创建成功的DataArts Studio实例，核实实例信息，点击“退订”即可。 详见下图：选择退订 删除作业 当用户不需要使用某个作业时，可以参考如下操作删除该作业，以减少作业的配额占用。 普通删除 1.登录数据治理中心控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发>作业开发”。 3.在作业目录中，右键单击作业名称，选择“删除”。 4.在弹出的“删除作业”页面，单击“确定”，删除作业。 批量删除 1.登录数据治理中心控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3.在作业目录顶部，单击，选择“显示复选框”，在作业目录前出现复选框。 4.选择需要删除的作业，再次单击，选择“删除作业”。 5.在弹出的“删除作业”页面，单击“确定”，批量删除作业。

初始化专属加密实例 说明 目前不支持SSH登录到DHSM，需要通过专属加密实例管理工具管理DHSM。 以使用Windows镜像的ECS作为专属加密实例管理节点为例，初始化专属加密实例操作步骤如下所示。 步骤 1 购买一台Windows镜像的ECS作为专属加密实例管理节点。 登录管理控制台。 单击页面左侧的，选择“计算> 弹性云服务器”，进入弹性云服务器列表界面。 单击“购买弹性云服务器”。 区域、可用区：请与购买的专属加密实例保持一致。 镜像：请选择Windows公共镜像。 VPC：请与专属加密实例所在VPC保持一致。 弹性公网IP：为方便在您本地实例化加密机，请绑定弹性公网IP。 说明 待初始化专属加密实例完成后，您可以解绑弹性公网IP。若后续有需要，可重复绑定、解绑操作。 其他参数请根据实际情况进行选择。 步骤 2 根据收到的专属加密实例管理工具及配套文档，初始化专属加密实例。 步骤 3 初始化完成后，可通过管理工具进行生成、销毁、备份、恢复秘钥等操作。 说明 初始化和管理过程中有任何问题，请咨询专属加密服务安全专家。 安装安全代理软件并授权 用户需要在业务APP节点上安装安全代理软件，使业务APP与专属加密实例建立安全通道。 步骤 1 在管理工具上下载访问专属加密实例的证书。 步骤 2 在业务APP节点上安装安全代理软件。 步骤 3 将证书导入到安全代理软件，授予业务APP访问专属加密实例的权限。 步骤 4 业务APP即可通过SDK或者API接口的方式访问专属加密实例。 说明 您可以在安全代理软件配置多个专属加密实例，实现负载均衡功能。

编辑数据库 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，展开创建的数据连接，并右键单击数据库名称，选择“修改”。 3. 在弹出的页面中修改数据库的信息。 4. 单击“确定”，保存修改。 删除数据库 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，展开创建的数据连接，并右键单击数据连接名称，选择“删除”。 3. 在弹出的数据连接列表页面，单击“删除”。 4. 单击“确定”，保存修改。

本文介绍如何为弹性云主机注入自定义数据。 操作场景 当您需要通过脚本简化弹性云主机配置、通过脚本初始化系统、在创建弹性云主机时上传已有脚本，或者完成其他需要使用脚本的功能时，可以考虑使用实例自定义数据注入功能来配置弹性云主机。 使用限制 Windows 用于创建弹性云主机的镜像必须安装了Cloudinit组件。 实例自定义数据大小限制：小于等于16KB。 如果通过文本方式上传实例自定义数据，数据只能包含ASCII码字符；如果通过文件方式上传实例自定义数据，只能上传text/格式的文件，且文件大小小于等于16KB。 必须使用公共镜像、继承于公共镜像的私有镜像，或自行安装了Cloudinit组件的私有镜像。 实例自定义脚本必须满足相应弹性云主机自定义脚本类型的格式要求。 Linux 用于创建弹性云主机的镜像必须安装了Cloudbaseinit 组件。 实例自定义数据大小限制：小于等于16KB。 如果通过文本方式上传实例自定义数据，数据只能包含ASCII 码字符；如果通过文件方式上传实例自定义数据，可以包含任意字符，同时，要求文件大小小于等于16KB。 必须是公共镜像，或继承于公共镜像的私有镜像，或自行安装了Cloudbaseinit 组件的私有镜像。 实例自定义数据使用方法 1. 根据实际需要写UserData脚本，脚本格式必须符合Cloudinit/Cloudbaseinit官网相关规范。 2. 在创建弹性云主机时，在“高级配置 > 用户数据 > 立即配置 > 以文本形式”的文本框中粘贴实例自定义数据脚本内容，或选择以文件形式上传。 说明 实例自定义数据注入支持两种方式： 文本：将实例自定义数据脚本内容粘贴到文本框中。 文件：将实例自定义数据脚本内容保存至文本地文件后再上传。 3. 系统创建弹性云主机后，弹性云主机将自动执行Cloudinit 或 Cloudbaseinit 组件，读取实例自定义数据脚本。

本文介绍Kafka业务数据不均衡最佳实践 方案概述 Kafka将Topic划分为多个分区，所有消息分布式存储在各个分区上。每个分区有一个或多个副本，分布在不同的Broker节点上，每个副本存储一份全量数据，副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示： 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况，业务数据不均衡会降低Kafka集群的性能，降低资源使用率。 业务数据不均衡原因： 业务中部分Topic的流量远大于其他Topic，会导致节点间的数据不均衡。 生产者发送消息时指定了分区，未指定的分区没有消息，会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key，按照对应的Key发送消息至对应的分区，会导致分区间的数据不均衡。 系统重新实现了分区分配策略，但策略逻辑有问题，会导致分区间的数据不均衡。 Kafka扩容了Broker节点，新增的节点没有分配分区，会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化，多少会发生一些Leader副本的切换或迁移，会导致个别Broker节点上的数据更多，从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施： 优化业务中Topic的设计，对于数据量特别大的Topic，可对业务数据做进一步的细分，并分配到不同的Topic上。 生产者生产消息时，尽量把消息均衡发送到不同的分区上，确保分区间的数据均衡。 创建Topic时，使分区的Leader副本分散到各个Broker节点中，以保障整体的数据均衡。 Kafka提供了分区重平衡的功能，可以把分区的副本重新分配到不同的Broker节点上，解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。

2. 创建保密数据集 管理员用户登录智算平台，进入“我的数据集”>“基础数据集”，选择需要创建的类型，点击【创建普通/智算存储数据集】，填写保密数据集的路径，并在特殊配置中开启【设为保密数据集】按钮。可见范围对需要的用户设置，用户才可使用，保密相关的数据集读写权限系统固定。 保密数据集仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；数据挂载到容器禁止访问外网。 3. 创建保密输出路径 若您已设置保密数据集，您还需再创建一个数据集（建议保密数据集和输出路径设为两个数据集），专门用于存储保密数据集的输出，并谨慎设置相关权限： 若您使用了自有存储，建议您只给自己或管理者读写权限（第一步操作）； 此数据集的可见范围，建议您只对需要的用户设置。 点击【创建普通/智算存储数据集】，填写保密数据集的输出路径，可见范围建议与保密数据集设置一致，并在特殊配置中开启【设为保密数据集的输出路径】按钮，同时可以选择是否上报云审计及上报频率。 云审计：开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 审计频率：审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。 本平台将自动为您创建此数据集在容器内的挂载路径，并写入PROTECTOUTPUTDIRPREFIX环境变量，您可在代码中直接引用此环境变量。

本节主要介绍准备RDA依赖资源 概述 在使用RDA之前，您需要提前准备相关依赖资源，包括天翼云测试账号，账号可创建弹性云主机、虚拟私有云（Virtual Private Cloud，以下简称VPC）、子网和安全组，并配置安全组策略。 准备依赖资源 迁移源端测试账号： 天翼云目的端测试账号： 购买一台windows弹性云主机用于安装RDA软件工具； 购买一台或者多台linux弹性云主机用于对象存储迁移agent安装 说明 （RDA控制机和oms agent工具机迁移完成后均可释放） 获取天翼云测试账号AK/SK：天翼云官网控制台账号我的凭证管理访问秘钥，点击新增访问秘钥，在弹窗生成的excel表中获取对应AK/SK。

数据管理服务DMS的数据对比功能支持同构数据库表之间的行数据差异对比，通过复制执行对比结果中的变更SQL，实现从源实例表到目标实例表的行数据同步效果。 前提条件 目前数据对比的支持数据库类型有：MySQL、PostgreSQL，源数据库实例和目标数据库实例的数据库类型需要相同。 数据对比目前为企业版功能，请用户使用该功能前，切换到DMS企业版，切换步骤及实例注意事项详见 版本说明 。 数据对比要求当前用户以及登录实例的账户，拥有源数据库和目标数据库的查询权限。如需要添加对比的数据库到DMS，请详见 实例管理 。 注意事项 当前仅支持带有主键或唯一键的表进行对比，且配置映射字段的数据类型需要相同。 当前仅支持选择相同数据库类型，某些字段类型不支持数据对比，执行数据对比时会失败。 说明 MySQL不支持数据对比的字段：tinyblob/blob/mediumblob/longblob/tinytext/text/mediumtext/longtext。 PostgreSQL不支持数据对比的字段：所有用户自定义字段。 每个工单最多保存10000行SQL语句，每个表最多保存500行SQL语句，超过500行变更SQL的表仅展示500条行差异，保留7日后过期删除。 比较时不对源和目标实例进行锁表操作，请避免比较时进行增删改业务，可能会影响对比结果。 功能概括 数据对比功能支持同构数据库中，不同表之间的行数据差异对比，即比较两表配置映射字段的数据是否一致，并生成差异化脚本（变更SQL）供用户自行复制执行，以修复源表和目标表行数据不一致的情况。

本章节主要介绍数据目录的数据目录。 通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产，支持模糊搜索。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图： 选择数据目录 2.选择“数据地图 > 数据目录”。 3.在资产搜索输入框输入需要查找的数据关键字进行搜索，搜索结果以列表方式显示。 按名称和描述搜索：表示按照资产的名称和描述进行搜索。 按所有属性搜索：表示按照资产的全部属性（即详情页中展示的属性）进行搜索。 说明 支持保存当前设置的搜索条件。 支持导入搜索条件。 资产筛选 对资产搜索结果，可以基于条件进行筛选，支持的筛选条件类别如下： 数据连接：数据资产所属数据连接名称。 类型：数据资产所属类型。 分类：数据资产所属分类。 标签：数据资产所包含的标签。 密级：数据资产所属密级。 如下通过资产类型过滤搜索结果，其他类同。 1. 在类型过滤区域，选择“Table”，搜索结果显示属于Table类型的资产。 2. 类型过滤条件按照名称排序，默认只显示前五种类型，单击“全部”，显示系统目前支持的所有资产类型。 资产详情 以查看数据表详情为例。 1.在资产搜索结果列表，单击任意数据表，进入数据表详情页面。 2.在“详情”页签，可查看技术元数据基本属性、编辑描述；可给数据表添加标签和密级；可给数据表的列和OBS对象添加或删除分类、标签和密级。 详见下图：查看详情 3.在“列属性”页签，可查看数据表的列属性，给数据列添加或删除分类、标签和密级，并编辑描述。 详见下图：管理列属性 4.在“血缘”页签，可查看数据表的血缘关系，包括血缘和影响。如何配置数据血缘请参见节点数据血缘。节点配置血缘关系后，作业执行时可以自动解析，然后数据目录采集元数据时会采集上来，在数据目录中展示。 5.在“概要”页签，查看数据表的概要信息（当前仅支持DWS、DLI类型数据表查看概要）。单击“更新”，可更新概要信息。 6.在“数据预览”页签，查看数据表脱敏后的效果。 7.在“变更记录”页签，查看数据表变更详情。

本页介绍数据传输服务DTS的标签管理功能及操作指引。 功能介绍 DTS的标签管理功能，用于对用户所拥有的数据同步实例进行分类管理，用户可对数据同步实例绑定不同的标签，用于分类和快捷查询。 操作指引 数据同步实例标签管理功能的操作步骤和方法与数据迁移类似，具体请参照数据传输服务DTS 用户指南 数据迁移 标签管理的操作。

数据管理服务支持数据来源为云数据库、数据类型为MySQL、地域/资源池一致的不同实例之间进行数据复制，本文介绍如何提交复制任务。 注意 仅II类型资源池支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见功能概览。 前提条件 操作用户拥有对源数据库与目标数据库的的读写权限。 源数据库与目标数据库均已是登录状态。 操作步骤 1. 登录数据管理服务控制台。 2. 打开左侧导航栏，选择开发空间> 数据复制 ，进入数据复制管理页面，开始创建复制任务。 3. 单击数据复制选项，按照要求填写数据复制工单，具体的填写说明如下表所示。 输入内容 说明 源数据库 数据库实例选择列表，数据来源于 数据资产元数据管理 中添加的数据库实例，支持来源为云数据库的MySQL。 源数据库表选择 根据需求选择全部表或部分表。 请选择表 若在源数据库表选择中选中部分表选项，则可以根据需求在请选择表下拉选项中选择需要克隆的表。 目标数据库 数据库实例选择列表，数据来源于 数据资产元数据管理 中添加的数据库实例，支持来源为云数据库的MySQL。 复制范围 根据需求选择表结构或全量数据。 附加范围 根据需求选择视图、存储过程、函数、事件、触发器五个选项中的一个或者多个。 同名对象处理 根据需求选择跳过同名对象或覆盖同名对象。 计划执行时间 根据需求选择立即执行或指定时间。 选择日期时间 若在计划执行时间选择指定时间，则可以在选择日期时间根据需求选择开始时间点。 工单说明 描述工单备注内容。 4. 按照需求填写好数据复制工单后，单击提交选项完成工单的提交，等待数据复制完成。

本文介绍如何使用数据缓存创建实例。 创建数据缓存后，您可以使用数据缓存创建ECI实例，将缓存好的数据直接挂载到ECI实例中，免去拉取数据的等待时间，加速业务启动。 前提条件 确保数据缓存已经处于可用状态。 配置说明 1. 创建容器组过程中，输入数据缓存的bucket名称，点击添加，选择缓存目录和目标容器。 2. 创建容器组完成，等待一段时间变成Running状态后，点击远程连接，进入容器查看刚刚使用的数据缓存。 3. 可以在容器testdir目录查看之前拉取的数据。

本章节主要介绍数据治理中心的配置MongoDB连接功能。 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数详见下表：MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodblink 服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DBmongodb 用户名 连接MongoDB的用户名。 cdm 密码 连接MongoDB的密码。