本章节主要介绍数据治理中心的配置分库连接功能。 分库指的是同时连接多个后端数据源，该连接可作为作业源端，将多个数据源的数据合一迁移到其他数据源上。详见下表：分库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mylink 用户名 待连接数据库的用户。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时，该配置对A生效。如果后端数据库B已配置用户名密码，此处配置不对B生效。 cdm 密码 待连接数据库的用户密码。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时，该配置对A生效。如果后端数据库B已配置用户名密码，此处配置不对B生效。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择管理Agent中已创建的Agent。 后端数据源 输入后端数据库的类型，当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码，以“:”隔开。即ip:port:dbs:username:password，其中username:password可以不填，此时以“用户名”、“密码”配置为准。 如果此处有多个后端数据库，需要确保表结构一致，并使用“l”分隔数据源。如果密码包含“l”或者“:”，可使用“”转义。 例如 “192.168.2.1:3306:cdm192.168.2.2:3306:cdm:user:password”表示，第一个后端数据库IP为192.168.2.1，端口为3306，数据库名称为cdm，账户名密码以“用户名”、“密码”处配置为准；第二个后端数据库IP为192.168.2.2，端口为3306，数据库名称为cdm，账户名为“user”、密码为“password”。 192.168.2.1:3306:cdm192.168.2.2:3306:cdm:user:password 一次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 sslmoderequire 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 '

本章节主要介绍运维调度的补数据监控。 在数据开发模块控制台的左侧导航栏，选择“运维调度 > 补数据监控”，进入补数据的任务监控页面。 用户可以在补数据监控主页，查看补数据的任务状态、业务日期、并行周期数、补数据作业名称，以及停止运行中的任务。 在补数据监控主页，单击补数据名称，进入补数据监控详情页面。在此页面，用户可以查看补数据的任务执行情况，以及手动干预实例和节点的执行（如需了解更多，请参见批作业监控章节中的 补数据 ）。 说明 支持计划时间，开始时间，结束时间的排序，注意三者之间，同一时间只有其中一个当前排序有效。 排序按钮点击顺序为：点击1下为升序，点击2下为降序，点击3下取消排序。

本章节主要介绍元数据采集的元数据介绍。 按照传统的定义，元数据（Metadata）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中，元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据，用于指导其进行数据管理和开发工作，提高工作效率。 将元数据按用途的不同分为两类：技术元数据（Technical Metadata)和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。 元数据管理模块是数据湖治理的基石，支持创建自定义策略的采集任务，采集数据源中的技术元数据。支持自定义业务元模型、批量导入业务元数据、关联业务和技术元数据、全链路的血缘管理和应用。

本章主要介绍翼MapReduce的恢复NameNode数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对NameNode进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对NameNode进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复NameNode任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的NameNode数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 恢复数据后需要重启NameNode，重启完成前NameNode不可访问。 恢复数据后可能导致元数据与业务数据无法匹配，HDFS进入安全模式且HDFS服务启动失败。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 登录FusionInsight Manager，请参见登录管理系统。 在FusionInsight Manager停止所有待恢复数据的NameNode角色实例，其他的HDFS角色实例必须保持正常运行，恢复数据后重启NameNode。NameNode角色实例重启前无法访问。 检查NameNode备份文件保存路径是否保存在主管理节点“ 数据存放路径 /LocalBackup/”。

本文为您介绍如何通过密钥管理提供的信封加密技术，实现本地大规模数据的加解密。 信封加密（Envelope Encryption）是一种应对海量数据的高性能加解密方案。这种技术不再使用用户主密钥（CMK）直接加密和解密数据，而是通过生成加密数据的数据密钥（DEK），将其封入信封中（即通过CMK加密）存储、传递和使用，由KMS确保数据密钥的随机性和安全性。 实际使用时，用户无需将大量业务数据上传至KMS服务端，直接通过离线的数据密钥在本地实现加解密，有效避免安全隐患，保证了业务加密性能的要求。 场景示意图 加解密流程 信封加密过程 1. 通过KMS控制台或者调用CreateKey接口，创建一个用户主密钥（CMK）。 2. 调用GenerateDataKey接口创建一个数据密钥。KMS会返回一个明文的数据密钥和一个经用户主密钥（CMK）加密的密文数据密钥。 3. 使用明文的数据密钥加密本地文件，产生密文文件，然后销毁内存中的明文数据密钥。 4. 用户将密文数据密钥和密文文件一同存储到持久化存储设备或服务中。 信封解密过程 1. 从本地文件中读取密文数据密钥。 2. 调用KMS服务的Decrypt接口，将密文数据解密为明文数据密钥。 3. 用明文数据密钥为本地密文文件解密，再销毁内存中的明文密钥。 相关API 您可以调用以下KMS API，实现对本地数据的加密或解密操作。 API名称 说明 createKey 创建用户主密钥（CMK）。 generateDataKey 生成信封加密的数据密钥，返回数据密钥的明文和经过指定用户主密钥加密的密文。 decrypt 解密由generateDataKey接口生成的数据密钥密文，不需要指定CMK。

数据投递成功后，可以到投递目的地查看数据投递情况。 前提条件 已完成数据投递操作，具体操作请参见新增数据投递。 在数据投递的目的数据管道中查看数据投递 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道列后，再单击管道名称，右侧将显示管道数据的检索页面。 6. 在目标管道中，查看投递的日志信息。

本节主要介绍如何使用API添加数据目录。 此操作用来添加指定服务器的数据目录至HBlock。一次可以添加多个数据目录。 说明 对于新增的数据目录，建议设置开机自动挂载，或使用已设置自动挂载的目录或子目录。 注意 每台服务器最多只能添加100个数据目录。 添加数据目录时，如果提示内存不足，您可以等此类操作全部执行完毕后，再增加系统总内存，或单独提高服务器中HBlock可使用的内存。提高服务器中HBlock可使用的内存详见批量修改服务器属性。 请求语法 plaintext POST /rest/v1/system/server/serverId/diskpaths HTTP/1.1 Date: date ContentType: application/json; charsetutf8 ContentLength: length Host: ip:port Authorization: authorization { "diskPaths": [ { "path":path, "capacityQuota": capacityvalue }, { "path":path, "capacityQuota": capacityvalue }, …… ] } 请求参数 参数 类型 描述 是否必须 serverId String 要添加的数据目录所属服务器ID。 是 diskPaths Array of diskPath 数据目录属性集合，详见“表1 请求参数diskPath说明”。 是 表1 请求参数diskPath说明 参数 类型 描述 是否必须 path String 指定添加的数据目录。数据目录用于存储数据，建议不要与操作系统共用磁盘或文件系统。 取值：只能包含字母、数字、汉字和特殊字符(~ ! @ $ ( ) + ; . :)。 是 capacityQuota Long 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：小于数据目录所在磁盘的总容量，单位是bytes。负整数表示无限制写入，0表示禁止写入。默认不限制写入。 注意 如果相同的数据目录出现多次，以第一次出现的数据目录的容量配额为准。 否

本章为您介绍数据水印功能会不会修改源数据。 天翼云数据安全中心服务的数据水印功能不会修改源数据。 使用数据水印功能时，DSC通过调用OBS桶数据或者本地文件，将水印信息嵌入到文件后生成新的文档，该文档会下载到您指定的本地路径，所以对源数据不会有任何影响。更详细的了解，请参考数据水印章节。

本章节主要介绍节点数据血缘的查看数据血缘。 当数据开发模块中的作业已完成血缘关系配置后，启动作业调度，并在数据目录模块进行元数据采集任务，则可以在数据目录模块可视化查看数据血缘关系。 前提条件 已完成血缘关系的自动配置或手动配置，请参见配置数据血缘。 启动作业调度 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发控制台，单击左侧导航栏中的作业开发按钮，进入作业开发页面后，打开已完成血缘配置的作业。 3.在数据开发中，当作业进行“执行调度”时，系统开始解析血缘关系。 说明 测试运行不会解析血缘。 详见下图：作业调度 新建元数据采集任务 如果已创建元数据采集任务，此操作可跳过。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2.请参见任务管理，新建元数据采集任务。

本文介绍公共数据集相关内容。 公共数据集为开发机等算力服务提供预加载、可直接访问的开源数据集资源，用户无需自行从外部下载、上传数据集，直接通过实例内路径即可读取使用。 公共数据集默认已挂载在对应所在可用资源区。复制实例路径，打开Jupyter实例环境，进入对应存储路径Copy数据文件并在本地解压缩即可使用。 以下为公共数据集具体信息： 参数 说明 数据集名称 公共数据集名称 适用领域 标注数据集所属方向（如机器学习、计算机视觉） 大小 数据集文件总容量 数据简介 数据集的内容、规模、用途说明 数据来源 标注数据集的原始来源 更新时间 数据集的最后更新时间 实例路径 数据集在实例内的绝对路径 复制按钮 一键复制实例路径，快速粘贴到终端中

本章节介绍数据迁移的计费说明。 目前在线迁移服务暂不收取服务费用，但因迁移数据时会产生数据的上传下载以及API请求，所以会产生对应的下行流量费用以及API请求次数费用。 下行流量说明 数据迁移时，服务会将数据先从源端下载，再将数据上传至媒体存储，这个过程会产生源端的下行流量费用，流量由已迁移数据的实际大小决定，数据上传至媒体存储不收取费用。 1.如果源端为第三方云厂商，数据迁移时产生的下行流量费用由第三方云厂商收取。 2.如果源端为媒体存储，数据迁移时产生的下行流量费用由天翼云收取。 API请求次数说明 以下说明基于单个文件的请求次数 场景 源端 目的端 对于源地址中与目的地址不同名的文件 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次get请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次put请求 3. 迁移完成后校验数据需要一次head请求 对于源地址和目的地址的同名文件，并且文件需要迁移至目的端 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次get请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一put请求 3. 迁移完成后校验数据需要一次head请求 对于源端和目的端的同名文件，并且文件不需要迁移至目的端 迁移前对比数据，确认对象是否存在和对比需要一次head请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移完成后校验数据需要一次head请求 注意： 如果迁移文件大于或等于100MB，则迁移数据时会将文件进行分片后再上传，单个分片大小为50MB，此时迁移数据的请求数根据迁移数据大小决定。如果进行了分片处理，在分片之前会有一个post请求，分片上传完毕之后合并分片会有一个post请求。 例如：大小为150M的文件会被分成三片，迁移时源端请求数与之前一致，数据迁移过程中目的端会产生三次put请求和两次post请求，因此目的端整个流程一共有两次head请求，两次post请求和三次put请求。 采用传入文件或者文件列表形式的方式进行迁移，每个object会多产生一次head请求（为了验证传入的文件是否存在）。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 ETL配置 是 单击配置需要转换的源端数据和目的端数据。当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时，支持的目的端数据类型为DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时，支持的目的端数据类型为MySQL。 当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。 须知 DLI到DWS端的数据转换： 因为数据开发模块调用DWS的集群时，需要走网络代理。所以导入数据到DWS时，需要提前先在数据开发模块中创建DWS的数据连接。 DLI导入数据到DWS时，DWS的表需要先创建好。 DLI到CSS端的数据转换： DLI导入数据到CSS集群时，需要在DLI侧提前创建好关联对应CSS集群的跨源连接，请参见《 SQL模板 否 单击“配置”按钮获取SQL模板。

本实践介绍了通过生命周期策略实现数据自动管理的操作场景、前提条件与操作步骤。 操作场景 对于以下场景中的对象数据，通过生命周期管理可自动将某些无需访问的文件删除，也可将一些不再频繁访问的文件转换为低频访问存储或归档存储，进而降低费用，优化存储资源利用。 数据的定期删除：存储桶开启多版本控制后，数据被覆盖和删除操作后会以历史版本的形式保存下来，桶中累积了大量的历史版本数据，需要定期自动删除过期或无用的数据。 数据转换：需要根据数据的访问频次及重要性，自动将数据自动从高频访问存储转换到低频访问存储或归档存储的场景，以降低成本。 合规性要求：需要根据法规或合规要求进行数据保留期限管理和删除操作的场景，以释放存储资源并保护数据安全。 方案优势 节省存储成本：生命周期策略可以根据数据的使用模式和重要性，自动将不再需要的数据转移到更经济的存储类型或实施数据删除。对于长期存储的低频访问数据，可以将其迁移至成本更低的归档存储类型，从而显著降低存储成本。 简化数据管理：通过生命周期策略，您无需手动干预来管理数据的存储过程。一旦设置了适当的策略，系统将自动执行转换和删除等操作。这节省了管理员的时间和精力，并且减少了人为错误的风险。 保证数据合规性：生命周期策略可以确保数据按照法律、合规和行业要求进行管理。您可以设置策略来满足特定的数据保留周期要求，并自动执行数据删除以遵守隐私和安全规定。

本章节主要介绍云搜索服务如何操作冷热数据存储。 云搜索服务提供了冷数据节点供企业选择，企业可以将部分现查要求秒级返回的数据放在高性能机器上面，对于历史数据要求分钟级别返回的数据放在大容量低规格节点。 说明 创建集群时，数据节点为必选，只有当选择了冷数据节点后，数据节点才会变成热节点。 选择冷数据节点的同时，支持独立选择Master和Client节点。 冷数据节点支持节点和磁盘扩容，前提是冷节点规格支持（本地盘不支持磁盘扩容）。 冷热数据切换 选择冷数据节点后，冷数据节点将会打上“cold”标签，用来表示冷节点。同时，数据节点将会上升为热节点，会被打上“hot”标签。用户可以通过配置指定索引，将数据分配到冷热节点。 通过设置template，可以通过模板将相应的index存储到指定冷热节点。 如下，登录集群的Kibana Console页面，配置myindex开头的索引，储存在冷节点上面。 这样可以通过模板在创建的时候把myindex的数据存储在冷数据节点上面。 PUT template/test { "order": 1, "template": "myindex", "settings": { "index": { "refreshinterval": "30s", "numberofshards": "3", "numberofreplicas": "1", "routing.allocation.require.boxtype": "cold" } } } 同时也可以单独对已经创建好的索引进行操作。 PUT myindex/settings { "index.routing.allocation.require.boxtype": "cold" } 也可以去掉冷热数据配置，不受冷热数据标签影响。 PUT myindex/settings { "index.routing.allocation.require.boxtype": null }

本文介绍弹性容器实例ECI的数据缓存计费规则。 计费说明 数据缓存用于提前拉取业务所需的大量数据（例如训练模型等），以便在创建ECI实例时可以直接挂载使用数据。一个数据缓存对应一个快照，创建和使用数据缓存涉及的计费项及其计费规则说明如下： 创建数据缓存 计费项 计费说明 相关文档 临时资源（ECI实例）费用 系统会自动创建一个ECI实例（2 vCPU、4 GiB内存），并挂载一块通用型SSD云盘用于中转创建数据缓存。数据缓存创建完成后，ECI实例将自动释放。其中ECI实例运行时长：受数据大小影响，数据量大相对耗时长 ECI实例计费 云硬盘费用 云硬盘挂载至ECI实例用于中转数据缓存，该云硬盘的生命周期与快照的生命周期一致，其中云硬盘容量：等于数据缓存大小 云硬盘计费说明 快照费用 一个数据缓存对应一个快照。该快照的生命周期与数据缓存的生命周期一致，保留数据缓存需支付快照存储费用 云硬盘快照计费说明

本文主要介绍数据智能中台的购买类问题。 天翼云都有哪些资源池可以订购数据智能中台产品？ 当前只支持在华东1资源池订购，全网可访问。 数据智能中台的哪些销售品可以独立购买？ 数据中台、高质量数据集平台和AI中台。 数据智能助理可以怎么购买？ 购买数据智能助理之前，首先需要先购买数据中台。

本章节主要介绍数据目录的数据目录。 通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产，支持模糊搜索。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图： 选择数据目录 2.选择“数据地图 > 数据目录”。 3.在资产搜索输入框输入需要查找的数据关键字进行搜索，搜索结果以列表方式显示。 按名称和描述搜索：表示按照资产的名称和描述进行搜索。 按所有属性搜索：表示按照资产的全部属性（即详情页中展示的属性）进行搜索。 说明 支持保存当前设置的搜索条件。 支持导入搜索条件。 资产筛选 对资产搜索结果，可以基于条件进行筛选，支持的筛选条件类别如下： 数据连接：数据资产所属数据连接名称。 类型：数据资产所属类型。 分类：数据资产所属分类。 标签：数据资产所包含的标签。 密级：数据资产所属密级。 如下通过资产类型过滤搜索结果，其他类同。 1. 在类型过滤区域，选择“Table”，搜索结果显示属于Table类型的资产。 2. 类型过滤条件按照名称排序，默认只显示前五种类型，单击“全部”，显示系统目前支持的所有资产类型。 资产详情 以查看数据表详情为例。 1.在资产搜索结果列表，单击任意数据表，进入数据表详情页面。 2.在“详情”页签，可查看技术元数据基本属性、编辑描述；可给数据表添加标签和密级；可给数据表的列和OBS对象添加或删除分类、标签和密级。 详见下图：查看详情 3.在“列属性”页签，可查看数据表的列属性，给数据列添加或删除分类、标签和密级，并编辑描述。 详见下图：管理列属性 4.在“血缘”页签，可查看数据表的血缘关系，包括血缘和影响。如何配置数据血缘请参见节点数据血缘。节点配置血缘关系后，作业执行时可以自动解析，然后数据目录采集元数据时会采集上来，在数据目录中展示。 5.在“概要”页签，查看数据表的概要信息（当前仅支持DWS、DLI类型数据表查看概要）。单击“更新”，可更新概要信息。 6.在“数据预览”页签，查看数据表脱敏后的效果。 7.在“变更记录”页签，查看数据表变更详情。

2. 创建保密数据集 管理员用户登录智算平台，进入“我的数据集”>“基础数据集”，选择需要创建的类型，点击【创建普通/智算存储数据集】，填写保密数据集的路径，并在特殊配置中开启【设为保密数据集】按钮。可见范围对需要的用户设置，用户才可使用，保密相关的数据集读写权限系统固定。 保密数据集仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；数据挂载到容器禁止访问外网。 3. 创建保密输出路径 若您已设置保密数据集，您还需再创建一个数据集（建议保密数据集和输出路径设为两个数据集），专门用于存储保密数据集的输出，并谨慎设置相关权限： 若您使用了自有存储，建议您只给自己或管理者读写权限（第一步操作）； 此数据集的可见范围，建议您只对需要的用户设置。 点击【创建普通/智算存储数据集】，填写保密数据集的输出路径，可见范围建议与保密数据集设置一致，并在特殊配置中开启【设为保密数据集的输出路径】按钮，同时可以选择是否上报云审计及上报频率。 云审计：开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 审计频率：审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。 本平台将自动为您创建此数据集在容器内的挂载路径，并写入PROTECTOUTPUTDIRPREFIX环境变量，您可在代码中直接引用此环境变量。

使用RestHighLevelClient建立客户端 其中使用HttpHost类负责http请求，并在HttpHost类中将CredentialsProvider和SSLIOSessionStrategy配置参数类封装在自定义的SecuredHttpClientConfigCallback类配置请求连接参数。 SecuredHttpClientConfigCallback：封装所有自定义的连接参数。 CredentialsProvider：Elasticsearch API，主要使用Elasticsearch提供的方法封装用户名和密码。 SSLIOSessionStrategy：配置SSL相关参数，包括SSL域名验证方式、证书处理方式等。主要使用SSLContext类封装相关设置。 有两种方式连接集群：忽略证书方式和使用证书方式。 忽略所有证书，跳过证书校验环节进行连接 构造TrustManager，使用默认X509TrustManager，不重写任何方法，相当于忽略所有相关操作。 构造SSLContext：使用第一步的TrustManager为参数，默认方法构造SSLContext。 static TrustManager[] trustAllCerts new TrustManager[] { new X509TrustManager() { @Override public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public X509Certificate[] getAcceptedIssuers() { return null; } }}; final CredentialsProvider credentialsProvider new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password)); SSLContext sc null; try{ sc SSLContext.getInstance("SSL"); sc.init(null, trustAllCerts, new SecureRandom()); }catch(KeyManagementException e){ e.printStackTrace(); }catch(NoSuchAlgorithmException e){ e.printStackTrace(); } SSLIOSessionStrategy sessionStrategy new SSLIOSessionStrategy(sc, new NullHostNameVerifier()); SecuredHttpClientConfigCallback httpClientConfigCallback new SecuredHttpClientConfigCallback(sessionStrategy,credentialsProvider); RestClientBuilder builder RestClient.builder(new HttpHost(clusterAddress, 9200, "https")).setHttpClientConfigCallback(httpClientConfigCallback); RestHighLevelClient client new RestHighLevelClient(builder); 使用下载的证书（CloudSearchService.cer），加载证书进行连接。 上传证书到客户端，在命令行中使用keytool工具将证书转换成Java可以读取的证书格式：（keytool默认密码为changeit） keytool import alias 自命名 keystore 输出的证书路径和重命名名字 file 上传证书的路径 自定义TrustManager类，继承于X509TrustManager，读取上一步输出的证书，将其加入信任证书里，重写X509TrustManager接口的三个方法； 构造SSLContext：使用第一步的TrustManager为参数，默认方法构造SSLContext。 public static class MyX509TrustManager implements X509TrustManager { X509TrustManager sunJSSEX509TrustManager; MyX509TrustManager() throws Exception { File file new File("certification file path"); if (file.isFile() false) { throw new Exception("Wrong Certification Path"); } System.out.println("Loading KeyStore " + file + "..."); InputStream in new FileInputStream(file); KeyStore ks KeyStore.getInstance("JKS"); ks.load(in, "changeit".toCharArray()); TrustManagerFactory tmf TrustManagerFactory.getInstance("SunX509", "SunJSSE"); tmf.init(ks); TrustManager tms [] tmf.getTrustManagers(); for (int i 0; i < tms.length; i++) { if (tms[i] instanceof X509TrustManager) { sunJSSEX509TrustManager (X509TrustManager) tms[i]; return; } } throw new Exception("Couldn't initialize"); } final CredentialsProvider credentialsProvider new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password)); SSLContext sc null; try{ TrustManager[] tm {new MyX509TrustManager()}; sc SSLContext.getInstance("SSL", "SunJSSE"); sc.init(null, tm, new SecureRandom()); }catch (Exception e) { e.printStackTrace(); } SSLIOSessionStrategy sessionStrategy new SSLIOSessionStrategy(sc, new NullHostNameVerifier()); SecuredHttpClientConfigCallback httpClientConfigCallback new SecuredHttpClientConfigCallback(sessionStrategy,credentialsProvider); RestClientBuilder builder RestClient.builder(new HttpHost(clusterAddress, 9200, "https")) .setHttpClientConfigCallback(httpClientConfigCallback); RestHighLevelClient client new RestHighLevelClient(builder); 代码示例 代码运行时，传入3个参数，分别是 连接地址 ，集群登录用户名 和 密码 ，示例实现的请求是GET /search{"query": {"matchall": {}}}。 说明 pom文件中客户端版本需与集群版本保持一致。

本章主要介绍数据密级管理，包括密级的创建、删除和调整优先级。 只有在创建密级之后，您才可以创建数据分类，进而创建脱敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据密级”，用户可以在该页面新建、管理和删除分级，也可以调整分级的优先级。 创建分级：单击“数据密级”页签左上角的“新建”，输入名称和描述。 删除：在“数据密级”页签，勾选不需要的分级，单击左上角的“删除”。 调整优先级：在“数据密级”页签，单击相应分级后的上移（提高优先级）和下移（降低优先级）。

本文为您介绍创建数据订阅任务的操作场景、前提条件和操作步骤。 操作场景 场景一：数据实时分析 使用云监控数据订阅功能，将业务进行异步解耦，在不影响源库业务的情况下，实时同步监控数据（指标、事件）或告警数据到客户自有分析系统中，帮助企业用户进行实时数据分析。 场景二：数据归档存储 使用云监控数据订阅功能，您可将资源监控或告警数据的增量更新数据，实时地推送到归档数据库或数据仓库。 说明 数据订阅功能当前为受限开放，如有需求可以联系客户经理为您开放此功能。 资源池下单个用户最多可创建10个数据订阅任务。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 注意 数据订阅功能数据类型支持指标数据、事件数据，订阅方式支持分布式消息服务及API方式。 指标数据订阅支持分布式消息服务（kafka）及remotewriteapi方式。 事件数据订阅支持分布式消息服务（kafka）及apipush方式。（事件订阅入口为：云监控服务>事件监控>事件订阅） 创建订阅任务需提前创建订阅渠道。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击左侧“数据订阅”菜单，进入数据订阅任务列表。 5. 单击“创建订阅任务”功能，进入数据订阅任务创建二级页面。 6. 创建订阅任务参数配置如下： 模块 参数 参数说明 配置示例 备注 选择订阅对象 服务维度 选择需要订阅数据的服务维度信息，支持多选 云主机云主机 选择订阅对象 监控对象类型 具体实例 选择订阅对象 选择对象 选择资源实例对象 具体实例 定义订阅方式 订阅通道 选择公网/内网 分布式消息服务 定义订阅方式 发送渠道 Kafka Kafka 定义订阅方式 订阅失败缓存时间 输入用户客户端地址 基础信息 订阅任务名称 填写自定义订阅任务名称 testtask 基础信息 描述 填写订阅任务描述信息 说明 关于告警数据订阅全部资源的场景，涉及两个周期： 订阅服务subscription同步订阅配置的周期，预计上线配置2分钟。 数据订阅配置全部资源，也需要周期同步全量的实例资源，预计线上配置3分钟。 因此，考虑极限情况，告警订阅服务在周期1 + 周期2之后产生的告警，订阅服务才能匹配消费到。

本章节为您介绍如数据加密网关的相关内容。 数据加密网关是一种专门为保护数据库数据存储安全而设计的高性能密码设备。它基于数据加密技术，能够在数据进入数据库之前对其进行加密处理，从而确保数据的机密性和完整性。这款创新设备在当今数据安全需求日益增长的环境下，扮演着至关重要的角色。 注意 在正式接入生产环境前，强烈建议您使用测试环境配合数据加密网关进行充分调试验证，确保通过后再切换至生产环境。 若因未遵循此操作流程导致的系统故障或数据风险，相关责任需由接入方自行承担。 核心功能与优势 数据加密：数据库加密网关采用先进的加密算法，对数据进行实时加密。无论是静态数据还是传输中的数据，都能得到有效保护，防止未经授权的访问和数据泄露。 高性能处理：作为一款高性能密码网关设备，它具备出色的处理能力，能够在保证数据安全的同时，不降低数据库的读写性能。这使得它在处理大量数据时依然能够保持高效稳定。 密钥管理：内置完善的密钥管理系统，能够安全地生成、存储和管理加密密钥。密钥的严密管理是数据安全的重要保障，防止密钥泄露导致的数据风险。 透明加密：提供透明的加密服务，应用程序无需改动即可享受数据加密保护。数据库加密网关在后台自动完成加密和解密操作，简化了数据安全管理。 兼容性强：支持多种数据库系统和应用程序，无需对现有系统进行大规模改造即可部署。这使得它能够快速融入企业现有的IT架构，提供即时的数据安全防护。

数据管理服务DMS的数据对比功能支持同构数据库表之间的行数据差异对比，通过复制执行对比结果中的变更SQL，实现从源实例表到目标实例表的行数据同步效果。 前提条件 目前数据对比的支持数据库类型有：MySQL、PostgreSQL，源数据库实例和目标数据库实例的数据库类型需要相同。 数据对比目前为企业版功能，请用户使用该功能前，切换到DMS企业版，切换步骤及实例注意事项详见 版本说明 。 数据对比要求当前用户以及登录实例的账户，拥有源数据库和目标数据库的查询权限。如需要添加对比的数据库到DMS，请详见 实例管理 。 注意事项 当前仅支持带有主键或唯一键的表进行对比，且配置映射字段的数据类型需要相同。 当前仅支持选择相同数据库类型，某些字段类型不支持数据对比，执行数据对比时会失败。 说明 MySQL不支持数据对比的字段：tinyblob/blob/mediumblob/longblob/tinytext/text/mediumtext/longtext。 PostgreSQL不支持数据对比的字段：所有用户自定义字段。 每个工单最多保存10000行SQL语句，每个表最多保存500行SQL语句，超过500行变更SQL的表仅展示500条行差异，保留7日后过期删除。 比较时不对源和目标实例进行锁表操作，请避免比较时进行增删改业务，可能会影响对比结果。 功能概括 数据对比功能支持同构数据库中，不同表之间的行数据差异对比，即比较两表配置映射字段的数据是否一致，并生成差异化脚本（变更SQL）供用户自行复制执行，以修复源表和目标表行数据不一致的情况。

数据管理服务支持数据来源为云数据库、数据类型为MySQL、地域/资源池一致的不同实例之间进行数据复制，本文介绍如何提交复制任务。 注意 仅II类型资源池支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见功能概览。 前提条件 操作用户拥有对源数据库与目标数据库的的读写权限。 源数据库与目标数据库均已是登录状态。 操作步骤 1. 登录数据管理服务控制台。 2. 打开左侧导航栏，选择开发空间> 数据复制 ，进入数据复制管理页面，开始创建复制任务。 3. 单击数据复制选项，按照要求填写数据复制工单，具体的填写说明如下表所示。 输入内容 说明 源数据库 数据库实例选择列表，数据来源于 数据资产元数据管理 中添加的数据库实例，支持来源为云数据库的MySQL。 源数据库表选择 根据需求选择全部表或部分表。 请选择表 若在源数据库表选择中选中部分表选项，则可以根据需求在请选择表下拉选项中选择需要克隆的表。 目标数据库 数据库实例选择列表，数据来源于 数据资产元数据管理 中添加的数据库实例，支持来源为云数据库的MySQL。 复制范围 根据需求选择表结构或全量数据。 附加范围 根据需求选择视图、存储过程、函数、事件、触发器五个选项中的一个或者多个。 同名对象处理 根据需求选择跳过同名对象或覆盖同名对象。 计划执行时间 根据需求选择立即执行或指定时间。 选择日期时间 若在计划执行时间选择指定时间，则可以在选择日期时间根据需求选择开始时间点。 工单说明 描述工单备注内容。 4. 按照需求填写好数据复制工单后，单击提交选项完成工单的提交，等待数据复制完成。

本章节主要介绍数据治理中心的配置MongoDB连接功能。 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数详见下表：MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodblink 服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DBmongodb 用户名 连接MongoDB的用户名。 cdm 密码 连接MongoDB的密码。

本页为您介绍数据传输服务DTS的产品规格。 数据传输服务DTS产品规格说明 数据传输服务DTS提供如下可用的产品规格： 任务类型 分类 适用场景 参考性能 数据迁移 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据迁移 中规格 小型企业及个人在线业务的去O迁移或上云 3000RPS 数据迁移 大规格 中小型企业及个人在线业务的去O迁移或上云 5000RPS 数据迁移 超大规格 大型型企业在线业务的去O迁移或上云 7000RPS 数据迁移 极大规格 超大型企业在线业务的去O迁移或上云 12000RPS 数据同步 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据同步 中规格 小型企业及个人在线业务的数据复制与灾备 3000RPS 数据同步 大规格 中小型企业在线业务的数据复制与灾备 5000RPS 数据同步 超大规格 大型企业核心业务的本地同城灾备或异地灾备环境搭建 7000RPS 数据同步 极大规格 超大型企业核心业务的本地同城灾备或异地灾备环境搭 12000RPS 数据同步 特大规格 特大型企业核心业务的本地同城灾备或异地灾备环境搭建 30000RPS 说明 如需进行MySQL实例间双向同步、PostgreSQL实例间双向同步，请务必在订购时选择订购数据同步大规格及以上规格。您可以在订购时选择同步拓扑双向同步，此时系统将自动为您限制仅能选择数据同步大规格及以上规格；如订购时未选择双向同步，那么仅当您订购的数据同步实例是大规格及以上规格时，还可以在在实例配置配置迁移对象及高级配置环节选择双向同步。 订购MySQL>MySQL、PostgreSQL>PostgreSQL数据同步实例小规格，将不支持启动任务后修改同步对象，如需动态修改同步对象请选择订购中规格及以上规格。 当用户订购DDS/MongoDBDDS/MongoDB迁移链路、数据架构类型为分片，分片数>5时，可订购极大规格。 当用户订购DDS/MongoDBDDS/MongoDB同步链路、数据架构类型为分片，分片数>5时，可订购极大规格；分片数>9时，可订购特大规格。 各规格的线上运行性能受网络环境、源实例和目标实例的性能、延迟等因素影响，实际的性能数字会有差异。

本文主要介绍云日志服务中数据加工的基本概念。 基本概念 ETL ETL是指将对业务系统的数据进行抽取、清洗、转换、加载的过程，从而整合零散、不标准、不统一的数据。云日志服务支持加载源日志单元数据，将数据转换后输出到目标日志单元。 事件、数据、日志 在数据加工功能中，事件、数据都表示日志，例如事件时间就是日志时间，字段操作指令fields就是用于保留或丢弃特定日志字段的指令。 日志时间 日志时间指事件所发生的时间，也称事件时间。在云日志服务中的保留字段为ts，一般由日志中的时间信息直接提取生成。数据类型为datetime。 日志标签 日志存在标记，区别于其他字段，在数据加工中，标签字段以tag:作为前缀。包括： 用户自定义标签：用户通过API PutLogs写入数据时添加的标签。 系统标签：云日志服务为用户添加的标签，包括tagfileName和taghostIp等。 配置相关概念 源日志单元 数据加工中，从中读取数据再进行加工的日志单元是源日志单元。 一个加工任务仅支持一个源日志单元，但可以对一个源日志单元配置多个加工任务。 目标日志单元 数据加工中，数据写入的日志单元是目标日志单元。 一个加工任务可以配置多个目标日志单元，可以是静态配置，也可以是动态配置。具体配置方法，请参见多目标日志单元数据分发。 SPL SPL（Semistructured Processing Language）是云日志服务数据加工使用的一种类Linux Shell的脚本语言。SPL提供内置8个基本指令和一百多个类SQL函数，简化了常见的数据加工模式。

编辑数据库 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，展开创建的数据连接，并右键单击数据库名称，选择“修改”。 3. 在弹出的页面中修改数据库的信息。 4. 单击“确定”，保存修改。 删除数据库 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，展开创建的数据连接，并右键单击数据连接名称，选择“删除”。 3. 在弹出的数据连接列表页面，单击“删除”。 4. 单击“确定”，保存修改。

本文为您介绍对象存储数据灾备安装部署的相关操作。 概要 对象存储数据灾备主要解决对象存储相关的数据同步场景。帮助用户将海量非结构化数据同步至对象存储中，进而提高非结构化数据的检索与访问性能。既降低了运营的成本，又提高了数据的安全性。文件归档功能使得数据归档管理更加灵活方便，能够及时将本地存储符合归档条件的数据同步至对象存储中，从而释放本地存储资源；所有归档记录可以通过管理界面快速查询和恢复，十分适合有海量数据存储的场景。 对象存储数据灾备的使用场景主要有： 本地/NAS存储上的数据同步至对象存储，详情见本地到对象存储规则、文件比较与同步规则两章节； 对象存储上的数据同步至本地/NAS存储，详情见对象存储到本地规则章节； 对象存储到对象存储之间的数据同步，详情见文件比较与同步规则章节。 针对以上场景：对象存储数据灾备可以实现间隔为秒级的数据定期同步。 操作步骤 一、购买许可 持续数据保护/主机高可用/数据定时灾备/文件存储数据灾备/对象存储数据灾备/数据库双活的购买许可步骤类似。下面以持续数据保护为例，介绍购买许可步骤。 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源同步”“资源同步管理”，进入资源管理模块页面。 5. 点击左侧菜单栏“对象存储数据灾备”，点击“许可”，进入许可页面。 6. 点击右上角“购买对象存储数据灾备许可”按钮，弹出购买许可弹窗。按需购买许可。 7. 填写购买数量和时长，勾选已阅读并同意相关协议后，点击“购买”按钮，完成许可支付。

本节介绍数据缓存亲和性调度。 Fluid提供了数据缓存亲和性调度优化能力，根据数据集排布的Pod调度策略，支持通过Webhook机制将调度信息注入到业务Pod中，从而实现将业务Pod优先调度到有数据缓存能力的节点。 在智算场景下，创建训练任务指定数据集时，通过调度优化策略将训练任务优先调度到缓存数据节点，可以提高数据同节点访问概率，获取最大程度访问效率。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 已创建数据集并开启加速。 数据集加速状态为已加速或已预热。 功能介绍 基于Mutating Webhook机制，Fluid可以在 业务Pod 创建时拦截，检测是否使用 Fluid PVC，从而为应用Pod注入所需数据缓存的亲和性信息（fluid.io/s{namespace}{dataset}）。当Kubernetes调度器调度应用Pod时，可以优先选择有缓存数据的节点。 注意 如果应用Pod在spec.affinity或spec.nodeSelector中自定义了与fluid调度相关的亲和性信息，此时以应用Pod自身配置为准，Fluid不会注入相关的亲和性调度配置信息。 操作步骤 1、创建数据集并开启数据加速 2、训练任务使用加速数据集 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用； 进入离线训练应用创建页面，在“基本信息”栏添加标签： 标签名为：fuse.serverful.fluid.io/inject 标签值为：true 进入离线训练应用创建页面，进行相关信息配置，详细参考创建训练任务； 配置训练数据： 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 继续其他配置，完成训练应用创建。 查看训练任务调度信息 进入主菜单 > 工作负载 > 容器组，查看训练任务Pod对应的YAML信息，已经注入缓存节点调度信息： 进入主菜单 > 工作负载 > 容器组，可以看到训练任务pod 所在节点与fluid数据节点一致。

本文介绍数据加工任务运行的指标详情。 操作入口 1. 登录云日志服务控制台。 2. 点击左侧菜单栏数据加工。 3. 点击目标数据加工任务名称，进入加工任务详情页面。 总览指标 加工速率：默认时间周期为1小时，统计窗口为1分钟，速率为数据条目数/秒。 read：从源日志单元中读到的数据条数。 delivered：成功写入到目标日志单元的数据条数。 dropped：在加工过程中丢弃的日志数据条数。 failed：从源日志单元中读取，在加工过程中发生失败的数据条数。 读取日志数统计：从源日志单元读取到的数据条数总计，默认时间周期为1小时。 写出日志数统计：成功写入到所有目标日志单元的数据条数总计，默认时间周期为1小时。 失败日志数统计：从源日志单元中读取、并在加工过程中发生失败的数据条数总计，默认时间周期为1小时。 写出日志数占比：成功投递到目标日志单元的数据条数占源日志单元读取到数据条数的比例，默认时间周期为1小时。

创建客户端CEK数据密钥，用来对数据库用户数据加解密。 plaintext CREACREATE COLUMN ENCRYPTION KEY columnencryptionkeyname WITH( CLIENTMASTERKEY clientmasterkeyname, ALGORITHM algorithmtype, ENCRYPTEDVALUE encryptedvalue ); 参数描述： columnencryptionkeyname：CEK数据密钥对象名，在同一命名空间中满足唯一性约束 CLIENTMASTERKEY：指定用于对当前CEK加密的CMK ALGORITHM：指定该CEK将用于何种加密算法，支持： AEADAES256CBCHMACSHA256：采用AES256 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 AEADAES128CBCHMACSHA256：采用AES128 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 SM4SM3：采用国密SM4 CBC模式对数据加密实现数据机密性，通过消息验证码(国密SM3生成数据摘要)确保数据的完整性和身份校验。 ENCRYPTEDVALUE（可选项）：用户指定的密钥口令，如果不指定，则会自动生成密钥。密钥口令长度范围为[28, 256]个字符。28个字符派生出来的密钥安全强度满足AES128。如果采用用AES256，密钥口令的长度需要39个字符。如果不指定，则会自动生成256比特的密钥。