本文为您介绍对象存储数据灾备安装部署的相关操作。 概要 对象存储数据灾备主要解决对象存储相关的数据同步场景。帮助用户将海量非结构化数据同步至对象存储中，进而提高非结构化数据的检索与访问性能。既降低了运营的成本，又提高了数据的安全性。文件归档功能使得数据归档管理更加灵活方便，能够及时将本地存储符合归档条件的数据同步至对象存储中，从而释放本地存储资源；所有归档记录可以通过管理界面快速查询和恢复，十分适合有海量数据存储的场景。 对象存储数据灾备的使用场景主要有： 本地/NAS存储上的数据同步至对象存储，详情见本地到对象存储规则、文件比较与同步规则两章节； 对象存储上的数据同步至本地/NAS存储，详情见对象存储到本地规则章节； 对象存储到对象存储之间的数据同步，详情见文件比较与同步规则章节。 针对以上场景：对象存储数据灾备可以实现间隔为秒级的数据定期同步。 操作步骤 一、购买许可 持续数据保护/主机高可用/数据定时灾备/文件存储数据灾备/对象存储数据灾备/数据库双活的购买许可步骤类似。下面以持续数据保护为例，介绍购买许可步骤。 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源同步”“资源同步管理”，进入资源管理模块页面。 5. 点击左侧菜单栏“对象存储数据灾备”，点击“许可”，进入许可页面。 6. 点击右上角“购买对象存储数据灾备许可”按钮，弹出购买许可弹窗。按需购买许可。 7. 填写购买数量和时长，勾选已阅读并同意相关协议后，点击“购买”按钮，完成许可支付。

本文主要介绍可信数据空间的产品定义。 可信数据空间是融合数据沙箱、隐私计算、区块链、高速传输网等前沿技术打造的数据流通利用基础设施。在可信数据空间中，各参与方通过连接器接入，空间提供各类开发能力以及可信管控能力，实现对各种数据流通场景的支持。其中，数据沙箱提供了安全隔离环境和集中式的开发能力，隐私计算实现原始数据可用不可见的端到端交付，区块链实现数据全生命周期的存证溯源，高速传输网实现即时组网、弹性带宽和安全加密，保障数据在空间中安全、合规、高速、高效地流通和利用。

本节介绍数据缓存亲和性调度。 Fluid提供了数据缓存亲和性调度优化能力，根据数据集排布的Pod调度策略，支持通过Webhook机制将调度信息注入到业务Pod中，从而实现将业务Pod优先调度到有数据缓存能力的节点。 在智算场景下，创建训练任务指定数据集时，通过调度优化策略将训练任务优先调度到缓存数据节点，可以提高数据同节点访问概率，获取最大程度访问效率。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 已创建数据集并开启加速。 数据集加速状态为已加速或已预热。 功能介绍 基于Mutating Webhook机制，Fluid可以在 业务Pod 创建时拦截，检测是否使用 Fluid PVC，从而为应用Pod注入所需数据缓存的亲和性信息（fluid.io/s{namespace}{dataset}）。当Kubernetes调度器调度应用Pod时，可以优先选择有缓存数据的节点。 注意 如果应用Pod在spec.affinity或spec.nodeSelector中自定义了与fluid调度相关的亲和性信息，此时以应用Pod自身配置为准，Fluid不会注入相关的亲和性调度配置信息。 操作步骤 1、创建数据集并开启数据加速 2、训练任务使用加速数据集 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用； 进入离线训练应用创建页面，在“基本信息”栏添加标签： 标签名为：fuse.serverful.fluid.io/inject 标签值为：true 进入离线训练应用创建页面，进行相关信息配置，详细参考创建训练任务； 配置训练数据： 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 继续其他配置，完成训练应用创建。 查看训练任务调度信息 进入主菜单 > 工作负载 > 容器组，查看训练任务Pod对应的YAML信息，已经注入缓存节点调度信息： 进入主菜单 > 工作负载 > 容器组，可以看到训练任务pod 所在节点与fluid数据节点一致。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 ETL配置 是 单击配置需要转换的源端数据和目的端数据。当前支持的源端数据为DLI类型、OBS类型和MySQL类型。 当源端数据为DLI类型时，支持的目的端数据类型为DWS、GES、CSS、OBS、DLI。 当源端数据为MySQL类型时，支持的目的端数据类型为MySQL。 当源端数据为OBS类型时，支持的目的端数据类型为DLI、DWS。 须知 DLI到DWS端的数据转换： 因为数据开发模块调用DWS的集群时，需要走网络代理。所以导入数据到DWS时，需要提前先在数据开发模块中创建DWS的数据连接。 DLI导入数据到DWS时，DWS的表需要先创建好。 DLI到CSS端的数据转换： DLI导入数据到CSS集群时，需要在DLI侧提前创建好关联对应CSS集群的跨源连接，请参见《 SQL模板 否 单击“配置”按钮获取SQL模板。

本章节主要介绍节点数据血缘的查看数据血缘。 当数据开发模块中的作业已完成血缘关系配置后，启动作业调度，并在数据目录模块进行元数据采集任务，则可以在数据目录模块可视化查看数据血缘关系。 前提条件 已完成血缘关系的自动配置或手动配置，请参见配置数据血缘。 启动作业调度 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发控制台，单击左侧导航栏中的作业开发按钮，进入作业开发页面后，打开已完成血缘配置的作业。 3.在数据开发中，当作业进行“执行调度”时，系统开始解析血缘关系。 说明 测试运行不会解析血缘。 详见下图：作业调度 新建元数据采集任务 如果已创建元数据采集任务，此操作可跳过。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2.请参见任务管理，新建元数据采集任务。

本节主要介绍实例自定义数据的定义,以及如何将自定义数据传入实例、查看自定义数据、修改自定义数据等。 实例自定义数据 实例自定义数据是指用户给虚拟机实例上传的脚本、指令或配置文件等数据，用于管理实例的启动行为或对实例进行一些基础配置，如：完成自动化运维脚本、安装/卸载/更新软件或补丁、设置用户名及密码等。 注意 实例必须使用公共镜像或基于公共镜像创建的自定义镜像，或者确保自定义镜像中已经安装cloudinit相关组件。 创建虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 对于普通线上用户，点击【新建实例】；对于线下用户，点击【新建实例>指定区域开通】。 4. 在“高级选项”中设置实例自定义数据，虚拟机创建完成启动后，即可生效，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 已有虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 在虚拟机列表找到目标实例，操作列依次点击【更多>实例管理>自定义数据】，编辑完成后点击【确认】，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 4. 找到目标实例，重装虚拟机操作系统，即可为已有虚拟机设置自定义数据。 注意 为已有虚拟机设置实例自定义数据需重装后才可生效。

本节介绍如何新增数据投递。 约束与限制 跨账号投递仅支持投递到其他账号管道中，不支持投递到其他云服务。 如果新增的数据投递为跨账号投递，则需要登录目的账号进行授权操作。 创建数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计> 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道后，单击目标管道名称后的“更多> 投递”，右侧弹出现在数据投递设置页面。 6. （可选）在弹出的授权提示中，确认无误后，单击“确认”，完成授权。 首次投递到目的投递类型需要进行授权，如果已经授权，请跳过该步骤。 7. 在新增投递配置页面中，配置数据投递相关参数。 1. 配置基本信息。 参数名称 参数说明 投递名称 自定义投递规则的名称。 投递资源消耗 默认生成，无需配置。 2. 配置数据源。 数据源配置中，显示当前管道数据的详细信息，无需配置。 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE，即默认从态势感知（专业版）管道投递。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称 数据位置策略 当前管道中数据位置的策略。 读取身份 数据源读取身份信息说明。 3. 配置数据目的，请根据投递目的进行配置。 PIPE：将当前管道数据投递到本账号其他管道或其他账号的管道中，请根据您的需要进行选择配置。 本账号投递：将当前管道数据投递到本账号的其他管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“本账号”。 投递类型 选择投递类型，此处选择PIPE。 工作空间 选择目的PIPE所在工作空间。 数据空间 选择目的PIPE所在数据空间。 管道 选择目的PIPE所在管道。 写入身份 默认生成，无需配置。 跨账号投递：将当前管道数据投递到其他账号的管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“跨账号”。 投递类型 选择投递类型，此处选择PIPE。 账号ID 输入目的PIPE所在账号的ID。 工作空间ID 输入目的PIPE所在工作空间的ID，查询方法请参见查看管道详情。 数据空间ID 输入目的PIPE所在数据空间的ID，查询方法请参见查看管道详情。 管道ID 输入目的PIPE所在管道的ID，查询方法请参见查看管道详情。 写入身份 默认生成，无需配置。 4. 在“访问授权”中，查看上述步骤6中授予的权限。 投递请求需要获取访问您云资源的读写权限，授权后，投递任务才能拥有对您云资源相应的访问权限。 8. 单击“确定”。

本章节介绍数据迁移的计费说明。 目前在线迁移服务暂不收取服务费用，但因迁移数据时会产生数据的上传下载以及API请求，所以会产生对应的下行流量费用以及API请求次数费用。 下行流量说明 数据迁移时，服务会将数据先从源端下载，再将数据上传至媒体存储，这个过程会产生源端的下行流量费用，流量由已迁移数据的实际大小决定，数据上传至媒体存储不收取费用。 1.如果源端为第三方云厂商，数据迁移时产生的下行流量费用由第三方云厂商收取。 2.如果源端为媒体存储，数据迁移时产生的下行流量费用由天翼云收取。 API请求次数说明 以下说明基于单个文件的请求次数 场景 源端 目的端 对于源地址中与目的地址不同名的文件 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次get请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次put请求 3. 迁移完成后校验数据需要一次head请求 对于源地址和目的地址的同名文件，并且文件需要迁移至目的端 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一次get请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移数据需要一put请求 3. 迁移完成后校验数据需要一次head请求 对于源端和目的端的同名文件，并且文件不需要迁移至目的端 迁移前对比数据，确认对象是否存在和对比需要一次head请求 1. 迁移前对比数据，确认对象是否存在和对比需要一次head请求 2. 迁移完成后校验数据需要一次head请求 注意： 如果迁移文件大于或等于100MB，则迁移数据时会将文件进行分片后再上传，单个分片大小为50MB，此时迁移数据的请求数根据迁移数据大小决定。如果进行了分片处理，在分片之前会有一个post请求，分片上传完毕之后合并分片会有一个post请求。 例如：大小为150M的文件会被分成三片，迁移时源端请求数与之前一致，数据迁移过程中目的端会产生三次put请求和两次post请求，因此目的端整个流程一共有两次head请求，两次post请求和三次put请求。 采用传入文件或者文件列表形式的方式进行迁移，每个object会多产生一次head请求（为了验证传入的文件是否存在）。

创建数据集 1. 创建普通存储数据集：登录智算服务控制台，单击左侧菜单栏的“智算资产”>“我的数据集”菜单项进入我的数据集模块，点击“基础数据集“菜单，选择“普通/智算存储”，点击【+创建普通/智算存储数据集】，进入创建页面 2. 填写相关配置并提交。基础数据集创建目前仅支持使用自有存储，创建完成后，自动为您创建拼接此数据后缀的容器内挂载路径。 类型 字段 说明 存储基本信息 数据集名称 压缩任务名称，不超过20个字符 存储基本信息 描述 数据集描述信息 权限配置 可见范围 读写权限范围，支持设置仅文件所有者可见、指定工作空间内的算法开发角色可见两种权限策略 存储位置 存储桶/HPFS名称 您租户账号下的存储桶或HPFS名称；若您还未创建，您可点击【去创建】跳转到存储控制台进行创建 存储位置 ZOS/HPFS路径 您对应存储的具体的目录路径，您可根据提示示例进行填写，平台会对您填写路径的存在性进行校验，若校验不通过会进行提示，并禁止提交。 对于管理员用户，此项选填；对于普通子用户，此项必填。 特殊配置 设为保密数据集 对于某些行业客户，在大模型训练时会涉及到保密数据的处理问题，比如需要避免用户下载到本地造成数据泄漏，针对这类问题，平台推出了特色的数据保密功能，以应对用户下载或拷贝保密数据的行为。相关配置仅对管理员用户开放，且此功能会增加操作复杂度和资源占用，建议您只在需要的时候使用。 开启此按钮后，可将本数据集设置为保密数据集。开启保密后，此数据集将：1）仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；2）数据挂载到容器时禁止访问外网。 特殊配置 设为保密数据集的输出路径 若您已设置保密数据集，您还需再创建一个保密输出数据集，专门用于存储保密数据集的输出，并谨慎设置相关权限：1）若您使用了自有存储，建议您只给自己或管理者读写权限（需前往对应存储控制台设置），即您需要确保这是由您完全可控的存储；2）此数据集的可见范围（在本页面的权限配置设置），建议您只对需要的用户设置。 特殊配置 云审计 您设置好保密输出路径后，会自动弹出云审计设置，此设置对使用了对应保密输出数据集的任务生效。开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 特殊配置 审计频率 您开启云审计后，会弹出审计频率设置。审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。

参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 192.168.1.110 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 使用本地API 使用数据库本地API加速（系统会尝试启用MySQL数据库的localinfile系统变量）。 是 使用Agent 是否选择通过Agent从源端提取数据。 是 localinfile字符集 mysql通过localinfile导入数据时，可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 Agent 单击“选择”，选择连接Agent中已创建的Agent。 单次请求行数 指定每次请求获取的行数。 1000 单次提交行数 支持通过agent从源端提取数据 1000 连接属性 自定义连接属性。 useCompressiontrue 引用符号 连接引用表名或列名时的分隔符号。默认为空。 ' 单次写入行数 指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。 100

本章节主要介绍数据治理中心的配置Redis/DCS连接功能。 Redis连接适用于用户在本地数据中心或ECS上自建的Redis，适用于将数据库或文件中的数据加载到Redis。 DCS适用于将数据库或文件中的数据加载到云上的DCS缓存中，从第三方云Redis服务迁移到DCS推荐使用备份恢复方式。 连接本地Redis数据库或DCS时，相关参数详见下表：Redis连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 redislink Redis部署方式 Redis部署方式： Single：表示单机部署。 Cluster：表示集群部署。 Proxy：表示通过代理部署。 Single Redis服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 密码 连接Redis的密码。 Redis数据库索引 Redis分库的索引标识。 Redis的分库，相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置，默认是16个，分库名称是一个整数（0～15），不是一个字符串。 0

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节为您介绍数据识别模块的相关内容。 数据识别模块包含数据标签模块。 数据标签主要包含内置标签展示，自定义标签新增、修改、删除、启停用，标签查询等功能。 新增数据标签 1.登录API风险监测实例。 2.在左侧导航栏选择“数据识别 > 数据标签”，进入数据标签页面。 3.单击“新增按钮”，即可开始数据标签新增。 4.在弹出的对话框中填写相关参数。 配置模块 配置项 说明 基础设置 标签名称 只能输入中文字符、字母、数字、下划线()、点(.)或短横()，长度不超20。 基础设置 描述 填写数据标签的描述。 基础设置 分类 可选择已有分类或自定义分类。 基础设置 分级 选择已有分级或自定义，只能使用数字进行分级。 基础设置 启用状态 选择启用或禁用。 数据特征 序号 最多添加10 项。 数据特征 识别位置 共六种，分别为：请求头、请求体、响应头、响应体、响应url、文件，可以全部选择。 数据特征 识别方式 关键词或正则匹配。 数据特征 识别规则 输入关键词或正则表达式。 二次校验 标签值 关键词或正则表达式匹配。 二次校验 标签值前20 字符 关键词或正则表达式匹配。 二次校验 标签值数量 可选择大于、小于、等于。 过滤规则 序号 过滤规则的序号。 过滤规则 规则名称 添加的过滤规则的名称。 过滤规则 匹配规则 可选过滤条件有URL、标签值、标签前文匹配，匹配类型支持正则表达式和关键词。 过滤规则 操作 删除一项规则。 过滤规则 新增一项 添加一项识别规则。 测试用例 可输入样例数据 上述规则都填写好以后，点击校验测试用例，可以校验输入的数据内容是否符合上述设置的过滤规则。 5.填写完成后，单击“确定”即可完成数据标签新增。

本实践介绍了通过生命周期策略实现数据自动管理的操作场景、前提条件与操作步骤。 操作场景 对于以下场景中的对象数据，通过生命周期管理可自动将某些无需访问的文件删除，也可将一些不再频繁访问的文件转换为低频访问存储或归档存储，进而降低费用，优化存储资源利用。 数据的定期删除：存储桶开启多版本控制后，数据被覆盖和删除操作后会以历史版本的形式保存下来，桶中累积了大量的历史版本数据，需要定期自动删除过期或无用的数据。 数据转换：需要根据数据的访问频次及重要性，自动将数据自动从高频访问存储转换到低频访问存储或归档存储的场景，以降低成本。 合规性要求：需要根据法规或合规要求进行数据保留期限管理和删除操作的场景，以释放存储资源并保护数据安全。 方案优势 节省存储成本：生命周期策略可以根据数据的使用模式和重要性，自动将不再需要的数据转移到更经济的存储类型或实施数据删除。对于长期存储的低频访问数据，可以将其迁移至成本更低的归档存储类型，从而显著降低存储成本。 简化数据管理：通过生命周期策略，您无需手动干预来管理数据的存储过程。一旦设置了适当的策略，系统将自动执行转换和删除等操作。这节省了管理员的时间和精力，并且减少了人为错误的风险。 保证数据合规性：生命周期策略可以确保数据按照法律、合规和行业要求进行管理。您可以设置策略来满足特定的数据保留周期要求，并自动执行数据删除以遵守隐私和安全规定。

本章节主要介绍云搜索服务如何操作冷热数据存储。 云搜索服务提供了冷数据节点供企业选择，企业可以将部分现查要求秒级返回的数据放在高性能机器上面，对于历史数据要求分钟级别返回的数据放在大容量低规格节点。 说明 创建集群时，数据节点为必选，只有当选择了冷数据节点后，数据节点才会变成热节点。 选择冷数据节点的同时，支持独立选择Master和Client节点。 冷数据节点支持节点和磁盘扩容，前提是冷节点规格支持（本地盘不支持磁盘扩容）。 冷热数据切换 选择冷数据节点后，冷数据节点将会打上“cold”标签，用来表示冷节点。同时，数据节点将会上升为热节点，会被打上“hot”标签。用户可以通过配置指定索引，将数据分配到冷热节点。 通过设置template，可以通过模板将相应的index存储到指定冷热节点。 如下，登录集群的Kibana Console页面，配置myindex开头的索引，储存在冷节点上面。 这样可以通过模板在创建的时候把myindex的数据存储在冷数据节点上面。 PUT template/test { "order": 1, "template": "myindex", "settings": { "index": { "refreshinterval": "30s", "numberofshards": "3", "numberofreplicas": "1", "routing.allocation.require.boxtype": "cold" } } } 同时也可以单独对已经创建好的索引进行操作。 PUT myindex/settings { "index.routing.allocation.require.boxtype": "cold" } 也可以去掉冷热数据配置，不受冷热数据标签影响。 PUT myindex/settings { "index.routing.allocation.require.boxtype": null }

本文介绍弹性容器实例ECI的数据缓存计费规则。 计费说明 数据缓存用于提前拉取业务所需的大量数据（例如训练模型等），以便在创建ECI实例时可以直接挂载使用数据。一个数据缓存对应一个快照，创建和使用数据缓存涉及的计费项及其计费规则说明如下： 创建数据缓存 计费项 计费说明 相关文档 临时资源（ECI实例）费用 系统会自动创建一个ECI实例（2 vCPU、4 GiB内存），并挂载一块通用型SSD云盘用于中转创建数据缓存。数据缓存创建完成后，ECI实例将自动释放。其中ECI实例运行时长：受数据大小影响，数据量大相对耗时长 ECI实例计费 云硬盘费用 云硬盘挂载至ECI实例用于中转数据缓存，该云硬盘的生命周期与快照的生命周期一致，其中云硬盘容量：等于数据缓存大小 云硬盘计费说明 快照费用 一个数据缓存对应一个快照。该快照的生命周期与数据缓存的生命周期一致，保留数据缓存需支付快照存储费用 云硬盘快照计费说明

{Job.getNodeOutput('preDLI')} ，其中preDLI为前一个节点的名称。 − 作业运行参数：用于将数据集中的数据传递到子作业以供使用。Source对应的是数据集TableList表的第一列，Destination是第二列，所以配置的EL表达式分别为 {Loop.current[0]} 、 {Loop.current[1]} 。 详见下图：配置For Each算子 配置完成后保存作业。 5. 测试运行主作业。 点击主作业画布上方的“测试运行”按钮，测试作业运行情况。主作业运行后，会通过For Each节点自动调用运行子作业。 点击左侧导航栏中的“实例监控”，进入实例监控中查看作业运行情况。等待作业运行成功后，就能查看For Each节点生成的子作业实例，由于数据集中有6行数据，所以这里就对应产生了6个子作业实例。 详见下图：查看作业实例 查看对应的6个DLI目的表中是否已被插入预期的数据。您可以在DataArts Studio数据开发模块中，新建DLI SQL脚本执行以下SQL命令导入数据，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： / 查看表a数据，其他表数据请修改命令后运行 / SELECT FROM a; 将查询到的表数据与给源数据表插入数据步骤中的数据进行对比，可以发现数据插入符合预期。 详见下图：目的表数据

本章主要介绍数据密级管理，包括密级的创建、删除和调整优先级。 只有在创建密级之后，您才可以创建数据分类，进而创建脱敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据密级”，用户可以在该页面新建、管理和删除分级，也可以调整分级的优先级。 创建分级：单击“数据密级”页签左上角的“新建”，输入名称和描述。 删除：在“数据密级”页签，勾选不需要的分级，单击左上角的“删除”。 调整优先级：在“数据密级”页签，单击相应分级后的上移（提高优先级）和下移（降低优先级）。

相关服务 交互功能 弹性云主机 数据管理服务支持弹性云主机（ECS）自建库实例的数据管理。 关系型数据库 数据管理服务支持关系型数据库(RDS)实例的管理。 通过数据管理服务连接目标数据库时，需要使用到目标数据库的用户名和密码。 关系型数据库与数据管理服务须在同一个区域下。 文档数据库 数据管理服务支持文档数据库（DDS）实例的管理。 通过数据管理服务连接目标数据库时，需要使用到目标数据库的用户名和密码。 数据库实例与数据管理服务须在同一个区域下。 分布式关系型数据库 数据管理服务支持分布式关系型数据库（DRDS）实例的管理。 通过数据管理服务连接目标数据库时，需要使用到目标数据库的用户名和密码。 数据库实例与数据管理服务须在同一个区域下。

2. 创建保密数据集 管理员用户登录智算平台，进入“我的数据集”>“基础数据集”，选择需要创建的类型，点击【创建普通/智算存储数据集】，填写保密数据集的路径，并在特殊配置中开启【设为保密数据集】按钮。可见范围对需要的用户设置，用户才可使用，保密相关的数据集读写权限系统固定。 保密数据集仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；数据挂载到容器禁止访问外网。 3. 创建保密输出路径 若您已设置保密数据集，您还需再创建一个数据集（建议保密数据集和输出路径设为两个数据集），专门用于存储保密数据集的输出，并谨慎设置相关权限： 若您使用了自有存储，建议您只给自己或管理者读写权限（第一步操作）； 此数据集的可见范围，建议您只对需要的用户设置。 点击【创建普通/智算存储数据集】，填写保密数据集的输出路径，可见范围建议与保密数据集设置一致，并在特殊配置中开启【设为保密数据集的输出路径】按钮，同时可以选择是否上报云审计及上报频率。 云审计：开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 审计频率：审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。 本平台将自动为您创建此数据集在容器内的挂载路径，并写入PROTECTOUTPUTDIRPREFIX环境变量，您可在代码中直接引用此环境变量。

本章主要介绍翼MapReduce的恢复OMS数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对FusionInsight Manager系统进行重大数据调整等操作后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，需要对Manager进行恢复数据操作。 管理员可以通过FusionInsight Manager创建恢复Manager任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Manager数据。 对系统的影响 恢复过程中需要重启Controller，重启时FusionInsight Manager无法登录和操作。 恢复过程中需要重启所有集群，集群重启时无法访问。 Manager数据恢复后，会丢失从备份时刻到恢复时刻之间的数据，例如系统设置、用户信息、告警信息或审计信息。可能导致无法查询到数据，或者某个用户无法访问集群。 Manager数据恢复后，系统将强制各集群的LdapServer从OLadp同步一次数据。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查OMS资源状态是否正常，检查各集群的LdapServer实例状态是否正常。如果不正常，不能执行恢复操作。 检查集群主机和服务的状态是否正常。如果不正常，不能执行恢复操作。 检查恢复数据时集群主机拓扑结构与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 检查恢复数据时集群中已添加的服务与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 停止依赖集群运行的上层业务应用。

本章节主要介绍数据目录的数据目录。 通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产，支持模糊搜索。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图： 选择数据目录 2.选择“数据地图 > 数据目录”。 3.在资产搜索输入框输入需要查找的数据关键字进行搜索，搜索结果以列表方式显示。 按名称和描述搜索：表示按照资产的名称和描述进行搜索。 按所有属性搜索：表示按照资产的全部属性（即详情页中展示的属性）进行搜索。 说明 支持保存当前设置的搜索条件。 支持导入搜索条件。 资产筛选 对资产搜索结果，可以基于条件进行筛选，支持的筛选条件类别如下： 数据连接：数据资产所属数据连接名称。 类型：数据资产所属类型。 分类：数据资产所属分类。 标签：数据资产所包含的标签。 密级：数据资产所属密级。 如下通过资产类型过滤搜索结果，其他类同。 1. 在类型过滤区域，选择“Table”，搜索结果显示属于Table类型的资产。 2. 类型过滤条件按照名称排序，默认只显示前五种类型，单击“全部”，显示系统目前支持的所有资产类型。 资产详情 以查看数据表详情为例。 1.在资产搜索结果列表，单击任意数据表，进入数据表详情页面。 2.在“详情”页签，可查看技术元数据基本属性、编辑描述；可给数据表添加标签和密级；可给数据表的列和OBS对象添加或删除分类、标签和密级。 详见下图：查看详情 3.在“列属性”页签，可查看数据表的列属性，给数据列添加或删除分类、标签和密级，并编辑描述。 详见下图：管理列属性 4.在“血缘”页签，可查看数据表的血缘关系，包括血缘和影响。如何配置数据血缘请参见节点数据血缘。节点配置血缘关系后，作业执行时可以自动解析，然后数据目录采集元数据时会采集上来，在数据目录中展示。 5.在“概要”页签，查看数据表的概要信息（当前仅支持DWS、DLI类型数据表查看概要）。单击“更新”，可更新概要信息。 6.在“数据预览”页签，查看数据表脱敏后的效果。 7.在“变更记录”页签，查看数据表变更详情。

本章节为您介绍如数据加密网关的相关内容。 数据加密网关是一种专门为保护数据库数据存储安全而设计的高性能密码设备。它基于数据加密技术，能够在数据进入数据库之前对其进行加密处理，从而确保数据的机密性和完整性。这款创新设备在当今数据安全需求日益增长的环境下，扮演着至关重要的角色。 注意 在正式接入生产环境前，强烈建议您使用测试环境配合数据加密网关进行充分调试验证，确保通过后再切换至生产环境。 若因未遵循此操作流程导致的系统故障或数据风险，相关责任需由接入方自行承担。 核心功能与优势 数据加密：数据库加密网关采用先进的加密算法，对数据进行实时加密。无论是静态数据还是传输中的数据，都能得到有效保护，防止未经授权的访问和数据泄露。 高性能处理：作为一款高性能密码网关设备，它具备出色的处理能力，能够在保证数据安全的同时，不降低数据库的读写性能。这使得它在处理大量数据时依然能够保持高效稳定。 密钥管理：内置完善的密钥管理系统，能够安全地生成、存储和管理加密密钥。密钥的严密管理是数据安全的重要保障，防止密钥泄露导致的数据风险。 透明加密：提供透明的加密服务，应用程序无需改动即可享受数据加密保护。数据库加密网关在后台自动完成加密和解密操作，简化了数据安全管理。 兼容性强：支持多种数据库系统和应用程序，无需对现有系统进行大规模改造即可部署。这使得它能够快速融入企业现有的IT架构，提供即时的数据安全防护。

数据管理服务DMS的数据对比功能支持同构数据库表之间的行数据差异对比，通过复制执行对比结果中的变更SQL，实现从源实例表到目标实例表的行数据同步效果。 前提条件 目前数据对比的支持数据库类型有：MySQL、PostgreSQL，源数据库实例和目标数据库实例的数据库类型需要相同。 数据对比目前为企业版功能，请用户使用该功能前，切换到DMS企业版，切换步骤及实例注意事项详见 版本说明 。 数据对比要求当前用户以及登录实例的账户，拥有源数据库和目标数据库的查询权限。如需要添加对比的数据库到DMS，请详见 实例管理 。 注意事项 当前仅支持带有主键或唯一键的表进行对比，且配置映射字段的数据类型需要相同。 当前仅支持选择相同数据库类型，某些字段类型不支持数据对比，执行数据对比时会失败。 说明 MySQL不支持数据对比的字段：tinyblob/blob/mediumblob/longblob/tinytext/text/mediumtext/longtext。 PostgreSQL不支持数据对比的字段：所有用户自定义字段。 每个工单最多保存10000行SQL语句，每个表最多保存500行SQL语句，超过500行变更SQL的表仅展示500条行差异，保留7日后过期删除。 比较时不对源和目标实例进行锁表操作，请避免比较时进行增删改业务，可能会影响对比结果。 功能概括 数据对比功能支持同构数据库中，不同表之间的行数据差异对比，即比较两表配置映射字段的数据是否一致，并生成差异化脚本（变更SQL）供用户自行复制执行，以修复源表和目标表行数据不一致的情况。

编辑数据库 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，展开创建的数据连接，并右键单击数据库名称，选择“修改”。 3. 在弹出的页面中修改数据库的信息。 4. 单击“确定”，保存修改。 删除数据库 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，展开创建的数据连接，并右键单击数据连接名称，选择“删除”。 3. 在弹出的数据连接列表页面，单击“删除”。 4. 单击“确定”，保存修改。

数据管理服务支持数据来源为云数据库、数据类型为MySQL、地域/资源池一致的不同实例之间进行数据复制，本文介绍如何提交复制任务。 注意 仅II类型资源池支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见功能概览。 前提条件 操作用户拥有对源数据库与目标数据库的的读写权限。 源数据库与目标数据库均已是登录状态。 操作步骤 1. 登录数据管理服务控制台。 2. 打开左侧导航栏，选择开发空间> 数据复制 ，进入数据复制管理页面，开始创建复制任务。 3. 单击数据复制选项，按照要求填写数据复制工单，具体的填写说明如下表所示。 输入内容 说明 源数据库 数据库实例选择列表，数据来源于 数据资产元数据管理 中添加的数据库实例，支持来源为云数据库的MySQL。 源数据库表选择 根据需求选择全部表或部分表。 请选择表 若在源数据库表选择中选中部分表选项，则可以根据需求在请选择表下拉选项中选择需要克隆的表。 目标数据库 数据库实例选择列表，数据来源于 数据资产元数据管理 中添加的数据库实例，支持来源为云数据库的MySQL。 复制范围 根据需求选择表结构或全量数据。 附加范围 根据需求选择视图、存储过程、函数、事件、触发器五个选项中的一个或者多个。 同名对象处理 根据需求选择跳过同名对象或覆盖同名对象。 计划执行时间 根据需求选择立即执行或指定时间。 选择日期时间 若在计划执行时间选择指定时间，则可以在选择日期时间根据需求选择开始时间点。 工单说明 描述工单备注内容。 4. 按照需求填写好数据复制工单后，单击提交选项完成工单的提交，等待数据复制完成。

本章节主要介绍数据治理中心的配置MongoDB连接功能。 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数详见下表：MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodblink 服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DBmongodb 用户名 连接MongoDB的用户名。 cdm 密码 连接MongoDB的密码。

本文主要介绍可信数据空间场景总体流程。 低密可信数据接入、开发、交易流程指引，分为四个主要模块：数据接入、数据开发、产品上架、产品购买。 数据接入 提供方申请连接器，运营方审批并监管，提供方上传数据并发布资源，运营方审核后同步至平台资源目录。 数据开发 开发方申请资源，运营方审核，提供方会签，开发方进行数据开发并发布服务，平台同步API至要素管理中心。 产品上架 提供方创建数据要素，运营方审核并制定策略，提供方发布产品，平台同步至产品市场。 产品购买 产品购买流程包括购买方申请、运营方审核、合同签订、资料审核、交付确定及售后服务。 整个流程涉及多方协作，确保数据可信流通与交易。 总体流程图如下：

本节主要介绍添加数据目录命令。 ./stor server { A addpath } { p path } PATH & [ { n server } SERVERID ] [ capacityquota CAPACITYQUOTA ] 此命令用来为HBlock的指定服务器添加数据目录。一次可以添加多个数据目录，以英文逗号（,）分开。 说明 对于新增的数据目录，建议设置开机自动挂载，或使用已设置自动挂载的目录或子目录。 注意 每台服务器最多只能添加100个数据目录。 添加数据目录时，如果提示内存不足，您可以等此类操作全部执行完毕后，再增加系统总内存，或单独提高服务器中HBlock可使用的内存。提高服务器中HBlock可使用的内存详见设置服务器中HBlock可使用的内存。 参数 参数 描述 p PATH 或 path PATH 要添加的数据目录。一次可以添加多个数据目录，以英文逗号（,）分开。 说明 该数据目录用于存储数据，建议不要与操作系统共用磁盘或文件系统。 取值：只能包含字母、数字、汉字和特殊字符(~ ! @ $ ( ) + ; . :)。 n SERVERID 或 server SERVERID 要添加的数据目录所属服务器ID。 如果未指定服务器ID，则为执行该命令的服务器添加数据目录。 capacityquota CAPACITYQUOTA 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：整型。小于数据目录所在磁盘的总容量，单位是K/k、M/m、G/g、T/t、P/p，默认单位是G/g。负整数表示无限制写入，0表示禁止写入。默认不限制写入。 注意 如果一次添加多个数据目录，只能配置一个容量配额，配置的容量配额适用添加的所有目录。

本章节主要介绍数据治理中心的配置分库连接功能。 分库指的是同时连接多个后端数据源，该连接可作为作业源端，将多个数据源的数据合一迁移到其他数据源上。详见下表：分库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mylink 用户名 待连接数据库的用户。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时，该配置对A生效。如果后端数据库B已配置用户名密码，此处配置不对B生效。 cdm 密码 待连接数据库的用户密码。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时，该配置对A生效。如果后端数据库B已配置用户名密码，此处配置不对B生效。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择管理Agent中已创建的Agent。 后端数据源 输入后端数据库的类型，当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码，以“:”隔开。即ip:port:dbs:username:password，其中username:password可以不填，此时以“用户名”、“密码”配置为准。 如果此处有多个后端数据库，需要确保表结构一致，并使用“l”分隔数据源。如果密码包含“l”或者“:”，可使用“”转义。 例如 “192.168.2.1:3306:cdm192.168.2.2:3306:cdm:user:password”表示，第一个后端数据库IP为192.168.2.1，端口为3306，数据库名称为cdm，账户名密码以“用户名”、“密码”处配置为准；第二个后端数据库IP为192.168.2.2，端口为3306，数据库名称为cdm，账户名为“user”、密码为“password”。 192.168.2.1:3306:cdm192.168.2.2:3306:cdm:user:password 一次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 sslmoderequire 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 '

本文主要介绍云日志服务中如何创建数据加工任务。 云日志服务支持您使用数据加工读取源日志单元中的数据，对数据进行加工处理后，写入到不同的目标日志单元中。您也可以对加工后的数据进行查询和分析，进一步发掘数据价值。本文介绍如何在云日志服务控制台上创建数据加工任务。 操作步骤 1. 登录云日志服务控制台。 2. 左侧点击【日志加工】菜单，进入日志加工页面。 3. 点击【创建加工任务】； 4. 输入任务名称、加工源日志单元以及加工后日志存储目标等参数，参数说明如下表。输入完成后点击下一步，进入加工语句设置页面。 5. 在加工语句设置页面，输入加工语句，点击预览数据，即可预览数据加工结果以及结果汇总。 6. 下方可点击原始日志tab，查看加工前的原始日志。默认取原始日志中的前10条日志进行加工预览，您也可点击【加入测试数据】，针对特定的日志进行加工预览。 7. 当您确认加工预览结果符合预期时，您可点击【完成】，即可创建加工任务。 参数 说明 任务名称 数据加工任务的名称。 存储目标名称 存储目标的名称。存储目标中包括日志项目、日志单元等配置。 目标日志项目 用于存储数据加工结果的目标日志项目。 目标日志单元 用于存储数据加工结果的目标日志单元。 加工范围 持续加工：数据加工任务将持续进行。指定结束时间：您可指定数据加工任务的结束时间。

本章节主要介绍数据治理中心DataArts Studio的实例退订操作。 退订DataArts Studio实例 当用户不需要使用某个DataArts Studio实例时，可以参考如下操作退订该实例。 1.登录天翼云控制中心； 2.在“数据分析”项目下，单击【数据治理中心 DataArts Studio】； 3.找到创建成功的DataArts Studio实例，核实实例信息，点击“退订”即可。 详见下图：选择退订 删除作业 当用户不需要使用某个作业时，可以参考如下操作删除该作业，以减少作业的配额占用。 普通删除 1.登录数据治理中心控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发>作业开发”。 3.在作业目录中，右键单击作业名称，选择“删除”。 4.在弹出的“删除作业”页面，单击“确定”，删除作业。 批量删除 1.登录数据治理中心控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3.在作业目录顶部，单击，选择“显示复选框”，在作业目录前出现复选框。 4.选择需要删除的作业，再次单击，选择“删除作业”。 5.在弹出的“删除作业”页面，单击“确定”，批量删除作业。