本文为数据中台操作指南的引言。 文档用途 本手册作为数据中台的附属说明文档，为数据中台的模型开发、模型管理、模型开发、运维实施和运维管理等角色用户，提供功能介绍和操作指导。便于用户实现在数据中台进行租户管理、数据源注册、模型开发、程序开发、数据查询取数、数据交换、调度任务配置监控、文件上传、数据上传、程序模板的开发配置、以及模型程序单元、标准上下线和变更流程。 阅读对象 适用于需要使用数据中台系统管理员、数据管理员、数据开发人员、数据运维人员、数据运营人员、系统测试人员和维护人员等。 角色定义 角色名称 角色职责 平台系统管理 配置系统初始参数， 实施初始内容。 模型开发 配置系统初始参数， 实施初始内容。 模型管理 模型设计，上线确认，标准发布/废止申请，数据下线申请。 数据开发 模型审批，标准发布审批，标准废止审批，数据权限审批。 运维实施 测试环境落表，程序开发，程序上线申请。 运维管理 数据下线申请，数据上线发布，数据任务启停，执行建表语句。 名词解释 缩写 、术语 解释 BI Business Intelligent，商业智能。 BOSS Business Operation Support System，业务运营支撑系统，用于支撑移动客户的业务运营。 Hadoop 为了能够跨分布式文件系统处理和存储大数据而构建的一种开源框架。 HBase 与Hadoop一起运行的开源非关系型分布式数据库。 HDFS Hadoop分布式文件系统，这是一种旨在可以在商用硬件上运行的分布式文件系统。 SQL SQL（结构化查询语言）是一种专门用来与数据库沟通的语言。 FROM SQL语言中的子句，表示指定SELECT语句查询及与查询相关的表或视图。 WHERE SQL语言中的子句，表示指定SELECT语句查询需要的数据筛选条件。 JOIN SQL语言中的子句，用于把来自两个或多个表的行结合起来。 UNION SQL语言中的子句，用于将多个结果合并在一起显示出来。 GROUP BY SQL语言中的子句，根据一个或多个列对结果集进行分组。 机器学习模型 基于数据集和算法代码，通过训练任务产出的结果，预测新数据。 机器学习组件 工作流任务执行的最小单元，即单个算子。 原子维度 不可拆分的维度。 组合维度 通过原子维度组合而成。 指标组 相当于数据集，基于指标组来进行维度、度量配置。 指标配置 根据指标组生成对应的维度、度量的SQL语句。

本文主要介绍数据智能中台的购买类问题。 天翼云都有哪些资源池可以订购数据智能中台产品？ 当前只支持在华东1资源池订购，全网可访问。 数据智能中台的哪些销售品可以独立购买？ 数据中台、高质量数据集平台和AI中台。 数据智能助理可以怎么购买？ 购买数据智能助理之前，首先需要先购买数据中台。

本页介绍了通过利用数据分片来提升性能。 在文档数据库服务中，通过数据分片（Sharding）可以显著提升性能和扩展数据库的处理能力。数据分片是将数据库水平拆分成多个片（Shard），将数据均匀地分布在这些片上，使每个片都只处理部分数据，从而分担负载和提高性能。以下是通过数据分片来提升性能的步骤和优势： 操作步骤 1. 准备Shard节点： 在数据分片前，需要准备多个Shard节点。Shard节点是MongoDB集群中存储数据片的实例。每个Shard节点可以是一个独立的MongoDB副本集，用于保证数据的高可用性。 2. 配置Config服务器： Config服务器存储了整个集群的分片信息和配置信息。需要至少三个Config服务器来提供冗余和可用性。 3. 启用Sharding： 在文档数据库的路由节点上（mongos进程），使用 sh.enableSharding()命令来启用Sharding。 4. 选择分片键： 在启用Sharding前，需要选择一个分片键（Shard Key）。分片键是用来划分数据的字段，数据会根据该字段的值进行分片和路由到对应的Shard上。合理选择分片键很重要，它会直接影响到数据的均衡分布和查询性能。单调递增分片键： 选择单调递增的分片键（如ObjectId或时间戳），可以保证数据在插入时分布在不同的分片上，减少数据迁移。 5. 创建分片集合： 使用 sh.shardCollection()命令来创建需要分片的集合，并指定分片键。 6. 插入数据： 开始插入数据到分片集合中。文档数据库会根据分片键的值，将数据分布到不同的Shard上。

本文为您介绍创建数据订阅任务的操作场景、前提条件和操作步骤。 操作场景 场景一：数据实时分析 使用云监控数据订阅功能，将业务进行异步解耦，在不影响源库业务的情况下，实时同步监控数据（指标、事件）或告警数据到客户自有分析系统中，帮助企业用户进行实时数据分析。 场景二：数据归档存储 使用云监控数据订阅功能，您可将资源监控或告警数据的增量更新数据，实时地推送到归档数据库或数据仓库。 说明 数据订阅功能当前为受限开放，如有需求可以联系客户经理为您开放此功能。 资源池下单个用户最多可创建10个数据订阅任务。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 注意 数据订阅功能数据类型支持指标数据、事件数据，订阅方式支持分布式消息服务及API方式。 指标数据订阅支持分布式消息服务（kafka）及remotewriteapi方式。 事件数据订阅支持分布式消息服务（kafka）及apipush方式。（事件订阅入口为：云监控服务>事件监控>事件订阅） 创建订阅任务需提前创建订阅渠道。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击左侧“数据订阅”菜单，进入数据订阅任务列表。 5. 单击“创建订阅任务”功能，进入数据订阅任务创建二级页面。 6. 创建订阅任务参数配置如下： 模块 参数 参数说明 配置示例 备注 选择订阅对象 服务维度 选择需要订阅数据的服务维度信息，支持多选 云主机云主机 选择订阅对象 监控对象类型 具体实例 选择订阅对象 选择对象 选择资源实例对象 具体实例 定义订阅方式 订阅通道 选择公网/内网 分布式消息服务 定义订阅方式 发送渠道 Kafka Kafka 定义订阅方式 订阅失败缓存时间 输入用户客户端地址 基础信息 订阅任务名称 填写自定义订阅任务名称 testtask 基础信息 描述 填写订阅任务描述信息 说明 关于告警数据订阅全部资源的场景，涉及两个周期： 订阅服务subscription同步订阅配置的周期，预计上线配置2分钟。 数据订阅配置全部资源，也需要周期同步全量的实例资源，预计线上配置3分钟。 因此，考虑极限情况，告警订阅服务在周期1 + 周期2之后产生的告警，订阅服务才能匹配消费到。

本章节主要介绍预览数据。 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 1. 在管理控制台左侧，单击“数据管理”>“库表管理”。 2. 单击需导出数据对应数据库名称，进入该数据库“表管理”页面。 3. 单击目标表“操作”栏中的“更多”，选择“表属性”。 4. 单击“预览”页签，即可预览该表数据。 在“SQL编辑器”页面预览数据。 1. 在管理控制台左侧，单击“SQL编辑器”。 2. 在“SQL编辑器”页面的左侧导航栏中，选择“数据库”页签。 3. 鼠标左键单击对应数据库名，进入该数据库的表列表。 4. 鼠标左键单击对应表右侧的，在列表菜单中选择“表属性”，单击“预览”页签，即可预览该表数据。

本文介绍如何模拟访问测试及前提须知。 在客户控制台成功添加加速域名后，为保障DNS解析顺利切换且不影响客户的现有业务，建议先模拟访问进行功能验收，验收无误后，再切换DNS解析。 前提须知 1. 客户在天翼云控制台新增域名时，需先通过域名归属权验证。详见：验证域名归属权。 2. 通过域名归属权验证后，可前往天翼云控制台，在“添加域名”界面点击验证，验证通过就可以正常操作新增域名。详见：添加加速域名。 3. 客户在控制台【域名管理】中添加的域名源站可正常访问。 操作步骤 1. 在天翼云客户控制台的【域名管理】【域名列表】，复制加速域名对应的CNAME记录值。 2. 通过ping（Windows）或dig（MAC） CNAME记录的方式，如 ping .ctdns.cn 获取该CNAME解析出来的天翼云已为您分配的某个节点IP，即为可测试验证功能的线上节点IP。 3. 修改本地电脑的HOSTS文件，添加一条记录，如：“IP 加速域名”，让本地电脑访问加速域名时，强制绑定解析到该节点IP，由该节点IP进行服务，从而可以通过本地电脑来验证加速域名对应的相关业务功能和场景。 4. 验证内容： 成功绑定HOSTS文件后，您可以打开浏览器，在本地电脑访问加速域名进行连通性测试，测试结果可通过浏览器自带的开发者工具（F12）查看。如果浏览器访问到的IP和您在HOSTS文件中绑定的IP一致，表示HOSTS文件配置正确。 在电脑本地成功访问加速域名绑定的IP后，您可以基于自己的测试用例URL，或者必要的核验步骤，验证相关功能的准确性。例如在浏览器中访问一个源站存在的URL，查看对应URL返回的状态码是否200；一般首次访问全站加速节点，如全站加速节点可正常回源获取该文件，则会返回200状态码至客户端。如果返回状态码非200或其他功能验证不符合预期，请提交工单联系天翼云客服处理。

新建数据标准并发布 在本示例中，您需要新建如表所示的3个数据标准： 下表为数据标准 目录 标准名称 标准编码（自定义） 数据类型 数据长度 引用码表 码表字段 描述 付款方式 付款方式 paymenttype 长整型(BIGINT) 无 付款方式 付款方式编码 无 供应商 供应商 vendor 长整型(BIGINT) 无 供应商 供应商id 无 费率 费率代码 ratecode 长整型(BIGINT) 无 费率代码 费率id 无 1. 在数据架构控制台，单击左侧导航树中的“数据标准”，进入数据标准页面。 2. 首次进入“数据标准”页面，需要定制模板，定制的模板后续可以在配置中心进行更改。本示例需要额外勾选“引用码表”，如图所示。 3. 请参考以下步骤，分别新建3个数据标准的目录：付款方式、供应商、费率。 在数据标准页面的目录树上方，单击新建目录，然后在弹出框中输入目录名称“付款方式”并选择目录，单击“确定”完成目录的新建。 4. 请参考以下步骤，分别新建3个数据标准：付款方式、供应商、费率。 a.在数据标准页面的目录树中，选中所需要的目录，然后在右侧页面中单击“新建”。 b.在新建数据标准页面中，3个数据标准可分别参考如下配置，配置完成后单击“保存”。在本示例中，数据标准模板只选取了几个参数，您可以参考用户指南中的“数据架构> 管理配置中心”的“标准模板管理”定制数据标准模板。 5. 返回数据标准页面后，在列表中勾选刚才新建的3个数据标准，然后单击“发布”发布数据标准。 6. 在“批量发布”对话框中选择审核人，再单击“确认提交”，等待审核人员审核通过后，数据标准发布成功。如果当前帐号具备审核人权限，也可以勾选“自助审批”，直接提交即可以审核通过。

本文介绍如何在科研助手中查看数据集详情。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据存储】的【数据集管理】。 3. 在【数据集管理 】页面，点击左上角的【个人数据集】选项卡。 4. 选择一个数据集，在操作栏中单击【查看 】按钮。 注意：科研助手的数据集与专业版数据集通用，在科研助手的【数据集管理】中可以显示并操作专业版的数据集。 5. 此时可查看数据集中的存储的内容。 6. 以下为数据集详情页面展示的字段和功能说明： 参数 说明 刷新 刷新当前存储文件管理展示页面。 完整路径 在文件存储服务器中的路径，支持复制。 文件名 文件名或者文件夹名。 大小 若为文件夹时，不显示；若为具体文件时，为文件大小。 修改时间 文件的最后修改时间。 操作 下载

云硬盘挂载至云主机后，需要初始化云硬盘才可以正常使用。本文帮助您了解如何初始化数据盘。 操作场景 一块新创建的数据盘在挂载至云主机后，还不能直接存储数据，您需要为这块数据盘创建分区、格式化等初始化操作后才可以正常使用。 系统盘会自动初始化，无须手动再操作。 数据盘无论是随云主机一起创建的，还是后续购买手动创建的，都需手动初始化。 注意 磁盘分区和格式化被视为高风险操作，因此在进行初始化操作时必须保持谨慎。此操作仅适用于一块全新的数据盘，而不适用于已写入数据的盘。如果您决定格式化已写入数据的盘，请务必为该盘创建一个快照，以确保数据不会丢失。 前提条件 数据盘已挂载至云主机，且未初始化。 操作方法 专属云内磁盘操作同公有云中一样，数据盘需要初始化之后才可使用。初始化方法参见初始化数据盘。

本章节主要介绍数据治理中心的配置MongoDB连接功能。 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数详见下表：MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodblink 服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DBmongodb 用户名 连接MongoDB的用户名。 cdm 密码 连接MongoDB的密码。

本文为您介绍对象存储数据灾备安装部署的相关操作。 概要 对象存储数据灾备主要解决对象存储相关的数据同步场景。帮助用户将海量非结构化数据同步至对象存储中，进而提高非结构化数据的检索与访问性能。既降低了运营的成本，又提高了数据的安全性。文件归档功能使得数据归档管理更加灵活方便，能够及时将本地存储符合归档条件的数据同步至对象存储中，从而释放本地存储资源；所有归档记录可以通过管理界面快速查询和恢复，十分适合有海量数据存储的场景。 对象存储数据灾备的使用场景主要有： 本地/NAS存储上的数据同步至对象存储，详情见本地到对象存储规则、文件比较与同步规则两章节； 对象存储上的数据同步至本地/NAS存储，详情见对象存储到本地规则章节； 对象存储到对象存储之间的数据同步，详情见文件比较与同步规则章节。 针对以上场景：对象存储数据灾备可以实现间隔为秒级的数据定期同步。 操作步骤 一、购买许可 持续数据保护/主机高可用/数据定时灾备/文件存储数据灾备/对象存储数据灾备/数据库双活的购买许可步骤类似。下面以持续数据保护为例，介绍购买许可步骤。 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入多活容灾服务控制台。 4. 点击左侧菜单栏“资源同步”“资源同步管理”，进入资源管理模块页面。 5. 点击左侧菜单栏“对象存储数据灾备”，点击“许可”，进入许可页面。 6. 点击右上角“购买对象存储数据灾备许可”按钮，弹出购买许可弹窗。按需购买许可。 7. 填写购买数量和时长，勾选已阅读并同意相关协议后，点击“购买”按钮，完成许可支付。

本节介绍了卸载云主机的数据盘的操作场景、前提条件、操作步骤。 操作场景 如果创建私有镜像所使用的原云主机挂载了多个数据盘，可能导致由私有镜像创建的新云主机无法使用。因此在创建私有镜像前，需要卸载原云主机中挂载的所有数据盘。 本节介绍如何卸载云主机中挂载的所有数据盘。 前提条件 已登录到创建Linux私有镜像所使用的云主机。 操作步骤 1. 查询是否挂载数据盘。 执行以下命令，检查云主机挂载的磁盘块数。 fdisk l − 磁盘块数＞1，表示云主机挂载有数据盘，执行2。 − 磁盘块数1，表示云主机未挂载数据盘，执行3。 2. 执行以下命令，检查当前云主机挂载的数据分区。 mount − 回显不包含数据盘分区的信息时，无需进行卸载数据盘的操作。 /dev/vda1 on / type ext4 (rw,relatime,dataordered) − 回显包含类似如下信息，请执行3。 /dev/vda1 on / type ext4 (rw,relatime,dataordered) /dev/vdb1 on /mnt/test type ext4 (rw,relatime,dataordered) 3. 清理“fstab”文件中的配置信息。 a. 执行以下命令编辑“fstab”文件。 vi /etc/fstab b. 删除相关数据盘在“fstab”文件中的配置信息。 “/etc/fstab”文件中记录了系统启动时自动挂载的文件系统和存储设备的信息，需要删除，如下图中最后一行是数据盘在“fstab”中的配置信息。 数据盘在fstab文件中的配置信息 4. 执行如下命令，卸载已挂载的数据盘。 卸载前请确认数据盘上没有任何数据读写，否则会导致卸载失败。 umount /dev/vdb1 5. 执行以下命令，再次查看当前云主机挂载的数据分区。 mount 回显信息中不再包含数据盘分区的信息时，则表示卸载成功。

本文为您介绍如何通过多次迁移,实现对源端增量数据的迁移。 操作场景 对象存储迁移服务ZMS在执行任务时，会先进行源端数据扫描，若您的源端持续增加新数据，则每次执行迁移任务时，无法确保迁移源端实时新增的数据。本方案将介绍通过规划任务的多次迁移，逐步实现将您的源端增量数据迁移至天翼云ZOS。 源端增量数据包含以下情况： 源端存量数据的修改：后续业务对源端已有的存量数据进行修改。 对源端新写入的数据：源端数据不存在，后续业务在源端新写入的数据。 迁移方案的原理 要实现对源端增量数据的迁移，需要每次执行迁移时，对不需要重复迁移的数据进行跳过，仅迁移增量数据。 对象存储迁移服务ZMS提供“ 按最后修改时间 ”选项，支持对进行同名文件是否覆盖的判断。该配置实现以下效果： 对源端和目的端的同名文件：若源端该文件的最后修改时间（Lastmodified）比目的端新，则用源端更新的文件覆盖目的端较旧的文件，实现将源端存储数据的最新修改同步至目的端。 对源端新写入的文件：源端新写入的文件在目的端无同名文件，会直接将该新写入文件迁移至目的端，实现对源端新写入文件的迁移。 因此，配置“ 按最后修改时间 ”进行迁移，既可以将对源端新写入的数据全部进行迁移，又可以对源端和目的端都存在的同名文件按最后修改时间判断，将源端最新修改（不包含删除）过的存量数据也进行迁移。 注意 若您的源端存量数据存在删除的情况，迁移服务不会将您的源端删除操作同步至目的端，若您需要将目的端的已迁移数据也进行删除，请自行操作目的端对象存储。 该方案对增量数据的迁移无法确保时效性，不适用对增量数据的迁移有很强的时效性的情况。

本节介绍如何使用加速数据集。 以创建离线训练应用为例，说明如何使用加速数据集。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 确保存储插件cstorcsi运行正常。 数据集加速状态为已加速或已预热。 约束与限制 当前使用加速数据集仅限default命名空间。 如数据集加速状态为已加速或已预热，训练应用默认使用加速PVC；其他状态下，训练应用默认使用非加速PVC。 操作步骤 使用加速数据集 登录云容器引擎管理控制台 在集群列表页点击进入指定集群 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用 进入离线训练应用创建页面，进行相关信息配置，详细参考 PyTorch GPU单机训练 配置训练数据 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 训练应用创建完成，将默认使用加速PVC。以PyTorchJob为例，可以在yaml中查看挂载信息：

本页为您介绍数据传输服务DTS的产品规格。 数据传输服务DTS产品规格说明 数据传输服务DTS提供如下可用的产品规格： 任务类型 分类 适用场景 参考性能 数据迁移 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据迁移 中规格 小型企业及个人在线业务的去O迁移或上云 3000RPS 数据迁移 大规格 中小型企业及个人在线业务的去O迁移或上云 5000RPS 数据迁移 超大规格 大型型企业在线业务的去O迁移或上云 7000RPS 数据迁移 极大规格 超大型企业在线业务的去O迁移或上云 12000RPS 数据同步 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据同步 中规格 小型企业及个人在线业务的数据复制与灾备 3000RPS 数据同步 大规格 中小型企业在线业务的数据复制与灾备 5000RPS 数据同步 超大规格 大型企业核心业务的本地同城灾备或异地灾备环境搭建 7000RPS 数据同步 极大规格 超大型企业核心业务的本地同城灾备或异地灾备环境搭 12000RPS 数据同步 特大规格 特大型企业核心业务的本地同城灾备或异地灾备环境搭建 30000RPS 说明 如需进行MySQL实例间双向同步、PostgreSQL实例间双向同步，请务必在订购时选择订购数据同步大规格及以上规格。您可以在订购时选择同步拓扑双向同步，此时系统将自动为您限制仅能选择数据同步大规格及以上规格；如订购时未选择双向同步，那么仅当您订购的数据同步实例是大规格及以上规格时，还可以在在实例配置配置迁移对象及高级配置环节选择双向同步。 订购MySQL>MySQL、PostgreSQL>PostgreSQL数据同步实例小规格，将不支持启动任务后修改同步对象，如需动态修改同步对象请选择订购中规格及以上规格。 当用户订购DDS/MongoDBDDS/MongoDB迁移链路、数据架构类型为分片，分片数>5时，可订购极大规格。 当用户订购DDS/MongoDBDDS/MongoDB同步链路、数据架构类型为分片，分片数>5时，可订购极大规格；分片数>9时，可订购特大规格。 各规格的线上运行性能受网络环境、源实例和目标实例的性能、延迟等因素影响，实际的性能数字会有差异。

本文主要介绍云日志服务中数据加工的基本概念。 基本概念 ETL ETL是指将对业务系统的数据进行抽取、清洗、转换、加载的过程，从而整合零散、不标准、不统一的数据。云日志服务支持加载源日志单元数据，将数据转换后输出到目标日志单元。 事件、数据、日志 在数据加工功能中，事件、数据都表示日志，例如事件时间就是日志时间，字段操作指令fields就是用于保留或丢弃特定日志字段的指令。 日志时间 日志时间指事件所发生的时间，也称事件时间。在云日志服务中的保留字段为ts，一般由日志中的时间信息直接提取生成。数据类型为datetime。 日志标签 日志存在标记，区别于其他字段，在数据加工中，标签字段以tag:作为前缀。包括： 用户自定义标签：用户通过API PutLogs写入数据时添加的标签。 系统标签：云日志服务为用户添加的标签，包括tagfileName和taghostIp等。 配置相关概念 源日志单元 数据加工中，从中读取数据再进行加工的日志单元是源日志单元。 一个加工任务仅支持一个源日志单元，但可以对一个源日志单元配置多个加工任务。 目标日志单元 数据加工中，数据写入的日志单元是目标日志单元。 一个加工任务可以配置多个目标日志单元，可以是静态配置，也可以是动态配置。具体配置方法，请参见多目标日志单元数据分发。 SPL SPL（Semistructured Processing Language）是云日志服务数据加工使用的一种类Linux Shell的脚本语言。SPL提供内置8个基本指令和一百多个类SQL函数，简化了常见的数据加工模式。

本文主要讲解媒体存储的网络测试工具。 网络测试工具用于测试客户网络到对象存储服务器的联通性和上传下载带宽。 下载网络测试工具 支持平台 下载地址 Windows 图形界面 netanalyze.exe Windows 命令行 netanalyzecmd.exe Linux 命令行 netanalyze 命令行参数 参数 意义 是否必填 ak Access key，可参考：密钥管理 是 sk Secret access Key，可参考：密钥管理 是 ep Endpoint，可参考：基础信息查看 是 bucket Bucket名，用于上传测试文件，可参考：基础信息查看 是 key 测试文件名，默认BandWidthText 否 dur 测试上传下载时间，默认30秒，单位（秒） 否 fsize 测试上传下载文件大小，默认10MB，单位（MB） 否 concurrency 测试上传下载并发数，默认1 否 loglevel 日志级别，默认info，可选debug 否 命令行使用demo ./netanalyze ep ak sk bucket

本文介绍数据加工任务运行的指标详情。 操作入口 1. 登录云日志服务控制台。 2. 点击左侧菜单栏数据加工。 3. 点击目标数据加工任务名称，进入加工任务详情页面。 总览指标 加工速率：默认时间周期为1小时，统计窗口为1分钟，速率为数据条目数/秒。 read：从源日志单元中读到的数据条数。 delivered：成功写入到目标日志单元的数据条数。 dropped：在加工过程中丢弃的日志数据条数。 failed：从源日志单元中读取，在加工过程中发生失败的数据条数。 读取日志数统计：从源日志单元读取到的数据条数总计，默认时间周期为1小时。 写出日志数统计：成功写入到所有目标日志单元的数据条数总计，默认时间周期为1小时。 失败日志数统计：从源日志单元中读取、并在加工过程中发生失败的数据条数总计，默认时间周期为1小时。 写出日志数占比：成功投递到目标日志单元的数据条数占源日志单元读取到数据条数的比例，默认时间周期为1小时。

创建客户端CEK数据密钥，用来对数据库用户数据加解密。 plaintext CREACREATE COLUMN ENCRYPTION KEY columnencryptionkeyname WITH( CLIENTMASTERKEY clientmasterkeyname, ALGORITHM algorithmtype, ENCRYPTEDVALUE encryptedvalue ); 参数描述： columnencryptionkeyname：CEK数据密钥对象名，在同一命名空间中满足唯一性约束 CLIENTMASTERKEY：指定用于对当前CEK加密的CMK ALGORITHM：指定该CEK将用于何种加密算法，支持： AEADAES256CBCHMACSHA256：采用AES256 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 AEADAES128CBCHMACSHA256：采用AES128 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 SM4SM3：采用国密SM4 CBC模式对数据加密实现数据机密性，通过消息验证码(国密SM3生成数据摘要)确保数据的完整性和身份校验。 ENCRYPTEDVALUE（可选项）：用户指定的密钥口令，如果不指定，则会自动生成密钥。密钥口令长度范围为[28, 256]个字符。28个字符派生出来的密钥安全强度满足AES128。如果采用用AES256，密钥口令的长度需要39个字符。如果不指定，则会自动生成256比特的密钥。

本节介绍数据缓存亲和性调度。 Fluid提供了数据缓存亲和性调度优化能力，根据数据集排布的Pod调度策略，支持通过Webhook机制将调度信息注入到业务Pod中，从而实现将业务Pod优先调度到有数据缓存能力的节点。 在智算场景下，创建训练任务指定数据集时，通过调度优化策略将训练任务优先调度到缓存数据节点，可以提高数据同节点访问概率，获取最大程度访问效率。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 已创建数据集并开启加速。 数据集加速状态为已加速或已预热。 功能介绍 基于Mutating Webhook机制，Fluid可以在 业务Pod 创建时拦截，检测是否使用 Fluid PVC，从而为应用Pod注入所需数据缓存的亲和性信息（fluid.io/s{namespace}{dataset}）。当Kubernetes调度器调度应用Pod时，可以优先选择有缓存数据的节点。 注意 如果应用Pod在spec.affinity或spec.nodeSelector中自定义了与fluid调度相关的亲和性信息，此时以应用Pod自身配置为准，Fluid不会注入相关的亲和性调度配置信息。 操作步骤 1、创建数据集并开启数据加速 2、训练任务使用加速数据集 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用； 进入离线训练应用创建页面，在“基本信息”栏添加标签： 标签名为：fuse.serverful.fluid.io/inject 标签值为：true 进入离线训练应用创建页面，进行相关信息配置，详细参考创建训练任务； 配置训练数据： 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 继续其他配置，完成训练应用创建。 查看训练任务调度信息 进入主菜单 > 工作负载 > 容器组，查看训练任务Pod对应的YAML信息，已经注入缓存节点调度信息： 进入主菜单 > 工作负载 > 容器组，可以看到训练任务pod 所在节点与fluid数据节点一致。

本节介绍如何新增数据投递。 约束与限制 跨账号投递仅支持投递到其他账号管道中，不支持投递到其他云服务。 如果新增的数据投递为跨账号投递，则需要登录目的账号进行授权操作。 创建数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计> 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道后，单击目标管道名称后的“更多> 投递”，右侧弹出现在数据投递设置页面。 6. （可选）在弹出的授权提示中，确认无误后，单击“确认”，完成授权。 首次投递到目的投递类型需要进行授权，如果已经授权，请跳过该步骤。 7. 在新增投递配置页面中，配置数据投递相关参数。 1. 配置基本信息。 参数名称 参数说明 投递名称 自定义投递规则的名称。 投递资源消耗 默认生成，无需配置。 2. 配置数据源。 数据源配置中，显示当前管道数据的详细信息，无需配置。 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE，即默认从态势感知（专业版）管道投递。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称 数据位置策略 当前管道中数据位置的策略。 读取身份 数据源读取身份信息说明。 3. 配置数据目的，请根据投递目的进行配置。 PIPE：将当前管道数据投递到本账号其他管道或其他账号的管道中，请根据您的需要进行选择配置。 本账号投递：将当前管道数据投递到本账号的其他管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“本账号”。 投递类型 选择投递类型，此处选择PIPE。 工作空间 选择目的PIPE所在工作空间。 数据空间 选择目的PIPE所在数据空间。 管道 选择目的PIPE所在管道。 写入身份 默认生成，无需配置。 跨账号投递：将当前管道数据投递到其他账号的管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“跨账号”。 投递类型 选择投递类型，此处选择PIPE。 账号ID 输入目的PIPE所在账号的ID。 工作空间ID 输入目的PIPE所在工作空间的ID，查询方法请参见查看管道详情。 数据空间ID 输入目的PIPE所在数据空间的ID，查询方法请参见查看管道详情。 管道ID 输入目的PIPE所在管道的ID，查询方法请参见查看管道详情。 写入身份 默认生成，无需配置。 4. 在“访问授权”中，查看上述步骤6中授予的权限。 投递请求需要获取访问您云资源的读写权限，授权后，投递任务才能拥有对您云资源相应的访问权限。 8. 单击“确定”。

创建数据集 1. 创建普通存储数据集：登录智算服务控制台，单击左侧菜单栏的“智算资产”>“我的数据集”菜单项进入我的数据集模块，点击“基础数据集“菜单，选择“普通/智算存储”，点击【+创建普通/智算存储数据集】，进入创建页面 2. 填写相关配置并提交。基础数据集创建目前仅支持使用自有存储，创建完成后，自动为您创建拼接此数据后缀的容器内挂载路径。 类型 字段 说明 存储基本信息 数据集名称 压缩任务名称，不超过20个字符 存储基本信息 描述 数据集描述信息 权限配置 可见范围 读写权限范围，支持设置仅文件所有者可见、指定工作空间内的算法开发角色可见两种权限策略 存储位置 存储桶/HPFS名称 您租户账号下的存储桶或HPFS名称；若您还未创建，您可点击【去创建】跳转到存储控制台进行创建 存储位置 ZOS/HPFS路径 您对应存储的具体的目录路径，您可根据提示示例进行填写，平台会对您填写路径的存在性进行校验，若校验不通过会进行提示，并禁止提交。 对于管理员用户，此项选填；对于普通子用户，此项必填。 特殊配置 设为保密数据集 对于某些行业客户，在大模型训练时会涉及到保密数据的处理问题，比如需要避免用户下载到本地造成数据泄漏，针对这类问题，平台推出了特色的数据保密功能，以应对用户下载或拷贝保密数据的行为。相关配置仅对管理员用户开放，且此功能会增加操作复杂度和资源占用，建议您只在需要的时候使用。 开启此按钮后，可将本数据集设置为保密数据集。开启保密后，此数据集将：1）仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；2）数据挂载到容器时禁止访问外网。 特殊配置 设为保密数据集的输出路径 若您已设置保密数据集，您还需再创建一个保密输出数据集，专门用于存储保密数据集的输出，并谨慎设置相关权限：1）若您使用了自有存储，建议您只给自己或管理者读写权限（需前往对应存储控制台设置），即您需要确保这是由您完全可控的存储；2）此数据集的可见范围（在本页面的权限配置设置），建议您只对需要的用户设置。 特殊配置 云审计 您设置好保密输出路径后，会自动弹出云审计设置，此设置对使用了对应保密输出数据集的任务生效。开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 特殊配置 审计频率 您开启云审计后，会弹出审计频率设置。审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。

本节主要介绍实例自定义数据的定义,以及如何将自定义数据传入实例、查看自定义数据、修改自定义数据等。 实例自定义数据 实例自定义数据是指用户给虚拟机实例上传的脚本、指令或配置文件等数据，用于管理实例的启动行为或对实例进行一些基础配置，如：完成自动化运维脚本、安装/卸载/更新软件或补丁、设置用户名及密码等。 注意 实例必须使用公共镜像或基于公共镜像创建的自定义镜像，或者确保自定义镜像中已经安装cloudinit相关组件。 创建虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 对于普通线上用户，点击【新建实例】；对于线下用户，点击【新建实例>指定区域开通】。 4. 在“高级选项”中设置实例自定义数据，虚拟机创建完成启动后，即可生效，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 已有虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 在虚拟机列表找到目标实例，操作列依次点击【更多>实例管理>自定义数据】，编辑完成后点击【确认】，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 4. 找到目标实例，重装虚拟机操作系统，即可为已有虚拟机设置自定义数据。 注意 为已有虚拟机设置实例自定义数据需重装后才可生效。

本文主要介绍可信数据空间的产品定义。 可信数据空间是融合数据沙箱、隐私计算、区块链、高速传输网等前沿技术打造的数据流通利用基础设施。在可信数据空间中，各参与方通过连接器接入，空间提供各类开发能力以及可信管控能力，实现对各种数据流通场景的支持。其中，数据沙箱提供了安全隔离环境和集中式的开发能力，隐私计算实现原始数据可用不可见的端到端交付，区块链实现数据全生命周期的存证溯源，高速传输网实现即时组网、弹性带宽和安全加密，保障数据在空间中安全、合规、高速、高效地流通和利用。

本章主要介绍如何创建数据分类规则。 只有在创建数据分类规则之后，您才可以创建数据脱敏策略进行数据脱敏。 前提条件 数据密级定义已完成，请参见上篇数据密级。 新建分类规则 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据分类”，在“分类规则”页签中，单击“新建”。 系统弹出“新建分类”对话框，填写相关配置，完成创建分类规则。支持按模板创建（内置）规则和自定义规则两种方式。 详见下图：配置分类规则 配置分类规则参数说明 配置 说明 分类类型 即规则所属分类，支持内置（按模板添加）和自定义添加。 密级 对配置的数据进行等级划分。如果现有的分级不满足需求，请进入数据密级管理页面进行设置，详情请参见上篇数据密级。 分类模板 分类类型选择“内置”，呈现此参数。如果选择“内置”，用户可以根据实际需要选择系统内置的敏感数据识别定义模板，例如：时间、手机号、车牌号。 分类名称 分类类型选择“内置”，分类名称自动关联分类模板生成。 分类类型选择“自定义”，用户可以自行填写分类名称。 说明 定义数据分类规则，名称必须唯一。 识别规则 分类类型选择“自定义”，呈现此参数，支持正则表达式。 正则表达式 内容识别：提供的数据识别方式之一，自定义正则表达式。 列名识别：提供字段名精确匹配和模糊匹配方式，支持多个字段匹配。 描述 对当前规则进行简单描述。

本章主要介绍翼MapReduce的恢复DBService数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对DBService进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对DBService进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie的元数据。恢复DBService的数据将恢复全部相关组件的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，依赖DBService的组件可能配置过期，需要重启配置过期的服务。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常，不能执行恢复操作。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节为您介绍数据识别模块的相关内容。 数据识别模块包含数据标签模块。 数据标签主要包含内置标签展示，自定义标签新增、修改、删除、启停用，标签查询等功能。 新增数据标签 1.登录API风险监测实例。 2.在左侧导航栏选择“数据识别 > 数据标签”，进入数据标签页面。 3.单击“新增按钮”，即可开始数据标签新增。 4.在弹出的对话框中填写相关参数。 配置模块 配置项 说明 基础设置 标签名称 只能输入中文字符、字母、数字、下划线()、点(.)或短横()，长度不超20。 基础设置 描述 填写数据标签的描述。 基础设置 分类 可选择已有分类或自定义分类。 基础设置 分级 选择已有分级或自定义，只能使用数字进行分级。 基础设置 启用状态 选择启用或禁用。 数据特征 序号 最多添加10 项。 数据特征 识别位置 共六种，分别为：请求头、请求体、响应头、响应体、响应url、文件，可以全部选择。 数据特征 识别方式 关键词或正则匹配。 数据特征 识别规则 输入关键词或正则表达式。 二次校验 标签值 关键词或正则表达式匹配。 二次校验 标签值前20 字符 关键词或正则表达式匹配。 二次校验 标签值数量 可选择大于、小于、等于。 过滤规则 序号 过滤规则的序号。 过滤规则 规则名称 添加的过滤规则的名称。 过滤规则 匹配规则 可选过滤条件有URL、标签值、标签前文匹配，匹配类型支持正则表达式和关键词。 过滤规则 操作 删除一项规则。 过滤规则 新增一项 添加一项识别规则。 测试用例 可输入样例数据 上述规则都填写好以后，点击校验测试用例，可以校验输入的数据内容是否符合上述设置的过滤规则。 5.填写完成后，单击“确定”即可完成数据标签新增。

本页为数据传输服务DTS的安全白皮书。 天翼云DTS是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库间的数据传输，致力于解决远距离、毫秒级异步数据传输难题。 DTS秉承天翼云对用户的安全承诺，通过完善的账号权限体系、网络隔离与防护、数据加密传输、断点续传、数据校验，保障用户在进行数据迁移、同步过程中的安全性、可用性和数据一致性。 完善的账号权限体系 DTS在天翼云完善的账号权限体系的基础上，为用户提供严格的租户隔离，以及对各种资源进行了精细的权限控制，保障了用户的账号、数据和进行各项操作的安全性。 网络隔离与防护 DTS借助天翼云的Web应用防火墙和主机安全，以及基于HTTPS加密传输，实现了可靠的网络防护和Web访问的安全性。DTS实例通过VPC实现不同用户资源的网络隔离，以及通过网络ACL和安全组实现了资源粒度，如ECS、数据库实例的严格、精细的出入流量控制，保障了资源访问的安全性。 数据加密传输 DTS对于数据传输的源端和目标端之间的连接，提供了可选的SSL加密传输的连接方式，保障了数据迁移、同步过程中数据传输的安全性。 断点续传 DTS实现了断点续传功能，保障了数据迁移、同步的稳定性和高效性。

{Job.getNodeOutput('preDLI')} ，其中preDLI为前一个节点的名称。 − 作业运行参数：用于将数据集中的数据传递到子作业以供使用。Source对应的是数据集TableList表的第一列，Destination是第二列，所以配置的EL表达式分别为 {Loop.current[0]} 、 {Loop.current[1]} 。 详见下图：配置For Each算子 配置完成后保存作业。 5. 测试运行主作业。 点击主作业画布上方的“测试运行”按钮，测试作业运行情况。主作业运行后，会通过For Each节点自动调用运行子作业。 点击左侧导航栏中的“实例监控”，进入实例监控中查看作业运行情况。等待作业运行成功后，就能查看For Each节点生成的子作业实例，由于数据集中有6行数据，所以这里就对应产生了6个子作业实例。 详见下图：查看作业实例 查看对应的6个DLI目的表中是否已被插入预期的数据。您可以在DataArts Studio数据开发模块中，新建DLI SQL脚本执行以下SQL命令导入数据，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： / 查看表a数据，其他表数据请修改命令后运行 / SELECT FROM a; 将查询到的表数据与给源数据表插入数据步骤中的数据进行对比，可以发现数据插入符合预期。 详见下图：目的表数据

本章节主要介绍高质量数据集平台如何管理标注数据集。 标注数据集是由标注模块产生的数据集。 【查看】支持查看标注数据集详情； 【授权】支持将数据集授权给个人或团队； 【更新元数据】点击后会将该数据集元数据信息进行更新。

功能介绍 数据总览 数据总览是一项专为多租户场景设计的功能，支持将多个租户的数据整合并汇总至统一的大屏界面进行集中展示。该功能涵盖关联租户数据统计、近期使用情况分析、云电脑使用人数与时长统计，以及登录时长与资源包使用量的TOP5排名展示，帮助用户全面掌握多租户下的整体运营状况。 租户概览 租户概览从单一租户的视角呈现云电脑使用数据，在多租户视图与单租户视图中均可查看，管理员可通过左上角的租户下拉菜单切换不同的租户对象。 租户概览提供以下信息：租户名称、整体数据指标、近期使用数据指标、资源包使用情况以及网络时延等数据。 明细查询 数据明细功能支持基于时间、桌面等多个维度进行筛选，方便用户进行针对性查询与导出。当前提供以下四个明细查询表，均可通过右上角的“导出记录”按钮一 键导出。 明细数据包括： 电脑活跃数据：按日期统计所有租户的活跃用户数、使用时长和平均用户使用时长 电脑登陆数据：按云电脑维度，查询指定时间范围的全部登录记录 按租户统计活跃数据：按照租户名称查询过滤对应的云电脑使用明细 资源使用率：按照租户名称查询名下云电脑的CPU/内存/系统盘/数据盘/时延等使用数据