版本详情查看 用户可以在版本列表中看到已经提交过的版本信息。 操作如下： 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录中，双击作业名称，进入作业开发页面。 4. 在页面右侧单击“版本”，查看版本提交记录，找到需要查看详情的版本单击“查看”即可。 点击查看，将会打开一个新窗口，展示出该版本的作业定义。查看窗口仅用于展示某个版本的作业属性，不可修改任何作业属性。 详见下图：版本详情查看 版本对比 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业目录中，双击作业名称，进入作业开发页面。 4. 在页面右侧单击“版本”，查看版本提交记录，勾选需要对比的版本单击“版本对比”即可。 若只勾选一个版本，则比较选中的版本和开发态的作业属性Json。若勾选两个版本，则比较两个版本的作业属性Json。 详见下图：对比版本操作界面

本章节主要介绍数据治理中心的配置常见关系数据库连接功能。 常见关系数据库包括数据仓库服务（DWS）、云数据库 MySQL、云数据库 PostgreSQL、云数据库 SQLServer、PostgreSQL、Microsoft SQL Server、IBM Db2、SAP HANA。 前提条件 已参考管理驱动上传对应的驱动。 常见关系数据库连接参数 连接参数详见下表：常见关系数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mysqllink 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。例如： SQLServer默认端口：1433 PostgreSQL默认端口：5432 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择3.3.5.3管理Agent中已创建的Agent。 驱动版本 不同类型的关系数据库，需要适配不同的驱动。 一次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 SSL加密 可选参数，支持通过SSL加密方式连接数据库，暂不支持自建的数据库。 RDS上的PostgreSQL数据库服务做了一些安全增强，在创建RDS上的PostgreSQL的连接时，该参数需要配置为“是”。 是 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 说明 CDM作业默认打开了useCursorFetch开关，即JDBC连接器与关系型数据库的通信使用二进制协议。 sslmoderequire 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 '

本文介绍运营后台数据概览页面内容。 概览 用户可在数据概览页面查看本租户的应用使用数据，包括累计数据与趋势图。 操作步骤 1. 在产品页左侧导航栏中，选择【设置】的【运营管理】，进入运营后台 2. 在运营后台左侧导航栏中，选择【系统管理】的【数据概览】 3. 在【数据概览】页面，展示了本租户应用的使用数据，包括 1. 累计数据：总活跃用户数、总活跃次数、用户平均交互次数、总新增用户数、累计使用用户数 2. 趋势及占比数据：活跃用户数趋势图、活跃次数趋势图、用户平均活跃次数趋势图、新增用户数趋势图、累计用户数趋势图、各应用交互占比、3 日留存率趋势图、7 日留存率趋势图 4. 用户可选择指定时间范围内的数据进行查询。

参数名 说明 取值样例 指标 可选参数，输入指标名称，或选择OpenTSDB中已存在的指标。 city.temp 时间 可选参数，记录数据的时间点，格式为yyyyMMddHHmmdd的字符串或时间戳。 1598870800 标记 可选参数，可在这里自定义数据的标签。 tagk:tagv, tagk2:tagv2

结构、全量过程中 请勿修改源库和目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿在源库执行任何DDL，否则可能导致数据不一致或任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 增量过程中 请勿修改源库和目标库的端口号，请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿修改源数据库表的主键或者唯一键（主键不存在时），否则可能导致增量数据不一致或任务失败。 请勿修改源数据库中表的replica identity属性，否则可能导致增量数据不一致或任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 库级同步时，源库新增无主键表时，请务必同时将该无主键表的replica identity属性设置为full，然后再写入数据，否则可能导致数据不一致或任务失败。 库级同步时，源库新增主键表时，如果主键列toast属性为main、external、extended时，请务必同时将该表的replica identity属性设置为full，然后再写入数据，否则可能导致数据不一致或任务失败。 若选择同步DDL，须注意源库执行DDL时，确保在目标库上是兼容的。 操作步骤 1、购买DTS实例。 在管理控制台点击“创建实例”进入订购页面，“实例类型”选择“数据迁移”，”源数据库”选择Postgresql，“目标数据库”选择MySQL，完成其他信息的填写并完成购买。 2、进入实例配置页面。 DTS实例购买成功后，进入【数据迁移】实例列表页面，上一步骤购买成功的实例在实例列表中显示状态为“待配置”，进入实例配置页面的操作。

本页介绍天翼云TeleDB数据库的数据空间管理相关操作。 操作场景 您可按照百分比或分片形式对数据节点上的数据进行迁移。数据迁移需要实例集群内部至少有两个数据节点组。 操作步骤 1. 切换至TeleDB控制台 ，在左侧导航树上，单击数据空间管理 ，进入数据空间管理页面。 2. 数据迁移 1. 选择数据迁移 页签，单击创建任务 ，出现创建迁移任务对话框。 2. 在创建迁移任务对话框，输入任务名称 、源节点 、目标节点 和迁移类型。 任务名称：根据自己的需求填写，可自定义。 源节点：根据实际情况选择。 目标节点：根据自己的实际情况选择。 迁移类型：分为shard迁移和百分比迁移。 Shard迁移：按照分片迁移，需要选择分片，单次可迁移的分片最大为1000。选择分片迁移需移动分片至已选shard。 百分比迁移：按照源节点上的数据百分比进行迁移，需要输入1100的整数。 3. 单击确定完成任务迁移。 3. 空间清理 说明 当数据被删除或更新时，TeleDB将其标记为无效，但并不立即回收相关的存储空间。需要定期执行空间清理操作，以检查并释放被标记为无效的数据所占用的空间。这样可以确保数据库在长时间运行后不会因为无效数据的积累而占用过多的磁盘空间。 1. 选择空间清理 页签，单击创建任务，出现创建清理任务 对话框。 2. 选择源节点 、清理开始时间 和清理结束时间 ，单击确定。 4. 空间回收 说明 经过空间清理任务后的实例并没有立即释放空间，用户可以通过空间回收任务对实例进行重建表和索引，自动释放被空间清理回收的空间。 1. 选择空间回收 页签，单击创建任务 ，出现创建回收任务 对话框。 2. 选择回收节点、设置回收开始时间和回收结束时间，单击确定完成空间回收。 5. 数据重平衡 说明 用户可以通过数据重平衡，依据磁盘使用率，把节点组原有的数据平均分布到节点组内各个节点上。该功能会自动生成迁移任务以及空间清理任务，用户可以在任务详情或者在对应功能页面查看任务具体执行情况。 1. 选择重平衡任务页签，单击创建任务，出现创建数据重平衡任务对话框。 输入任务名称，选择节点组，单击确定，完成数据重平衡。 6. 表空间管理 说明 用户通过对表空间进行管理，以组织数据存储，在物理设备上合理分配数据。 1. 创建表空间 1. 选择表空间管理 页签，单击创建表空间 ，出现创建表空间对话框。 2. 在创建空间表对话框，填写表空间名称 ，选择归属账号 ，填写挂载目录 ，并检测目录有效性 ，单击确定完成表空间的创建。 说明 表空间名字请参照以下格式： 1.不能以pg开头。 2.只支持大小写字母、数字和下划线。 3.只能以字母开头。 2. 修改表空间 单击编辑按钮，在弹出的编辑表空间可修改表空间或查看表空间。 3. 删除表空间 单击删除 按钮，在出现的警告提示框，单击确定即可删除表空间。

本章节为您介绍敏感数据发现的相关操作。 敏感数据发现功能内置多种发现规则，支持基于数据内容的识别，不仅依赖于用户的元数据管理系统、字段名或字段注释等信息。支持用户基于自身需求自定义规则，实现对敏感数据的自动发现和标识。 同时敏感数据发现功能可同数据分级分类功能进行对接，可基于行业或法律法规对敏感数据进行分类分级与梳理，便于用户按照不同级别进行脱敏算法的配置，有效避免数据的过度保护。 结构化发现 创建规则 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“敏感数据发现 > 结构化发现 ”，进入“结构化发现”页面。 3.单击页面右上角的“新增”按钮，跳转至“创建发现任务”页面，填写相关参数。 参数 参数说明 填写样例 任务名称 结构化任务的名称，系统会为您自动生成，您也可以自定义该任务名称。 Test 输入源 选择结构化发现任务的输入源IP，如果新增输入源可参考：数据资产管理章节。 192.168.0.1 脱敏模板 选择该任务需要使用的脱敏模板，如何新增脱敏模板可参考：脱敏模板章节。 默认模板 发现方式 根据该任务的需求选择以下两种发现方式： 全量发现：同步输入源中的所有数据。 增量发现：基于输入源中已存在数据脱敏实例中的数据，进行增量。 全量发现 输入数据 数据输入方式支持以下三种： 手动选择 全部选择 文件导入 手动选择 采样行数 从原始数据集中抽取一定数量的样本行，系统默认为：1000行，您可以根据自身业务需求填写。 1000 命中阈值 指在规则触发过程中的临界标准，默认值为：80，妮妮可以根据自身业务需求填写。 80 4.填写完成后，可选择“保存”或者“保存并运行”。

本文介绍申请数据权限功能，使用户可以快速熟悉申请数据权限页面的相关操作，以及如何申请数据权限。 前提条件 用户需要具有进入申请数据权限页面的功能权限。 注意事项 申请数据权限功能仅限企业版。 用户仅限申请已加入团队内实例的相关数据权限。 每次申请仅限一种类型的资源粒度，资源粒度从大到小依次是实例、库/模式、表。 数据权限支持按资源粒度继承，即用户拥有大粒度资源的数据权限时，则默认拥有该大粒度资源下所有小粒度资源的数据权限。 用户多次申请同一资源、同一权限后，最后一次申请的结果会覆盖之前申请的结果。 操作步骤 用户可以在个人中心>我的权限 页面中点击“申请数据权限”按钮进入申请数据权限页面，也可以在安全协作>工单列表>数据权限工单页面中点击“申请数据权限”按钮进入申请数据权限页面。 申请数据权限的具体流程如下： 1. 选择资源的粒度。进入申请数据权限页面后，默认选择库/模式授权，也可以点击其他标签，切换到其他资源粒度，每次申请仅限一种类型的资源粒度。 2. 选择申请的资源。在左侧”请选择“框内勾选想要申请的资源的复选框，然后点击中间的”>“按钮，即可将当前页选中的资源加入到右侧”已选择“框内。如果想要删除右侧“已选择”框内的资源，可以勾选想要删除的资源的复选框，然后点击中间的“<”按钮，即可将右侧“已选择”框内的资源删除。每次申请可以同时选择多个资源。 3. 选择权限的类型，根据用户需要，勾选对应权限类型的复选框。每次申请可以同时选择多种权限。 4. 选择权限的有效期。权限有效期默认为1个月，根据用户需要，可以选择3个月、半年或者1年，也可以点击时间栏，直接指定权限的到期时间。 5. 确定信息无误后，点击页面右下角的“提交申请”按钮即可提交工单，并跳转到数据权限工单页面，查看当前工单的流程。

本章节主要介绍管理中心常见问题。 创建数据连接需要注意哪些事项？ 创建DWS/MRS Hive/RDS/SparkSQL类型的数据连接时，需要绑定由CDM集群提供的代理服务。 目前不支持低于1.8.6版本的CDM集群。 为什么DWS/Hive/HBase数据连接突然无法获取数据库或表的信息？ 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。 建议您通过以下措施解决此问题： 1.检查CDM集群是否被关机。 是，将CDM集群开机后，确认管理中心的数据连接恢复正常。 否，跳转至下一步。 2.检查该CDM集群是否同时被用于数据迁移作业和管理中心连接代理。 是，您可以错开数据迁移作业和管理中心连接代理的使用时间，或再创建CDM集群，与原有CDM集群分开使用。、 否，跳转至下一步。 3.直接重启该CDM集群，释放连接池资源。确认管理中心的数据连接恢复正常。 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ 出现该问题的可能原因有： 创建MRS集群时未选择Hive/HBase组件。 创建MRS数据连接时所选择的CDM集群和MRS集群网络不互通。 CDM集群作为网络代理，与MRS集群需网络互通才可以成功创建基于MRS的数据连接。 创建DWS数据连接，开启SSL连接时测试连接失败？ 可能是由于DWS集群的三权分立功能导致的。请在DWS控制台，点击进入对应的DWS集群后，选择“安全设置”，然后关闭三权分立功能。 详见下图：关闭DWS集群三权分立功能

数据定时灾备的功能是什么？ 数据定时灾备提供企业级数据备份与恢复功能，支持常见文件系统、数据库及大数据平台的备份与恢复。具备以下特性： 提供多种备份方式，满足不同备份策略需求； 1. 备端支持重复数据删除与压缩技术，有效节约备份存储空间； 2. 传输压缩可节省带宽资源； 3. 传输加密保障数据在传输过程中的安全性； 4. 支持块存储、对象存储等多种存储介质。 数据定时灾备数据库同步性能？ 在测试环境配置为16 核 CPU、32 GB 内存、100 GB 硬盘 的情况下，数据库同步性能至少可达 3000 条记录/秒。 数据定时灾备怎么估算客户要使用多少TB？ 可采用通用估算公式：开通磁盘总量× 60% × 2.5。其中，60% 为预估的实际使用率，2.5 为备份版本与压缩等开销的放大系数。若客户有自定义的备份规则（如保留周期、备份频率、全量/增量策略），需单独进行估算。 数据定时灾备支持数据库备份吗？ 支持。数据定时灾备（定时备份）支持自建数据库的备份，但不支持云平台内的PaaS类型数据库。对于实时容灾需求，可选用数据库双活产品（支持常见数据库实时同步，且可兼容云内及自建数据库等）。 当前已支持备份的数据库类型包括：达梦（DM）、MySQL、Oracle、DB2、SQL Server、PostgreSQL（PG）、openGauss、OceanBase、KingBase、MongoDB 若用户所需数据库类型未在列表中，可向产品侧提出需求，产品团队将尽快适配并提供服务。

本节介绍了Windows操作系统云主机看不到挂载的数据盘怎么办的问题描述、可能原因等内容。 问题描述 登录Windows操作系统云主机看不到挂载的数据盘。 注意 格式化磁盘会造成数据丢失，请提前对数据盘创建备份，避免数据丢失。 可能原因 新添加的数据盘未进行分区和初始化。 切换操作系统或变更规格导致的磁盘脱机。 新添加的数据盘未进行分区和初始化 新的数据盘默认是没有分区和文件系统的，因此在资源管理器中不会显示，需要先手动执行初始化操作。 切换操作系统或变更规格导致的磁盘脱机 切换操作系统后可能会由于文件系统不一致导致数据盘无法显示；Windows云主机器变更规格后，可能会发生磁盘脱机。 1. 登录云主机，打开cmd运行窗口，并输入“diskmgmt.msc”打开磁盘管理。 查看磁盘状态，磁盘可能显示为“脱机”。 2. 将磁盘设置为“联机”状态。 在磁盘列表中，单击脱机的磁盘，并选择“联机”，将脱机磁盘进行联机。 图 磁盘联机 3. 再次在“计算机”中查询数据盘是否显示正常。 如上述操作后磁盘仍未显示，可以重新进行磁盘初始化和分区的操作。格式化磁盘会造成数据丢失，请提前对数据盘创建备份，避免数据丢失。

本章为您介绍 数据脱敏是否对原始数据有影响？ 没有影响。数据脱敏功能只会对数据进行读取，脱敏后保存到您选择的目标位置，不会对源数据进行改动。

初始化专属加密实例 说明 目前不支持SSH登录到DHSM，需要通过专属加密实例管理工具管理DHSM。 以使用Windows镜像的ECS作为专属加密实例管理节点为例，初始化专属加密实例操作步骤如下所示。 步骤 1 购买一台Windows镜像的ECS作为专属加密实例管理节点。 登录管理控制台。 单击页面左侧的，选择“计算> 弹性云服务器”，进入弹性云服务器列表界面。 单击“购买弹性云服务器”。 区域、可用区：请与购买的专属加密实例保持一致。 镜像：请选择Windows公共镜像。 VPC：请与专属加密实例所在VPC保持一致。 弹性公网IP：为方便在您本地实例化加密机，请绑定弹性公网IP。 说明 待初始化专属加密实例完成后，您可以解绑弹性公网IP。若后续有需要，可重复绑定、解绑操作。 其他参数请根据实际情况进行选择。 步骤 2 根据收到的专属加密实例管理工具及配套文档，初始化专属加密实例。 步骤 3 初始化完成后，可通过管理工具进行生成、销毁、备份、恢复秘钥等操作。 说明 初始化和管理过程中有任何问题，请咨询专属加密服务安全专家。 安装安全代理软件并授权 用户需要在业务APP节点上安装安全代理软件，使业务APP与专属加密实例建立安全通道。 步骤 1 在管理工具上下载访问专属加密实例的证书。 步骤 2 在业务APP节点上安装安全代理软件。 步骤 3 将证书导入到安全代理软件，授予业务APP访问专属加密实例的权限。 步骤 4 业务APP即可通过SDK或者API接口的方式访问专属加密实例。 说明 您可以在安全代理软件配置多个专属加密实例，实现负载均衡功能。

本章节主要介绍如果进行物理建表。 物理表 物理表是指按照一定规则和方法，将物理表中所定义的实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 可视化建模： 前提条件 需要完成主题规划和数仓分层设计信息配置后，才能进行物理建模操作，主题划分和数仓分层设计请参见数仓主题规划与数仓分层设计。 需要完成数据源接入，才可进行物理建模操作。 使用流程 1. 登录数据中台，单击上侧导航栏的数据建模>物理建表，进入物理表页面。 2、创建物理表 a.在物理表页面，鼠标点击新建图标，创建物理表。 3、在“新建物理表”页面，根据页面提示完成相关配置。 a.填写基本配置参数。 参数名称 说明 所属主题 选择所属的主题信息 数据源 选择处于已发布状态的数据源 表中文名 以中文、英文、数字、下划线，且以中文或英文开头,最少4字符,最多64字符 表英文名 以英文、数字、下划线组成，且以英文开头,最少4字符,最多64字符表英文名 表类型 物理表支持以下表类型： 表：表是数据库中用于存储数据的物理结构，它由行和列组成，每一行代表一个记录，每一列代表一个字段。当需要长期存储数据，且数据需要频繁更新和查询时，选择表。 视图：视图是基于一个或多个表的虚拟表，它不存储数据，而是通过SQL查询语句动态生成数据，需要提供数据的抽象层，简化用户查询时，选择视图。 关联逻辑模型 选择物理表所需关联的逻辑模型 关联逻辑实体 关联当前【关联逻辑模型】中生效的逻辑实体 分区类型 当数据库类型是DM、可选如下分区类型： 范围分区（Range Partition)：是根据表中某个列或多个列的值的范围来创建分区。应用场景为时间序列数据和数值范围数据。 列表分区（List Partition)：列表分区是通过指定表中某个列的离散值集来创建分区，应用场景为地区或分类数据、状态或类型数据 当数据库类型是GaussDB、可选如下分区类型 Range：根据分区键的值范围将数据映射到分区，适用于时间序列数据，如按日期范围分区。 list：通过指定分区键的离散值列表来控制数据映射到分区，适用于已知离散值的场景，如按特定分类或状态分区。 hash：基于分区键使用哈希算法将数据均匀映射到分区，适用于数据分布均匀且无明显分区键的场景。 当数据库类型是Doris、可选如下分区类型 Range（范围分区）：根据指定列的值范围进行分区，适用于数据具有连续数值范围的场景。 List（列表分区）：根据指定列的离散值列表进行分区，适用于数据具有离散值集合的场景。 是否外部表 当数据库类型是Hive、需选是否外部表信息 用于指定Hive表是否为外部表。外部表允许用户访问存储在Hive外部的文件系统中的数据，而不必将其移动到Hive的默认存储位置. 文件格式 当数据库类型是Hive、需选文件格式信息 RCFILE：列式存储格式，支持压缩，适用于Hive分析。 TEXTFILE：行式存储，默认编码UTF8，简单通用。 GBKTEXTFILE：行式存储，GBK编码，适合中文数据。 SEQUENCEFILE：二进制存储，支持压缩，效率高。 PARQUET：列式存储，支持复杂数据类型，查询优化。 ORC：列式存储，高效压缩，适合大规模数据分析。 列分隔符 当数据库类型是Hive、需定义列分隔符信息 指定Hive表中字段值之间的分隔方式，以便正确解析行式存储文件中的数据 压缩类型 当数据库类型是Hive、需定义压缩类型信息 压缩类型配置用于指定数据存储时采用的压缩算法，以减少存储空间和提高I/O效率 当数据库类型是KingBase、需选压缩类型信息。 (5，5)压缩算法：性能与压缩比相对均衡的压缩模式 (3，1)压缩算法：压缩率最大的压缩模式。 表类型 当数据库类型是KingBase、需选择如下表类型。 复制表：数据完整存放在各个主机上，适用于配置表、字典表等数据量小的表。 哈希表：数据按hash策略分布存储与不同主机上，以实现分布式存储和计算 当数据库类型是Doris、需选择如下表类型。 Aggregate：聚合表，用于存储聚合后的数据，适用于快速查询统计结果。 Unique：唯一表，保证表中每一行数据的唯一性，适用于需要去重的数据存储。 Duplicate：重复表，允许表中存在重复数据，适用于存储原始数据，不进行去重处理。 Nocopies表 当数据库类型是KingBase、需选Nocopies表信息。 0：表示该表是复制表，即在数据库集群中，该表的数据会复制到所有的节点上，以保证数据的高可用性。 1：表示该表是非复制表，即在数据库集群中，该表的数据只存储在创建表的节点上，不会复制到其他节点，适用于存储不经常访问或不需要高可用性的数据。 行列模式 当数据库类型是KingBase、需选行列模式信息。 行存储：数据整行存储，适用于经常需要关注整行数据的OLTP(在线联机事务处理系统 。 哈希表：数据按hash策略分布存储与不同主机上，以实现分布式存储和计算) TTL 当数据库类型是kafka、需填TTL信息。 TTL用于设置Kafka主题中消息的存活时间，超过此时间的消息将被自动删除。 单位是天（day）、小时（hours）或分钟（minutes） 分区个数 当数据库类型是kafka、需填分区个数信息。 分区个数的作用是提高并行处理能力和消息吞吐量，分区数越多，可同时处理的消费者和生产者请求就越多。对于小型集群（少于6个broker），可以选择是broker数量的3倍；对于大型集群（超过12个broker），可以选择是broker数量的2倍。 当前分区 当数据库类型是kafka、需填当前分区信息。 指定创建主题（topic）时的初始分区数量，如果没有指定，则使用集群配置的默认值，默认的当前分区数值取决于Kafka集群的配置 备份数 当数据库类型是kafka、需填备份数信息。 备份数（Replication Factor）：是指定每个分区的副本数量，以提高数据的可靠性和容错能力 数据类型 当数据库类型是kafka、需填数据类型信息。 json：用于指定消息体为JSON格式，这是一种轻量级的数据交换格式。 json数组：用于指定消息体为JSON数组格式，允许单个消息包含多个JSON对象，适用于批量处理数据的场景。 Csv：用于指定消息体为CSV格式，其中的数据通常由纯文本组成，字段由逗号分隔，适用于存储表格数据的场景。 字符集 当数据库类型是kafka、需填写字符集信息。 f8：指定使用UTF8字符集，是一种广泛使用的字符编码，能够表示任何Unicode字符，适用于国际化场景 gbk：指定使用GBK字符集，是一种用于简体中文的字符编码，适用于涉及简体中文字符的场景 结构类型 当数据库类型是kafka、需选择结构类型。 单一模式：消息体只包含单一结构的数据，如单个JSON对象或CSV记录，适用于简单的数据模型。 复合模式：消息体包含复合结构的数据，如JSON数组或嵌套JSON对象，适用于复杂的数据模型，可以包含多个记录或字段。 表引擎 当数据库类型是ClickHouse、需选择如下表引擎信息。 MergeTree：一种高效的列式存储引擎，适用于处理大量数据的写入和快速查询，支持数据自动合并以优化存储和查询性能。 ReplacingMergeTree：类似于MergeTree，但具有去重功能，自动删除具有相同主键的旧记录，保留最新的记录。 TinyLog：轻量级的日志引擎，适用于小规模数据的写入，不支持索引，查询性能不如MergeTree。 Log：简单的行式存储引擎，适用于快速写入和简单查询，不支持复杂的查询操作，数据存储为纯文本格式。 当数据库类型是Doris、需选择如下表引擎信息。 OLAP：由Doris负责数据管理和存储，适用于分析型查询。 分桶类型 当数据库类型是Doris、需填分桶类型信息。 "hash"分桶：即根据哈希值将数据均匀分配到不同的桶中，以实现负载均衡 分桶数量 当数据库类型是Doris、需填分桶数量信息。 自动分桶：默认选择"auto"让系统根据数据量和查询模式自动决定最优的分桶数量。 手动分桶：支持用户手动设置分桶数，分桶数量的最小值为 15000。 拓展属性 当数据库类型是Doris、需填写拓展属性。 拓展属性：允许用户为表设置额外的配置选项，如副本数量、存储介质和数据冷却时间等，以满足特定的性能和存储需求。 b.在“物理表属性”页面添加所需要的物理表字段属性，物理表字段属性参数说明参考。 参数名称 说明 英文名称 以英文、数字、下划线组成，且以英文开头,最少4字符,最多64字符。 属性名 以中文、英文、数字、下划线，且以中文或英文开头，最少4字符,最多64字符。 数据类型 设置属性的数据类型。 数据标准 选择一个已发布数据标准与逻辑实体属性关联 主键 表中唯一标识每条记录的字段或字段组合 分区 选中表示基于该字段值进行数据分区 不为空 选中表示该字段不可为空 索引信息 当数据库类型是DM、需填写索引信息。 无索引：不配置索引。 唯一索引：要求索引列的值在表中唯一，用于确保数据的唯一性，提高查询效率。 组合索引：在表的多个字段上建立的索引，适用于需要同时在多个字段上进行查询过滤的场景，可以提高多字段联合查询的效率。 加密方式 当数据库类型是Hive、需填写加密方式信息。 AESENC：通过AESENCRYPT函数实现，适用于快速加密大量敏感数据，如用户信息和财务数据 。 SM4ENC：是一种对称加密算法，适用于需要符合国家标准和法规要求的场景，如政府数据、金融数据等。 日期表达式 当数据库类型是kafka、需填写日期表达式信息。 用于定义Kafka消息中日期字段的格式，例如：yyyyMMdd 选择器表达式 当数据库类型是kafka、需填写选择器表达式信息。 jsonpath：使用JSONPath表达式从JSON格式的消息中提取特定字段，适用于处理JSON消息。 xpath：使用XPath表达式从XML格式的消息中提取数据，适用于处理XML消息。 列表下标：通过指定列表的下标来提取数组中的特定元素，适用于处理包含数组的数据结构。 分布排序键 当数据库类型是ClickHouse、需设置分布排序键。 分布排序键”（Distribution Key）：用于指定数据在分布式表中的分布方式，通常选择一个或多个列作为分布键，以确保数据按照这些列的值分布到不同的节点上，从而优化查询性能和负载均衡。 分桶字段 当数据库类型是Dorise、需设置分桶字段。 设置该字段为分桶字段，这个字段的值将影响数据在不同桶中的分布，从而对查询性能和负载均衡产生影响。 聚合key 当数据库类型是Dorise、需设置聚合key字段。 设置改字段为聚合字段，这些字段决定了数据的聚合方式，如SUM、MAX、MIN等，适用于数据预聚合场景 聚类类型 当数据库类型是Dorise、需选择聚合类型。 SUM：对数值列进行求和，适用于需要计算总量或累计值的场景。 REPLACE：用于替换Value列的值。当新数据的Key列与已有数据的Key列相同时，新数据的Value列会替换掉旧数据的Value列 MAX：找出数值列的最大值，适用于需要确定最大值的场景。 MIN：找出数值列的最小值，适用于需要确定最小值的场景。 分区key 当数据库类型是Dorise、需设置分区key。 “分区key”参数用于指定表的分区键 c.在“属性信息”页面，单击“创建关系”进入创建数据表之间关系。 参数名称 说明 当前表 默认选择上一步骤创建的物理表 当前字段 默认选择上一步骤创建的物理表的属性信息 关系 1:1表示此物理表数据在关联物理表中只有一条数据与之对应。 1:N表示此物理表数据在关联物理表中至少有一条数据与之对应。 N:1表示此物理表数据有多条数据与关联物理表中一条数据与之对应。 关联表 与同模型下已生效物理表进行关联 关联字段 与同模型下已生效物理表字段进行关联 6、 完成物理表基本信息后，单击“确定”，完成物理表信息创建。 后续步骤 您可进行物理表物化、上线转为已生效状态，已生效的物理表可在其他模块应用。

本章节主要介绍翼MapReduce的恢复租户数据操作。 操作场景 租户默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，管理员需要通过FusionInsight Manager手动恢复配置数据。 操作步骤 1. 登录FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击某个租户节点。 3. 检查租户数据状态。 在“概述”，查看“租户资源状态”，绿色表示租户可用，灰色表示租户不可用。 单击“资源”，查看“Yarn”或者“HDFS存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4. 单击，在弹出的确认窗中输入当前登录的用户密码确认身份，单击“确定”。 5. 在“恢复租户资源数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

本章节主要介绍翼MapReduce的恢复租户数据操作。 操作场景 租户默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，管理员需要通过FusionInsight Manager手动恢复配置数据。 操作步骤 1. 登录FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击某个租户节点。 3. 检查租户数据状态。 在“概述”，查看“租户资源状态”，绿色表示租户可用，灰色表示租户不可用。 单击“资源”，查看“Yarn”和“HDFS存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4. 单击，在弹出的确认窗中输入当前登录的用户密码确认身份，单击“确定”。 5. 在“恢复租户资源数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

参数 类型 描述 是否必须 path String 指定要修改容量配额的数据目录。 是 capacityQuota Long 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：小于数据目录所在磁盘的总容量，单位是bytes。负整数表示无限制写入，0表示禁止写入。默认不限制写入。 注意 如果相同的数据目录出现多次，以第一次出现的数据目录的容量配额为准。 是

本节主要介绍准备RDA依赖资源 概述 在使用RDA之前，您需要提前准备相关依赖资源，包括天翼云测试账号，账号可创建弹性云主机、虚拟私有云（Virtual Private Cloud，以下简称VPC）、子网和安全组，并配置安全组策略。 准备依赖资源 迁移源端测试账号： 天翼云目的端测试账号： 购买一台windows弹性云主机用于安装RDA软件工具； 购买一台或者多台linux弹性云主机用于对象存储迁移agent安装 说明 （RDA控制机和oms agent工具机迁移完成后均可释放） 获取天翼云测试账号AK/SK：天翼云官网控制台账号我的凭证管理访问秘钥，点击新增访问秘钥，在弹窗生成的excel表中获取对应AK/SK。

本章节为您介绍系统统计报表相关功能。 数据资产分析 “数据资产分析”页面的功能是让用户知道自己有哪些资产，哪些资产更加敏感，哪些资产经常做数据脱敏等，刚进入本页面时，页面会展示系统自动更新过的数据。 数据安全专区会在每天凌晨自动更新数据。但是您也可以选择点击手动更新按钮来获得当前时间最新的数据。 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“系统统计报表 > 数据资产分析 ”，进入“数据资产分析”页面，即可查看数据资产情况。 本页信息一共展示了任务运行概述、数据源类型分布、数据源和schema粒度的敏感程度排名top10、敏感标签词云以及资产统计清单这些数据分析内容。 脱敏任务分析 “脱敏任务分析”页面的功能是让用户知道脱敏任务运行是否正常，整体任务运行质量如何（比如错误数的变化），任务调度分配是否合理等。 数据安全专区会实时更新本页面的大部分数据，其中任务属性是针对任务进行统计，任务运行是针对实例进行统计，而且脱敏任务分析只对结构化任务的数据进行分析。 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“系统统计报表 > 脱敏任务分析 ”，进入“脱敏任务分析”页面，即可查看脱敏任务分析情况。 说明 页面左侧可针对任务运行时间（即实例运行时间）进行搜索，包括最近7天（默认）、最近15天、最近30天和自定义。 页面都带“导出”功能，单击后可导出页面内容，支持PDF和HTML两种文件格式。

本章节主要介绍数据地图功能。 经过元数据采集后的数据即可接入数据地图，可以在数据地图进行检索和详请查看，当前系统支持接入以下类型的数据资源： 数据库表 模型（发布状态） API（发布状态） 数据地图提供统一的检索功能，页面上侧为统一检索入口，输入资产名称等关键字，点击搜索按钮可以进行检索。 点击列表区域的展开按钮，可以触发高级检索，支持使用环境、团队、负责人、资产标签等字段对资源进行高级搜索。 数据地图支持在目录树中选择任意数据节点，或切换不同的数据类型，可以查看数据资源实体情况。 在查找到的资产列表中，单击目标对象名称，即可进入详情页面查看资产元数据信息。 资源操作 点击目标资源的【更多操作】按钮，可以进行资源详情查看、权限申请、创建API等操作。 查看详情 点击【更多操作】>【查看详情】，查看资源详情信息，包括资源基本信息（所属目录、描述）、资产属性（基本信息、基本属性）等 权限申请（仅限数据库表） 点击【更多操作】>【权限申请】，在右侧弹窗中为团队或个人申请数据库表的权限，选择具体的数据库表、权限类型以及申请时常，填写申请理由，即可进行权限申请。 查看血缘（仅限数据库表） 点击【更多操作】>【查看血缘】，可以快递定位至数据库表的血缘分析tab页 收藏 点击目标资源右侧的星星，收藏目标资源

创建数据集 1. 创建普通存储数据集：登录智算服务控制台，单击左侧菜单栏的“智算资产”>“我的数据集”菜单项进入我的数据集模块，点击“基础数据集“菜单，选择“普通/智算存储”，点击【+创建普通/智算存储数据集】，进入创建页面 2. 填写相关配置并提交。基础数据集创建目前仅支持使用自有存储，创建完成后，自动为您创建拼接此数据后缀的容器内挂载路径。 类型 字段 说明 存储基本信息 数据集名称 数据集名称，不超过25个字符 存储基本信息 描述 数据集描述信息 权限配置 可见范围 读写权限范围，支持设置仅文件所有者可见、指定工作空间内的算法开发角色可见两种权限策略 存储位置 自有ZOS存储 您租户账号下的自有ZOS存储，若您还未创建，您可点击【去创建】跳转到存储控制台进行创建。 存储桶：选择您自有的ZOS存储桶名称； 数据源路径：您对应存储的具体的目录路径，您可根据提示示例进行填写，平台会对您填写路径的存在性进行校验，若校验不通过会进行提示，并禁止提交。对于管理员用户，此项选填；对于普通子用户，此项必填。 存储位置 自有HPFS存储 您租户账号下的自有HPFS存储，若您还未创建，您可点击【去创建】跳转到存储控制台进行创建。 HPFS名称：选择您自有的HPFS名称； 数据源路径：您对应存储的具体的目录路径，您可根据提示示例进行填写，平台会对您填写路径的存在性进行校验，若校验不通过会进行提示，并禁止提交。对于管理员用户，此项选填；对于普通子用户，此项必填。 存储位置 自有其他存储 您租户账号下的自有其他存储。 数据源路径：您对应存储的具体的目录路径，您可根据提示示例进行填写，此项必填。 特殊配置 设为保密数据集 仅存储委托的自有ZOS与自有HPFS类型支持该功能。 对于某些行业客户，在大模型训练时会涉及到保密数据的处理问题，比如需要避免用户下载到本地造成数据泄漏，针对这类问题，平台推出了特色的数据保密功能，以应对用户下载或拷贝保密数据的行为。相关配置仅对管理员用户开放，且此功能会增加操作复杂度和资源占用，建议您只在需要的时候使用。 开启此按钮后，可将本数据集设置为保密数据集。开启保密后，此数据集将：1）仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；2）数据挂载到容器时禁止访问外网。 特殊配置 设为保密数据集的输出路径 若您已设置保密数据集，您还需再创建一个保密输出数据集，专门用于存储保密数据集的输出，并谨慎设置相关权限：1）若您使用了自有存储，建议您只给自己或管理者读写权限（需前往对应存储控制台设置），即您需要确保这是由您完全可控的存储；2）此数据集的可见范围（在本页面的权限配置设置），建议您只对需要的用户设置。 特殊配置 云审计 您设置好保密输出路径后，会自动弹出云审计设置，此设置对使用了对应保密输出数据集的任务生效。开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 特殊配置 审计频率 您开启云审计后，会弹出审计频率设置。审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。

标准快照容量计算原理 云硬盘的快照总容量以快照链（一块云硬盘中所有快照组成的关系链）为单位进行统计，统计当前云硬盘所有快照的数据块占用的存储空间。云硬盘的单个快照容量不会超过云硬盘容量，但是随着快照的增加，快照链容量可能会大于云硬盘容量。 快照链增加快照容量计算 以下图中的场景为例，假设快照的数据块为固定大小2MiB，那么快照链增加快照后的容量计算如下： 创建快照1时，云硬盘的快照链中仅有快照1，快照链容量 快照1容量 数据块A容量 + 数据块B容量 + 数据块C容量 6MiB 创建快照2时，云硬盘的快照链中有快照1、快照2，快照链容量 快照1容量 + 快照2容量 6MiB + （数据块A1容量 + 数据块B1容量 + 数据块D容量） 12MiB 创建快照3时，云硬盘的快照链中有快照1、快照2、快照3，快照链容量 快照1容量 + 快照2容量 + 快照3容量 6MiB + 6MiB +（数据块A2容量 + 数据块C1容量 + 数据块E容量） 18MiB 快照链删除快照容量计算 删除快照时，会遍历快照元数据文件中的所有数据块信息，如下图所示，遵循以下删除原则： 数据块被下一个快照继承，该数据块不能删除。 数据块没有被下一个快照继承： 继承数据块：如果上一个快照未被删除，那么该继承数据块不能删除；否则可以删除。 修改数据块：可以删除。 新增数据块：可以删除。 以下通过举例说明删除快照后快照链容量计算。 以图65中的场景为例，在14:00删除快照2，在15:00删除快照3，那么快照链删除快照后的容量计算如下： 删除快照前，快照链容量 快照1容量 + 快照2容量 + 快照3容量 18MiB 14:00删除快照2，遍历快照2元数据文件中的所有数据块信息： 数据块A1：没有被快照3继承，且为快照1中的数据块A修改而来（修改数据块），因此数据块A1可以删除。 数据块B1：被快照3继承，数据块B1不能删除。 数据块C：没有被快照3继承，但继承于快照1（继承数据块）且快照1未被删除，因此数据块C不能删除。 数据块D：被快照3继承，因此数据块D不能删除。 删除快照2后，快照链容量 18MiB 数据块A1容量 16MiB 15:00删除快照3，遍历快照3元数据文件中的所有数据块信息： 数据块A2：没有被下一快照继承，且为快照2中的数据块A1修改而来（修改数据块），因此数据块A2可以删除。 数据块B1：没有被下一快照继承，但继承于快照2且快照2已被删除，因此数据块B1可以删除。 数据块C1：没有被下一快照继承，且为快照2中的数据块C修改而来，因此数据块C1可以删除。 数据块D：没有被下一快照继承，但继承于快照2且快照2已被删除，因此数据块D可以删除。 数据块E：没有被下一快照继承，且为快照3新增数据块，因此数据块E可以删除。 删除快照3后，快照链容量 16MiB 数据块A2容量 数据块B1容量 数据块C1容量 数据块D容量 数据块E容量 6MiB

科研文件规格 可用区 适用 指标 性能 科研文件基础通用版 华北2 冷数据、应用和环境、模型文件等 IOPS 无最低性能保证 科研文件基础通用版 华北2 冷数据、应用和环境、模型文件等 吞吐量 无最低性能保证 科研文件基础性能版 重庆两江1 冷数据、应用和环境、模型文件等 IOPS 无最低性能保证 科研文件基础性能版 重庆两江1 冷数据、应用和环境、模型文件等 吞吐量 每100GB 25MB/s 科研文件专业入门版 哈密2、厦门4 冷数据、应用和环境、模型文件等 IOPS 无最低性能保证 科研文件专业入门版 哈密2、厦门4 冷数据、应用和环境、模型文件等 吞吐量 无最低性能保证 科研文件专业性能版 上海15、杭州7、南京1、北京11 模型训练数据集 IOPS 每GB 2.6 IOPS，1300 IOPS 起 科研文件专业性能版 上海15、杭州7、南京1、北京11 模型训练数据集 吞吐量 每GB 0.2 MB/s， 100 MB/s 起 科研文件企业版 中卫4、福州6、扬州7 模型训练数据集 IOPS 每GB 50 IOPS + 1800 IOPS 基准，最大35000 IOPS 科研文件企业版 中卫4、福州6、扬州7 模型训练数据集 吞吐量 每GB 0.5 MB/s + 120 MB/s 基准，最大350 MB/s

标准模板管理 标准模板管理用于自定义数据标准的默认选项。首次进入数据架构的数据标准页面，也会显示制定数据标准模板的页面。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2.在数据架构控制台，单击左侧导航树中的“配置中心”，进入相应页面后再单击“标准模板管理”。 3.如下图所示，在“可选项”中勾选所需要的选项，单击“新建”按钮可以添加自定义项，完成后单击“确定”。 说明 标准模板支持“是否可搜索”、“是否必填”。 保存模板后，在新建数据标准时需要设置此处模板中选中选项的参数值。 功能配置 功能配置用于自定义数据架构中的各项功能。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2.在数据架构控制台，单击左侧导航树中的“配置中心”，进入相应页面后再单击“功能配置”。 3.在功能配置页面，可根据用户具体的功能需求配置参数，然后单击“确定”。如果单击“重置”可恢复默认设置。 −模型设计业务流程步骤 ：此处勾选的流程，在关系建模或维度建模的对象发布上线时，系统会依次自动执行。一般建议全部勾选。 创建表 ：当数据架构中的表发布并通过审核后，系统将自动在对应的数据源中创建相应的物理表。在表删除时，系统也会自动删除物理表。 同步技术资产 ：关系建模或维度建模中的表发布后，同步表到数据目录模块作为技术资产，同时同步标签到对应技术资产。 同步业务资产 ：同步逻辑模型到数据目录，作为业务资产，同时同步标签到对应业务资产。 资产关联 ：实现业务资产与技术资产的关联。业务资产与技术资产同步完成后，在数据目录模块中查看对应的业务资产或技术资产详情时，可以看到相关联的技术资产或业务资产。该功能要求表信息中含有数据源信息。 创建质量作业 ：当关系建模或维度建模中的表发布并通过审核后，对于关联数据标准（包含数据长度或允许值）或关联质量规则的表，系统将自动在DataArts Studio数据质量模块中创建一个质量作业。 创建数据开发作业 ：汇总表发布后，自动生成端到端的全流程数据开发作业。 发布数据服务API ：汇总表发布后，自动生成数据服务API，此功能仅当数据服务支持汇总表的数据连接时生效。 数据落库 ：码表维度发布后，会自动将码表的数值填入维度表中。 说明 若开启“同步技术资产”功能，您必须预先在DataArts Studio数据目录模块中对表所属的数据库创建数据目录采集任务并采集成功，否则同步技术资产将会执行失败。 −模型下线流程 ：选择当模型下线时，是否同步删除技术资产、业务资产、质量作业、数据开发作业。 −数据表更新方式 ：当数据架构中的表在发布后进行了修改，是否同时更新数据库中的表。默认为“不更新”，但在配置中心可以依据自己的需求设置更新动作。依据DDL模板, 在模板里面配置对应的更新语句即可。 不更新 ：不更新数据库中的表。 依据DDL 更新模板 ：依据DDL模板管理中配置的DDL更新模板，更新数据库中的表，但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同，在数据架构中所做的表更新操作，如果数仓不支持，则无法确保数据库中的表和数据架构中的表是一致的。例如，DLI类型的表更新操作不支持删除表字段，如果在数据架构的表中删除了表字段，则无法在数据库中相应的删除表字段。如果线下数据库支持更新表结构语法，可以在DDL模板配置对应语法, 之后更新操作就可以通过DataArts Studio管控；如果线下数据库不支持更新, 那只有通过重建这种方式更新。 重建数据表 ：先删除数据库中已有的表，再重新创建表。选择该选项可以确保数据库中的表和数据架构中的表是一致的，但是由于会先删除表，因此一般建议只在开发设计阶段或测试阶段使用该选项，产品上线后不推荐使用该选项。 −数据表不区分大小写 ：对于选中的连接类型，在发布相应类型的表时，同步技术资产时名称将不区分大小写，找到相同的即认为已存在。 −业务表映射使用新版本 ：系统默认为新版本映射。新版本映射功能支持join等操作，推荐使用新版本映射。 −汇总表自动汇聚 ：发布衍生指标或复合指标时，系统支持自动生成汇总表，一个统计维度对应一个汇总表。自动生成的汇总表可在汇总表页面下选择“自动汇聚”页签查看。 −数据标准是否重名 ：默认关闭，打开后数据标准可以重名。 −时间限定生成使用动态表达式 ：开关打开后，则使用动态时间表达式；如开关关闭，则默认使用原有的静态时间表达式。例如时间限定设置为最近30天：如果使用静态表达式，如果当前为9月，生成的最近30天的数据就是8月，即使当前到了10月，生成的数据还是8月，不能自动更新；如果使用动态表达式，当前到了10月，最近30天自动更新为9月。动态表达式时间函数举例如下所示： 说明 如果第一次打开开关，需重置DLL模板中的衍生指标。如之前有修改过DLL模板，请先做好模板备份。重置模板会将原来修改过的模板覆盖，重置后需要将原来修改的内容重新编辑一次。 −信息架构页面表查询时，主题支持并列查询个数 ：默认为1个，暂不支持设置。 −码表数据落库并行行数 ：码表维度发布后，设置将码表的数值填入维度表中时的并行操作行数。当码表数值较多时，会导致落库失败，可以适当调小该参数。 −码表生成质量规则 ：下拉选择即可。当码表的数据量较小时，选择“枚举值校验”即可；否则选择字段一致性校验。

本页介绍天翼云TeleDB数据库空间管理相关操作。 操作场景 您可按照百分比或分片形式对数据节点上的数据进行迁移。数据迁移需要实例集群内部至少有两个数据节点组。 操作步骤 1. 以用户名和密码登录分布式数据库TeleDB控制台，在左侧导航树上，单击数据空间管理 ，进入数据空间管理页面。 2. 数据迁移 1. 选择数据迁移 页签，单击创建任务 ，出现创建迁移任务对话框。 2. 在创建迁移任务对话框，输入任务名称 、源节点 、目标节点 和迁移类型。 任务名称：根据自己的需求填写，可自定义。 源节点：根据实际情况选择。 目标节点：根据自己的实际情况选择。 迁移类型：分为shard迁移 和百分比迁移 。 Shard迁移：按照分片迁移，需要选择分片，单次可迁移的分片最大为1000。选择分片迁移需移动分片至已选shard。 百分比迁移：按照源节点上的数据百分比进行迁移，需要输入1100的整数。 3. 单击确定完成任务迁移。 3. 空间清理 说明 当数据被删除或更新时，TeleDB将其标记为无效，但并不立即回收相关的存储空间。需要定期执行空间清理操作，以检查并释放被标记为无效的数据所占用的空间。这样可以确保数据库在长时间运行后不会因为无效数据的积累而占用过多的磁盘空间。 1. 选择空间清理 页签，单击创建任务，出现创建清理任务 对话框。 2. 选择源节点 、清理开始时间 和清理结束时间 ，单击确定。 4. 空间回收 说明 经过空间清理任务后的实例并没有立即释放空间，用户可以通过空间回收任务对实例进行重建表和索引，自动释放被空间清理回收的空间。 1. 选择空间回收 页签，单击创建任务 ，出现创建回收任务 对话框。 2. 选择回收节点、设置回收开始时间和回收结束时间，单击确定完成空间回收。 5. 数据重平衡 说明 用户可以通过数据重平衡，依据磁盘使用率，把节点组原有的数据平均分布到节点组内各个节点上。该功能会自动生成迁移任务以及空间清理任务，用户可以在任务详情或者在对应功能页面查看任务具体执行情况。 1. 选择重平衡任务页签，单击创建任务，出现创建数据重平衡任务对话框。 2. 输入任务名称，选择节点组，单击确定，完成数据重平衡。 6. 表空间管理 说明 用户通过对表空间进行管理，以组织数据存储，在物理设备上合理分配数据。 1. 创建表空间 1. 选择表空间管理 页签，单击创建表空间，出现创建表空间对话框。 2. 在创建空间表对话框，填写表空间名称 ，选择归属账号 ，填写挂载目录 ，并检测目录有效性 ，单击确定完成表空间的创建。 说明 表空间名字请参照以下格式： 1.不能以pg开头。 2.只支持大小写字母、数字和下划线。 3.只能以字母开头。 2. 修改表空间 单击编辑按钮，在弹出的编辑表空间可修改表空间或查看表空间。 3. 删除表空间 单击删除 按钮，在出现的警告提示框，单击确定即可删除表空间。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 图名称 是 可以直接选择需要导入的图，也支持手动输入图名称。如需新建GES图，请前往GES管理控制台进行新建。 元数据 是 可以直接选择对应的元数据，也支持手动输入元数据的OBS路径。 边数据集 是 可以直接选择对应的边数据集，也支持手动输入边数据集的OBS路径。 点数据集 否 可以直接选择对应的点数据集，也支持手动输入点数据集的OBS路径。若不选择，则以边数据集中的点作为点数据集来源。 边处理 是 边处理支持如下几种方式： 允许重复边 不允许重复，忽略之后的重复边 不允许重复，覆盖之前的重复边 离线导入 否 是否离线导入，取值为是或者f否，默认取否。 是：表示离线导入，导入速度较快，但导入过程中图处于锁定状态，不可读不可写。 否：表示在线导入，相对离线导入，在线导入速度略慢，但导入过程中图并未锁定，可读不可写。 重复边忽略Label 否 重复边的定义，是否忽略Label。取值为是或者否，默认取是。 是：表示重复边定义不包含Label，即用<源点，终点>标记一条边，不包含Label。 否：表示重复边定义包含Label，即用<源点，终点，Label>标记一条边。 日志存储路径 否 用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。

本章节主要介绍（可选）管理脚本的删除脚本。 当用户不需要使用某个脚本时，可以参考如下操作删除该脚本。 删除脚本时会检查脚本被哪个作业引用，引用列表中显示“版本”，表示此脚本被哪些作业版本引用。点击删除时，会删除对应的作业和这个作业的所有版本信息。 说明 如果某一个待删除的脚本正在被作业关联，请确保强制删除脚本后，不影响业务使用。如果希望作业能继续正常使用，请前往作业开发页面，重新关联可用的脚本。 前提条件 删除脚本前，请确保该脚本未被作业使用。 普通删除 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录中，右键单击脚本名称，选择“删除”。 4. 在弹出的“删除脚本”页面，单击“确认”，删除脚本。 批量删除 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录顶部，单击，选择“显示复选框”，在脚本目录前出现复选框。 4. 选择需要删除的脚本，再次单击，选择“删除脚本”。 5. 在弹出的“删除脚本”页面，单击“确认”，批量删除脚本。

本文介绍如何为应用挂载数据卷。 Docker镜像是由多个文件系统叠加而成，当启动一个容器的时候，Docker会加载只读镜像层并在上面添加一个读写层。当删除Docker容器并通过该镜像重新启动时，之前的更改将会丢失。为了能够保存数据以及共享容器间的数据，Docker提出了数据卷的概念。简单来说，数据卷就是目录或者文件，它可以绕过默认的联合文件系统，以正常的文件或者目录的形式存在于主机上。 在Docker中，数据卷只是磁盘或另一容器中的目录。其生命周期不受管理，且Docker现在提供的卷驱动程序功能非常有限。容器引擎CCE采用的是Kubernetes的数据卷的概念，Kubernetes数据卷具有完善的生命周期管理，支持多种类型的数据卷，同时实例可以使用任意数量的数据卷。 云容器引擎支持四类本地磁盘挂载类型：支持hostPath、emptyDir、configMap、secret。各类型说明如下： hostPath：指定主机中的文件或目录挂载到容器的某一路径中； EmptyDir：用于临时存储，生命周期与容器实例相同。容器实例消亡时，EmptyDir会被删除， 数据会永久丢失； ConfigMap：将配置文件中的key映射到容器中，可以用于挂载配置文件到指定容器目录； Secret：将密钥中的数据挂载到指定的容器路径。 操作步骤 1.在创建应用或升级应用流程中，进去容器设置步骤，点击【数据存储】，点击【添加本地磁盘】，进入本地磁盘添加页面； 1）卷类型选择hostPath，表示在容器上挂载宿主机上的文件或目录。通常用于“容器应用程序生成的日志文件需要永久保存”或者“需要访问宿主机上Docker引擎内部数据结构的容器应用”，具体参数说明如下所示： 参数 参数说明 存储类型 选择主机路径 主机路径 输入主机路径，如/tmp 挂载路径 数据卷挂载到容器上的路径 注意： 请不要挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，应用创建失败 子路径 相对路径 权限 只读：只能读容器路径中的数据卷； 读写：可修改容器路径中的数据卷，容器迁移时新写入的数据不会随之迁移，会造成数据丢失； 2）卷类型选择emptyDir：容器分配到节点时系统将自动创建卷，初始内容为空。在同一个Pod中所有容器可以读写emptyDir中的相同文件。当Pod从节点上移除时，empryDir中的数据也会永久删除。通常用于临时数据的高速存储，具体参数说明如下所示： 参数 参数说明 存储类型 选择临时路径 磁盘介质 不勾选：存储在硬盘上，适用于数据量大，读写效率要求低的场景 勾选：存储在内存中，适用于数据量少，读写效率要求高的场景 挂载路径 数据卷挂载到容器上的路径。 注意： 请不要挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，应用创建失败 权限 只读：只能读容器路径中的数据卷 可写：可修改容器路径中的数据卷，容器迁移时新写入的数据不会随之迁移，会造成数据丢失 3）卷类型选择configMap：平台提供应用代码和配置文件的分离，configMap用于处理应用配置参数。用户需要提前创建应用配置，操作步骤请参见创建配置项，临时数据的高速存储，具体参数说明如下所示： 参数 参数说明 存储类型 选择配置项 配置项 选择已经建立好的配置项 说明： configMap需要提前创建 挂载路径 数据卷挂载到容器上的路径 权限 只读：只能读容器路径中的数据卷 4）卷类型选择secret：用户需要提前创建私密凭据，操作步骤请参见创建私密凭据,临时数据的高速存储，具体参数说明如下所示： 参数 参数说明 存储类型 选择私密凭据 卷类型 选择已经创建好的私密凭据 说明： secret需要提前创建，请参见 创建私密凭据 挂载路径 数据卷挂载到容器上的路径 权限 只读：只能读容器路径中的数据卷 2.点击【添加容器挂载】，可新增挂载项，点击【删除】可删除之前的容器挂载配置； 3.点击【确定】，完成本地磁盘的添加。

参数名称 说明 数据连接类型 在下拉列表中选择数据连接类型。 数据连接 选择所需要的数据连接。 如果您还未创建与数据源之间的数据连接，请前往DataArts Studio管理中心控制台进行创建。 数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DWS表类型有： DWSROW：行存表。行存储是指将表按行存储到硬盘分区上。 DWSCOLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 MRSHIVE类型仅支持HIVETABLE。 DISTRIBUTE BY 该参数仅DWS连接类型有效。可选取多个字段。 REPLICATION ：在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销；缺点是每个DN都保留了表的完整数据，造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH ：采用这种分布方式，需要为用户表指定一个分布列（distribute key）。当插入一条记录时，系统会根据分布列的值进行hash运算后，将数据存储在对应的DN中。对于Hash分布表，在读/写数据时可以利用各个节点的IO资源，大大提升表的读/写速度。一般情况下大表（1000000条记录以上）定义为Hash表。

本文为您介绍组成TeleDB管控数据管理服务的元数据管理、查询窗口、数据导入导出、慢查询分析、容量评估、会话管理和锁分析功能等模块。 TeleDB管控数据管理服务由元数据管理、查询窗口、数据导入导出、慢查询分析、容量评估、会话管理和锁分析功能等模块组成。它旨在为企业提供一套全面的数据管理解决方案，包括数据的存储、访问、分析和安全等核心环节。通过TeleDB管控数据管理模块，企业可以实现对数据的集中式管理和存储，从而简化了数据的访问和检索过程。 元数据管理模块 ：提供对实例、数据库、模式、表和可编程对象等各级数据库对象的元数据管理，在数据库的创建、编辑、删除等常规操作需提供界面化操作支持，可以实时同步数据库的元数据信息。 查询窗口模块 ：数据库开发者常用功能，提供功能丰富的SQL输入框，包括语法提示、脚本保存以及结果集的返回，支持对结果集进行界面可视化编辑进行数据更新。 数据导入导出模块 ：支持多种文件格式的数据导入到数据库，以及从数据库中导出数据。支持的文件格式为：sql、txt和csv。支持不同层级的数据导入导出，分别支持库/模式以及表级的数据导出。同时，也支持不同层级数据库对象的结构导出。 慢查询分析 ：慢查询统计、索引推荐主要和管控实例交互获取，慢查询分析、语句优化主要和业务实例交互获取，性能容量评估操作建议可联动慢查询分析，进行服务调用，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。 性能容量评估 ：性能容量评估的监控指标数据主要和管控实例交互获取，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。 会话管理 ：会话管理通过业务实例获取全局会话和异常会话的信息，并提供部分会话、全部会话的终止功能，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。 锁分析： 锁分析通过管控实例获取到业务实例最近一次发生死锁的信息，获取到死锁的事务环信息和回滚的事务信息并展示说明，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。

本章节主要介绍脚本开发的新建脚本流程。 数据开发模块的脚本开发功能支持在线编辑、调试、执行脚本，开发脚本前请先新建脚本。 数据开发模块目前支持新建以下几种脚本，用户可根据需要新建相应的脚本。 DLI SQL脚本 Hive SQL脚本 DWS SQL脚本 Spark SQL脚本 Flink SQL脚本 RDS SQL脚本 Presto SQL脚本 Shell脚本 Python脚本 前提条件 已完成新建数据连接和新建数据库等操作。 操作步骤 新建目录（可选，如果已存在可用的目录，可以不用新建目录） 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录中，右键单击目录名称，选择“新建目录”。 4. 在弹出的“新建目录”页面，配置如下表所示的参数。 脚本目录参数 参数 说明 目录名称 脚本目录的名称，只能包含英文字母、数字、中文字符、“”、“”，且长度为1~64个字符。 选择目录 选择该脚本目录的父级目录，父级目录默认为根目录。 5. 单击“确定”，新建目录。

本页为时延类常见问题。 数据迁移/同步全量阶段进度条不更新的原因是什么？ DTS在全量阶段停滞、进度条不动的原因可能有以下几种： 单表数据量过大：在全量同步过程中，进度条的计算和表数量相关，如果源库中某些表数据量过大，需要耗费较长来进行迁移，则可能导致数据库进度条长时间不动。 网络问题：在全量同步过程中，如果网络带宽过小或网络不稳定，可能会导致同步进度长时间不动。可以通过检查网络带宽和网络连接情况来判断是否是网络问题导致的问题。 数据库负载过高：在全量同步过程中，如果源库或目标库的负载过高，同步进度就会受到影响。数据库所在的磁盘有读写上限，当同一时间有其他任务占用过多的读写带宽，会影响DTS数据传输服务的任务进度。 数据迁移/同步增量阶段延迟高的原因是什么？ 增量过程中延迟很高的原因可能有以下几种： 网络问题：在增量同步过程中，如果网络带宽不足或网络不稳定，同步的延迟就会相应增高。 数据变更频繁：在增量同步过程中，如果源库中的数据变更频繁，同步的延迟就会很高。这是因为每次数据变更都需要同步到目标库，如果变更频繁，同步的延迟就会累积，从而导致同步延迟增加。 磁盘读写速度慢：如果目标库的磁盘读写速度不足，写入同步数据的速度就会受到影响，从而导致同步延迟增加。 DTS系统规格限制：如果需要同步的数据过大，而DTS没有选用相应的规格来支撑，可能会导致增量阶段延迟过大。 针对上述延迟高的原因，可以采取以下措施来减少同步延迟： 增加网络带宽或优化网络连接，以提高数据传输速度和稳定性。 等待任务完成数据同步，优化业务逻辑，减少短时间内密集写入和大事务写入。 优化目标库磁盘，可以考虑优化磁盘分区或使用SSD等方式来提高磁盘读写速度。 重新购买更大规格的同步实例，以支撑现有业务。