场景三：仅更新数据目录中的元数据 用户的数据库中数据表有新增的情况，采集任务仅采集数据目录中已经存在的表。 例如新增table4的情况下： 采集前的数据表元数据：table1，table2，table3 采集后的数据表元数据： table1 ， table2 ，table3 按照如下配置，采集任务仅采集table1，table2和table3。 1.进入DataArts Studio控制台首页的数据目录模块。 2.单击左侧导航的“任务管理”。 3.单击“新建”。 4.配置任务信息，如下图所示。 5.单击“下一步”，配置调度属性如下图所示。 6.单击“提交”，完成采集任务的创建。 7.单击任务管理列表中的“运行”或“启动调度”，跳转到任务监控页面并查看任务状态。 场景四：更新数据目录中的元数据，添加新元数据 ，并从数据目录中删除元数据 用户的数据库中数据表有删除的情况，采集任务能够删除数据目录中对应的数据表。 例如数据库删除table1的情况下： 采集前的数据表元数据：table1，table2，table3 采集后的数据表元数据： table2 ，table3 按照如下配置，采集任务会删除数据目录中的table1。 1.进入DataArts Studio控制台首页的数据目录模块。 2.单击左侧导航的“任务管理”。 3.单击“新建”。 4.配置任务信息，如下图所示。 5.单击“下一步”，配置调度属性如下图所示。 6.单击“提交”，完成采集任务的创建。 7.单击任务管理列表中的“运行”或“启动调度”，跳转到任务监控页面并查看任务状态。

指标分类 指标名称 指标说明 磁盘占用率 实例数据磁盘使用量 该指标用于统计测量对象的实例数据磁盘已使用大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘总量 该指标用于统计测量对象的实例数据磁盘总大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘使用率 该指标用于统计测量对象的实例数据磁盘已使用百分比，该值为实时值。 (单位：%) 负载 死锁次数 该指标用于统计数据库发生事务死锁的次数，取该时间段的增量值。 (单位：次) 负载 80% SQL的响应时间 该指标用于统计数据库80% SQL的响应时间，该值为实时值。 (单位：us) 负载 95% SQL的响应时间 该指标用于统计数据库95% SQL的响应时间，该值为实时值。 (单位：us) 内核资源 buffer命中率 该指标用于统计数据库buffer命中率。 (单位：%)

本章节介绍如何使用ZooKeeper导入和导出数据 概述 ZooKeeper提供通过快照（Snapshot）导入数据，同时支持导出快照（Snapshot）和事务日志（Transaction log）文件。本文介绍如何使用ZooKeeper导入和导出数据。 前提条件 已开通微服务引擎MSE，参考章节：创建ZooKeeper引擎 开通ZooKeeper实例并且状态正常。 操作步骤 1. 登录微服务引擎MSE注册配置中心管理控制台，选择资源池。 2. 在左侧导航栏，选择注册配置中心 > 实例列表。 3. 在实例列表页面，单击目标实例ID、实例名称或者目标行“管理”按钮均可跳转至实例基础信息页面。 4. 在左侧导航栏，选择数据管理> Znode管理 > 数据导入导出。 数据导出 在Znode管理中，点击数据导出按钮，选择导出的数据类型，目前仅支持导出最新的快照文件和最新的3个事务日志文件。导出过程预计需要2到5分钟，导出完毕后可以在下载列表获取文件。 点击下载按钮，即可下载相关文件的压缩包。如果导出失败，请按照报错信息及提示重新操作导出。 数据导入 单击导入后，选中要导入的快照文件进行导入，目前仅支持Snapshot格式的快照文件导入，请注意导入文件格式。考虑容量安全问题，数据导入功能目前限制导入的文件大小为200M。 导入文件会导致集群短暂不可用，原本集群的数据将被重置，集群将重新选主。

查看权限详情 点击权限列表中某个资源的“详情”按钮后，弹出数据权限详情对话框，可以查看用户拥有该资源的权限详情。 对话框上方展示了该资源的基本信息。 对话框下方展示了用户拥有该资源的哪些权限，列表的信息字段及说明如下： 信息字段 说明 权限 权限的类型，包括查询、DDL、DML、DCL、导出、导入 权限获取方式 权限的来源，分为数据权限工单、某个用户授权 开通时间 权限开通的时间 到期时间 权限到期的时间，权限到期后会自动失效并删除 所有权限按照到期时间从早到晚排序，第一条权限即最近到期的权限。 申请数据权限 点击页面上方的“申请数据权限”按钮，即可进入申请数据权限页面。申请数据权限的具体操作流程参考申请数据权限。 数据权限工单 点击页面上方的“权限工单”按钮，即可进入 安全协作 > 工单列表 > 权限申请工单工单页面，查看用户提交的数据权限工单。

ctyunteledbdtswriter ) IS NULL THEN UPDATE test SET num num 1 WHERE id 1; END IF; END; 增量迁移并开启增量DDL支持的场景下，当前暂不支持在结构迁移与全量迁移详情页面显示增量阶段新增的表。 如果只勾选增量迁移，请确保目标端已经存在源端库表和所需数据。数据迁移默认任务启动时间为增量位点，且不可修改，若需修改可使用数据同步。 若源表使用了外键约束如FOREIGN KEY REFERENCES ON DELETE CASCADE或FOREIGN KEY REFERENCES ON UPDATE CASCADE时，当删除或更新父表的数据时，子表关联的数据会被自动删除或更新。然而，这些由级联约束触发的子表数据变更，不会被记录到源库的二进制日志（Binlog）中，从而导致迁移后数据不一致的问题。为解决该问题，可在使用DTS迁移数据前在源库创建触发器实现关联子表的数据操作，确保所需执行的删除或更新都可以被记录到Binlog中，以此保障迁移前后数据的一致性。 操作步骤 1、购买DTS数据迁移实例。 在管理控制台点击“创建实例”进入订购页面，“实例类型”选择“数据迁移”，“目标库实例”的“数据库类型”选择MySQL，选择实例，完成其他信息的填写并完成购买。 2、进入实例配置页面。 DTS实例购买成功后，进入【数据迁移】实例列表页面，上一步骤购买成功的实例在实例列表中显示状态为“待配置”，进入实例配置页面的操作分两种情况： 当DTS实例的网络接入类型为“公网EIP”时，请先点击“绑定弹性IP”按钮完成公网弹性IP的绑定，然后点击该实例操作列的“实例配置”按钮。 当DTS实例网络接入类型为“VPC网络”时，直接点击该实例操作列的“实例配置”按钮。

本节介绍了变更数据捕获（CDC）的相关内容。 操作场景 使用存储过程对指定数据库开启或关闭变更数据捕获功能。变更数据捕获可记录应用到所启用的表中的插入、更新和删除活动，同时采用易于使用的关系格式提供变更详细信息。 说明 仅RDS for SQL Server企业版和RDS for SQL Server 2016及其以上版本的标准版支持变更数据捕获。 关于变更数据捕获的其他功能可参考官方文档。 前提条件 成功连接RDS for SQL Server实例。关于连接关系型数据库实例， 执行此存储过程的必须是拥有[CREATE ANY DATABASE]权限的用户。如果不具备此权限的用户尝试执行该存储过程，系统将会如下提示： plaintext Database restores can only be performed by database logins with [CREATE ANY DATABASE] permissions. 约束 对于系统库，不可进行开启或关闭变更数据捕获功能。如果您试图对系统库进行此操作，系统将会如下提示： plaintext CDC can not open on system database and [rdsadmin]. 变更数据捕获功能操作仅包括 1，0，若尝试进行其他操作，系统将会如下提示： plaintext @dbAction just support 1:open 0:close 操作步骤 执行以下命令，开启或关闭变更数据捕获。 EXEC msdb.dbo.rdscdcdb '@DBName', @dbAction; @ DBName：指定要操作的数据库。 @ dbAction：指定操作，1为开启变更数据捕获，0为关闭变更数据捕获。 对“testDB1”打开变更数据捕获，示例如下： EXEC msdb.dbo.rdscdcdb 'testDB1', 1;

本章节主要介绍配置FTP/SFTP源端参数。 作业中源连接为配置FTP/SFTP连接时，源端作业参数如下表所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件（最多50个），默认以“l"分隔，也可以自定义文件分隔符。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 /ftp/a.csvl/ftp/b.txt 基本参数 文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 CSV格式 基本参数 JSON类型 当“文件格式”选择为“JSON格式”时，才有该参数。JSON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 基本参数 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时，才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 高级属性 使用包围符 选择“是”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 否 高级属性 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段，当选择“是”时，“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时，才有该参数。 是 高级属性 正则表达式 分隔字段的正则表达式。 ^(d.d) (w ) [(.)] ([w.] ) (w.). 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 是 高级属性 编码类型 文件编码类型，例如：“UTF8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 UTF8 高级属性 压缩格式 当“文件格式”为“CSV格式”或“JSON格式”时该参数才显示。选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 高级属性 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则则保持原样传输。当输入或为空时，所有文件都会被解压。 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式： 不处理。 重命名：作业执行成功后将源文件重命名，添加用户名和时间戳的后缀。 删除：作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 是 高级属性 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 高级属性 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。 等待时间设置为0时，当源端路径下不存在标识文件，任务会立即失败。 单位：秒。 10 高级属性 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为 。 高级属性 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。 无 高级属性 目录过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 input,out 高级属性 文件过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 .csv 高级属性 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))}表示：只迁移最近90天内的文件。 20190701 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示：只迁移修改时间为当前时间以前的文件。 20190730 00:00:00 高级属性 加密方式 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 高级属性 忽略不存在原路径/文件 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。 否 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致。 .md5

本章节主要介绍逆向数据库关系建模操作。 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的关系模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见任务管理。 逆向数据库导入表到模型中 1.在DataArts Studio数据架构控制台，单击左侧导航栏的“关系建模”进入关系建模页面。 2.在模型总览中找到所需要执行逆向数据库导入的模型，单击卡片进入模型，单击上方的“逆向数据库”。 3. 在“逆向数据库”对话框中配置如下参数。 下表为逆向数据库 参数名称 说明 所属主题 单击“选择主题”按钮选择所属的主题信息。 数据连接类型 如果逆向到逻辑模型，请在下拉列表中选择所需要的连接类型。 如果逆向到物理模型，将显示当前模型的连接类型。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见创建数据连接。 数据库 选择数据库。 队列 仅限DLI连接类型，需选择DLI队列。 Schema 仅限DWS连接类型，需设置DWS模式。 更新已有表 在导入时，如果所要导入的表在关系模型中已存在，是否更新已有的表。在导入时，系统将按表编码进行判断将要导入的表在当前的关系模型中是否已存在。在导入时，只有创建或更新操作，不会删除已有的表。 不更新 ：如果表已存在，将直接跳过，不更新。 更新 ：如果表已存在，更新已有的表信息。如果表处于“已发布”状态，表更新后，您需要重新发布表，才能使更新后的表生效。 数据表 选择“全部”时，将数据库中的所有的表都导入关系模型中。 选择“部分”时，请选择需要导入关系模型的表。 4.单击“确定”开始执行逆向数据库操作。

本页介绍天翼云TeleDB数据库元数据pgdatamaskmap的内容。 存储管理和配置数据脱敏策略。 名称 类型 定义 relid Oid 表的OID attnum int16 列号（属性编号） enable bool 是否启用数据掩码 option int32 数据掩码选项（见 DATAMASKKINDVALUE、DATAMASKKINDSTRPREFIX、DATAMASKKINDSTRPOSTFIX） datamask int64 数据掩码值 nspname NameData 模式的名称 tblname NameData 表的名称 maskfunc Oid 用户定义对象类型的数据掩码函数 defaultval text 默认值

本章节主要介绍IDE数据查询功能。 若您仅需在开发环境，查询数据及相关SQL代码，测试代码的实际情况与期望值是否相符或验证代码的正确性；而无需将数据或SQL代码发布至生产环境操作生产环境引擎，则可通过数据查询实现。 前提条件 需要完成数据源的接入，同时当前用户具有数据源的查询权限。 使用限制 已拥有数据源的查询权限。 使用流程 进入数据开发页面。 在左侧导航栏，单击IDE查询。 支持Hive、Doris、MySQL、DM、GaussDB、PostgreSQL、Clickhouse、Oracle、SQLserver、Kingbase等数据源的数据查询。

本节主要介绍了GPU加速型实例安装Tesla驱动及CUDA工具包的操作场景。 GPU加速型云主机，需要安装Tesla驱动和CUDA工具包以实现计算加速功能。 使用公共镜像创建的计算加速型（P系列）实例默认已安装特定版本的Tesla驱动。 使用私有镜像创建的GPU加速型云主机，需在创建完成后安装Tesla驱动，否则无法实现计算加速功能。 本节操作介绍GPU云主机安装Tesla驱动及CUDA工具包的操作步骤。

本节介绍数据集存储。 存储概述 数据集当前支持对象存储和并行文件两种类型。 对象存储 因对象存储产品本身不支持容量管理，因此数据集也无法进行容量管理。 并行文件 纳管并行文件类型数据集，其数据集容量和并行文件实例保持一致，在购买并行文件实例时，可以选择其容量。

本页介绍天翼云TeleDB数据库在批量数据变更后，手动执行vacuum analyze收集统计信息的方法。 在批量数据变更后，由于autovacuum触发机制原因，或autovacuum任务繁忙原因，统计信息收集可能会一定的延时，此时统计信息是不准确的，会导致相关SQL的执行计划生成不准确，从而导致SQL执行变慢甚至执行卡死问题。 批量数据变更包括：批量导入数据、批量更新数据、批量删除数据、truncate表、truncate表+批量导入数据。 针对此问题，应在批量数据变更后，手动执行vacuum analyze收集统计信息。 在执行vacuum analyze前，可以适当调大maintenanceworkmem来提高效率，例如： set maintenanceworkmem to '8GB'; vacuum analyze 表名; 可能会因为账号权限要求，应用账号没有对该表的vacuum analyze权限，可创建函数解决此问题： create or replace function useranalyze (schemaname text,tablename text) returns int as $$ declare vsql text; begin vsql : 'vacuum analyze ' schemaname '.' tablename; execute vsql; return 1; end; $$ language plpgsql; select useranalyze('public','teledb1');

2、属性信息 属性信息部分包括数据类型（必填）和值域（必填）。 数据类型可以通过下拉菜单选择，可选择的数据类型包括数值型、字符型、日期型、日期时间型及布尔型。 数值型 若数据类型为数值型，则需要填写该字段的长度信息，精度信息为选填，值域信息包括自定义、引用参考数据、区间范围及无四种。 其中，自定义值域的方式为手动填写 引用参考数据的方式需点击下拉菜单，在右侧弹窗中选择想要引用的参考数据。支持选择参考数据的分类，支持参考数据的查询两种方式检索参考数据。点击【确认】完成参考数据的引用。 区间范围的方式为手动填写值域区间 若字段标准无值域，则不显示具体值域信息。 字符型 若数据类型为数值型，则需要填写该字段的长度信息，值域信息包括自定义、引用参考数据及无三种。 日期型、日期时间型 若数据类型为日期型和日期时间型，则需要选择该字段的格式，格式包括YYYYMMDD、YYYYMMDD、YYYY/MM/DD、YYYYMM、YYYYMM、YYYY/MM、YYYY、MM、DD几种，值域信息包括自定义、区间范围及无三种。 布尔型 若数据类型为布尔型，则仅需要选择数据类型。

MySQL双向实时同步时，若源库和目标库同时变更同一个表的同一条数据，会怎么样？ 数据库双写问题是业界难题，DTS的双向同步无法完全解决数据双写引发的数据冲突问题。在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键或唯一键的记录只在双向同步的某个节点进行更新。 若短时间内业务对源库、目标库中同一条记录发生变更，DTS采用以下策略来保证数据的最终一致性： TaskFailed（遇到冲突，任务报错退出）。 当数据同步遇到冲突时，同步任务直接报错并退出，同步任务进入失败状态，需要您介入修复任务。 Ignore（遇到冲突，直接使用目标实例中的冲突记录）。 当数据同步遇到冲突时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。 Overwrite（遇到冲突，直接覆盖目标实例中的冲突记录）。 当数据同步遇到冲突时，直接覆盖目标库中的冲突记录。 正向和反向都可以选择以上一种冲突修复策略，DTS根据用户配置的冲突修复策略进行冲突的检测和处理。 PostgreSQL双向实时同步时，若源库和目标库同时变更同一个表的同一条数据，会怎么样？ 数据库双写问题是业界难题，DTS的双向同步无法完全解决数据双写引发的数据冲突问题。在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键或唯一键的记录只在双向同步的某个节点进行更新。 若短时间内业务对源库、目标库中同一条记录发生变更，DTS采用以下策略来保证数据的最终一致性： TaskFailed（遇到冲突，任务报错退出）。 当数据同步遇到冲突时，同步任务直接报错并退出，同步任务进入失败状态，需要您介入修复任务。 Ignore（遇到冲突，直接使用目标实例中的冲突记录）。 当数据同步遇到冲突时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。 Overwrite（遇到冲突，直接覆盖目标实例中的冲突记录）。 当数据同步遇到冲突时，直接覆盖目标库中的冲突记录。 正向和反向都可以选择以上一种冲突修复策略，DTS根据用户配置的冲突修复策略进行冲突的检测和处理。

本章节主要介绍数据治理中心的新建连接功能。 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。 不同类型的数据源，创建连接时的配置参数也不相同，本章节指导用户根据数据源类型创建对应的连接。 约束限制 当所连接的数据源发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 1. 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 2. 如果目标数据源为云上服务（如DWS、MRS及ECS等），则网络互通需满足如下条件： ①CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ②CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见《虚拟私有云》帮助文档中的“添加路由信息”章节，配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组 > 添加安全组规则”章节。 ③此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码，且该用户拥有数据导入、导出的操作权限。 使用Agent时需用主账户给子账户赋予CDM操作权限。

本文主要介绍数据智能中台的产品定义。 数据智能中台由数据中台与AI中台两大产品构成。数据中台聚焦于高质量数据资产的“采、存、管、算、用”，是企业数据体系的基座。AI中台聚焦于AI模型的“标、训、推”，是企业智能应用的引擎。

SPL概述 云日志服务提供SPL语句（Semistructured Processing Language），对半结构化的日志数据做结构化处理，比如信息提取、字段操作、数据过滤等操作。SPL提供类Linux Shell脚本的管道级联功能，其中第一级管道前的表达式是数据源（可以是索引过滤条件或其他SPL语句的命名引用），后面的多级管道前后都是SPL命令表达式。 SPL语法说明 一个SPL语句由多个表达式组成，各表达式之间通过英文管道符 () 连接；一个SPL语句以英文分号 (;) 作为语句结束符。SPL语法结构如下： 语法 html sourceexpr cmdexpr cmdexpr； 参数说明 参数 说明 示例 sourceexpr 数据源。包括日志单元数据和SPL命名引用 · · $src 管道符：与Linux Shell中管道符作用类似，即管道前的指令的输出会作为管道后的指令的输入 cmdexpr 指令表达式，即SPL处理日志数据的各种表达式。 详情参考指令表达式语法。 parse typecsv raw as time,ip,level,msg 数据源 分类 场景 数据来源 说明 非命名引用 采集 采集器采集数据 使用星号（）表示将采集器采集的全部原始数据作为输入 非命名引用 数据加工 日志单元数据 使用索引过滤结果作为输入。 · 目前索引过滤条件仅支持 命名引用 SPL 通过let指令定义的命名引用 前提：其他SPL表达式已通过let指令定义了命名引用； 通过$+命名引用名称，即可解引用并将其当作数据源

名称 功能说明 Where条件 您可通过where查询，快速获取查询信息。 快速生成测试数据 您可快速生成当前表结构的测试数据，并可进一步设置生成规则。 复制行 选择需要复制的行，单击“复制行”，复制所选行数据信息。 复制列 在列下拉框中选择需要复制的列，，单击“复制列”，复制所选列信息。 悬浮复制 当鼠标悬浮至某一数据上方，出现悬浮框，单击“复制”，复制该数据。 列设置 您可通过“列设置”筛选出需显示的列信息。 16进制显示Binary类型 列内容以Binary类型显示时，需要勾选此选项，否则显示乱码。 刷新 支持对表数据进行手动更新。 单行详情 显示指定数据行详细信息。 新增 您可通过新增来添加列表行数。 提交编辑 对编辑的内容进行提交后，在SQL预览弹出框中单击“确定”后保存所编辑的信息。 删除行 您可删除所选的行数据信息。 导出 支持CSV、SQL两种表数据导出类型，最多10000条。

本文主要介绍如何在数据管理服务DMS中删除实例。 前提条件 已登录数据管理服务。 登录用户的角色为超级管理员、系统管理员、运维管理员、团队管理员或者实例Owner。 操作步骤 1. 点击 数据资产 > 实例管理 ，进入实例列表界面。 2. 在列表中找到目标实例，点击 更多 > 删除实例 。 3. 单击 确定 按钮，即完成在数据管理服务DMS的实例信息删除。 说明 本操作仅删除在数据管理服务DMS中录入的实例元数据，不影响真实运行环境的实例状态。

本文介绍缓存实例的数据被删除找回问题 如果缓存实例执行了备份操作，实例的数据被删除后，可通过备份文件对数据进行恢复，但是恢复会覆盖备份时间到恢复这段时间的写入数据。 实例通过控制台的“备份与恢复”功能将已备份的数据恢复到缓存实例中，参考备份还原 另外，如果缓存实例被删除，实例中原有的数据将被删除，实例的备份数据也会删除，请谨慎操作。

本章节主要介绍 ALM27006 数据目录磁盘空间使用率超过阈值的告警。 告警解释 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率，并把实际数据目录磁盘空间使用率和阈值相比较，当数据目录磁盘空间使用率连续5次（可配置，默认值为5）超过设定阈值时，系统将产生此告警。数据目录磁盘空间使用率的阈值设为80%（可配置，默认值为80%）。 平滑次数可配置，当平滑次数为1，数据磁盘目录空间使用率小于或等于阈值时，该告警恢复；当平滑次数大于1，数据磁盘目录空间使用率小于阈值的90%时，该告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27006 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 设备分区名 产生告警的磁盘分区。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程不可用。 当数据目录磁盘空间使用率超过90%时，数据库进入只读模式并发送告警“数据库进入只读模式”，业务数据丢失。

本文为您展示星辰MaaS模型服务平台公共数据集模块相关操作。 星辰MaaS模型服务平台包括公共数据集模块，可以实现共享数据集，支持数据集的检索、预览与创建，为用户提供便捷的数据资源，支撑模型训练与调优。 操作步骤 1. 登录星辰MaaS模型服务平台。 2. 在左侧导航栏选择“公共数据集”。 3. 点击“创建数据集”，可新增数据集。 4. 在搜索框输入数据集名称，可以查找数据集，或通过数据集集市分类，快速筛选数据集。 操作流程 数据集查询 操作说明：可点击数据集的二级分类如：图片分类，也可在输入框输入数据集的名称，列表可筛选出符合条件的数据集。 数据集详情 操作说明：点击单个数据集进入，数据集介绍时展示文件的名称、大小、数据集类型、数据集状态和修改时间。 操作说明：点击进入文件夹，可以查看数据集名称、大小、类型、上传状态和修改时间，并支持下载数据集。

选择合适的数据分布策略 分片集群支持将单个集合的数据分散存储在多个分片上，用户可以根据集合内文档的分片键来分布数据。 目前，主要支持两种数据分布策略，即范围分片（Range based sharding）和Hash分片（Hash based sharding）。 下面分别介绍这两种数据分布策略以及各自的优缺点。 范围分片 基于范围进行分片，即集群按照分片键的范围把数据分成不同部分。假设有一个数字分片键，为一条从负无穷到正无穷的直线，每一个片键的值均在直线上进行标记。可以理解为将该直线划分为更短的不重叠的片段，并称之为数据块，每个数据块包含了分片键在一定的范围内的数据。 图 数据分布示意图 如上图所示，x表示范围分片的片键，x的取值范围为[minKey,maxKey]，且为整型。将整个取值范围划分为多个chunk，每个chunk（通常配置为64MB）包含其中一小段的数据。其中，chunk1包含x值在[minKey, 75]中的所有文档，每个chunk的数据都存储在同一个分片上，每个分片可以存储多个chunk，并且chunk存储在分片中的数据会存储在config服务器中，mongos也会根据各分片上的chunk的数据自动执行负载均衡。 范围分片能够很好的满足范围查询的需求，例如，查询x的取值在[60,20]中的文档，仅需mongos将请求路由到chunk2。 范围分片的缺点在于，如果分片键有明显递增（或递减）趋势，新插入的文档很大程度上会分布到同一个chunk，从而无法扩展写的能力。例如，使用“id”作为分片键，集群自动生成id的高位值将是递增的时间戳。 Hash分片 根据用户的分片键值计算出Hash值（长度64bit且为整型），再按照范围分片策略，根据Hash值将文档分布到不同的chunk中。基于Hash分片主要的优势为保证数据在各节点上分布基本均匀，具有“相近”片键的文档很可能不会存储在同一个数据块中，数据的分离性更高。 图 数据分布示意图 Hash分片与范围分片互补，能将文档随机分散到各个chunk，充分扩展写能力，弥补范围分片的不足。但所有的范围查询要分发到后端所有的分片，才能获取满足条件的文档，查询效率低。

本实践将为您介绍如何安装LVM。 操作场景 默认情况下，弹性云主机系统中并没有安装LVM，因此需要您手工安装。本章节将帮助您查询您的弹性云主机是否安装了LVM以及如何去安装LVM。 本文以云主机的操作系统为“CentOS 7.6 64bit”为例，不同云主机的操作系统的格式化操作可能不同，本文仅供参考。 操作步骤 以下操作步骤中云主机的操作系统为“CentOS 7.6 64bit”，回显仅供参考。 1. 登录控制中心。 2. 单击控制中心左上角的，选择地域，此处我们选择华东1。 3. 单击“计算>弹性云主机”，进入弹性云主机页面。 4. 单击待操作的弹性云主机所在行的“操作>远程登录”。 5. 以root用户身份登入云主机，登录之后如图： 6. 安装LVM管理工具的第一步首先是确认当前主机中是否已经安装过LVM管理工具，您可以执行命令：rpm qa grep lvm2，回显如图： 这样的回显表示当前主机中并未安装LVM管理工具。默认情况下，弹性云主机的LVM管理工具都是未安装状态。 7. 在未安装状态下执行命令 yum install lvm2，使用yum安装LVM管理工具，并根据提示信息完成安装。回显如下： 当出现“Complete!”时就说明已经安装成功。 8. 接下来可以再次执行命令 rpm qa grep lvm2来查验此云主机中是否已经安装成功LVM管理工具，具体回显信息如下，说明已经成功安装。

参数 参数类型 说明 示例 下级对象 timeSeriesData Array of Objects 折线图数据 timeSeriesDataObj barChartData Array of Objects 柱状图数据 barChartDataObj gaugeData Object 仪表盘数据 gaugeDataObj pieChartData Object 饼状图数据 pieChartDataObj tableData Object 表格数据 tableDataObj

本章节主要介绍如何恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，需要手动恢复。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表，单击某个租户节点。 3.检查租户数据状态。 a.在“概述”，查看“基本信息”左侧的圆圈，绿色表示租户可用，灰色表示租户不可用。 b.单击“资源”，查看“Yarn”或者“HDFS 存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 c.单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4.单击“恢复租户数据”。 5.在“恢复租户数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

任务状态 用于展示数据导入任务的状态、执行时间和当前进度，状态包括已创建、执行成功、执行中、执行失败四种状态。当任务执行失败时，可在这里查看失败原因。 用户点击执行日志，可查看当前任务的日志输出。执行日志保存有效期为7天。 预检查 用于展示数据导入工单的预检查详情，包括连接检查、权限检查。如选择了“安全模式”，还可能有SQL风险检查、SQL规范检查（导入工单的SQL审核结果保留最多7天）。 审批流程 用于展示数据导入工单的审批流程详情。当组织处于基础版时，用户提交的数据导入工单会触发数据导入任务直接执行，不会经过审批流程，所以没有需要展示的审批流程信息；当组织处于企业版时，用户提交的数据导入工单在通过预定的审批流程之后，才会执行数据导入任务，所以会展示具体的审批流程信息。

本章节主要介绍脚本开发功能。 数据中台将不同类型引擎任务封装为不同脚本任务，通过创建脚本来生成数据开发任务。同时，数据开发支持使用资源和函数开发任务。 脚本开发功能提供如下能力： 提供在线脚本编辑器，支持Python脚本、Shell脚本、MySQL脚本、DM（达梦数据库）脚本、Hive脚本、Spark脚本、PySpark脚本、Postgre SQL脚本、Gauss DB脚本、SQLserver脚本、Kingbase脚本、Clickhouse脚本、Oracle脚本等在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 支持脚本的版本管理能力，支持生成保存版本和提交版本。 脚本开发支持细粒度权限管控，对数据开发脚本目录权限管控策略进行配置。 前提条件 需要完成数据源接入和数据建模，才能进行数据开发操作。 使用限制 已拥有开发角色权限。 已拥有所需数据源和数据表权限。 开发流程 新建脚本：新建相应类型的脚本。 开发脚本：基于新建的脚本，进行脚本的在线开发、调试和执行。。 （可选）管理脚本：脚本开发完成后，您可以根据需要，进行脚本管理。 编排脚本：将脚本按照依赖关系进行编排，同时配置任务调度参数。 发布脚本：将测试通过的脚本发布上线到生产环境。

数据盘扩容 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要变更规格的桌面所在行，点击“管理”，点击“数据盘扩容”操作； 4.根据需求选择扩容的规格； 5.点击“立即创建”，即完成桌面的数据盘扩容。 注意 1、通过资源包开通的桌面，数据盘扩容会直接扣取资源包资源；通过单实例开通的桌面，数据盘扩容需要付费才能完成扩容。 2、数据盘扩容，系统将自动重启以完成配置。 添加数据盘 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要添加数据盘的桌面所在行，点击“管理”，点击“添加数据盘”操作； 4.根据需求选择添加数据盘的规格； 5.点击“立即创建”，即完成添加数据盘。 注意 1、通过资源包开通的桌面，添加数据盘会直接扣取资源包资源；通过单实例开通的桌面，需要付费才能完成添加数据盘。 2、添加数据盘，系统将自动重启以完成配置。 退订/删除数据盘 通过单实例开通的桌面添加数据盘后是支持退订操作，通过资源包开通的桌面添加数据盘后是支持删除操作。 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要退订/删除数据盘的桌面所在行，点击“管理”，点击“退订数据盘”或“删除数据盘”操作； 4.根据需求选择需退订/删除的数据盘； 5.点击“确定”，即完成数据盘的退订/删除。 注意 由于退订/删除操作会导致数据盘清理，数据盘数据将无法恢复，因此，在退订/删除前请您做好数据备份工作。 通过资源包开通的数据盘，进行删除数据盘会直接将存储资源释放回资源包； 通过单实例开通的数据盘，进行退订数据盘将根据使用时长扣除已消费金额，余额将原路返还到您的付款账户； 通过其他渠道开通的数据盘，如需退订数据盘请咨询对应受理渠道。

脱敏授权 当用户需要授权其他用户查询敏感列的明文信息时，可以进行脱敏授权操作。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择敏感实例页签，进入敏感实例页面。 4. 在敏感实例列表中，点击指定实例操作列的脱敏授权按钮即可跳转到该实例的数据权限管理页面。 5. 在数据权限管理页面，用户可以查看、添加、回收该实例下所有敏感列的权限。 关闭保护 当实例不再需要敏感数据保护功能时，可以通过关闭保护操作，移除该实例的敏感数据保护功能。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择敏感实例页签，进入敏感实例页面。 4. 在敏感实例列表中，点击指定实例操作列的关闭保护按钮即可。 5. 需要注意的是，关闭保护后，会同步删除对应实例的所有敏感列、历史识别任务、敏感列权限。

本节介绍了 使用DAS的导出和导入功能迁移RDS for SQL Server数据的相关内容。 操作场景 当进行数据备份或迁移时，支持使用数据管理服务的数据导出功能，获取完整的数据信息，再将数据从本地或者从OBS桶导入目标数据表。 约束限制 只支持导入一个文件，该文件最大可达1GB。 暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。 RDS for SQL Server实例表数量超过1万时，使用DAS的“导出数据库”功能会报错表数量过多，无法导出数据。此时请使用“导出SQL结果集”功能。 导出数据 步骤 1 登录管理控制台。 步骤 2 单击管理控制台左上角的 ，选择区域和项目。 步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 步骤 4 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务实例登录界面。 步骤 5 正确输入数据库用户名和密码，单击“登录”，即可进入您的数据库并进行管理。 步骤 6 在顶部菜单栏选择“导入·导出”>“导出”。 步骤 7 在导出页面，单击左上角“新建任务”，您可根据需要选择“导出数据库”或“导出SQL结果集”。下文以导出数据库为例，导出SQL集同理。 您也可通过单击“快速导出”，创建快速导出任务导出指定数据库信息，选择存储位置，并单击“确定”。 步骤 8 在导出数据库弹出页面，您可按需选填“基本信息”及“高级选项”，并在页面右侧选择需要导出的表。 步骤 9 设置完导出任务信息，单击弹出页面下部“确定”，创建导出任务。 步骤 10 在导出任务列表页面，您可查看任务ID、任务类型、任务状态、进度等信息。 步骤 11 您可在列表操作栏，单击“查看详情”，在任务详情弹出页面，查看本次导出任务执行的详情信息。 结束