本章节主要介绍配置分库源端参数。 作业中源连接为配置分库连接，源端作业参数如下表所示。 表 分库作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMAE 基本参数 表名 表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 说明 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 table 高级属性 Where子句 表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 说明 选择源连接名称为分库连接对应的后端连接时，此作业即为普通的MySQL作业。 新建源端为分库连接的作业时，在字段映射阶段，可以在源字段新增样值为“${custom(host)}”样式的自定义字段，用于在多个数据库中的多张表迁移到同一张表后，查看表的数据来源。支持的样值包括： ${custom(host)} ${custom(database)} ${custom(fromLinkName)} ${custom(schemaName)} ${custom(tableName)}

标准模板管理 标准模板管理用于自定义数据标准的默认选项。首次进入数据架构的数据标准页面，也会显示制定数据标准模板的页面。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2.在数据架构控制台，单击左侧导航树中的“配置中心”，进入相应页面后再单击“标准模板管理”。 3.如下图所示，在“可选项”中勾选所需要的选项，单击“新建”按钮可以添加自定义项，完成后单击“确定”。 说明 标准模板支持“是否可搜索”、“是否必填”。 保存模板后，在新建数据标准时需要设置此处模板中选中选项的参数值。 功能配置 功能配置用于自定义数据架构中的各项功能。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2.在数据架构控制台，单击左侧导航树中的“配置中心”，进入相应页面后再单击“功能配置”。 3.在功能配置页面，可根据用户具体的功能需求配置参数，然后单击“确定”。如果单击“重置”可恢复默认设置。 −模型设计业务流程步骤 ：此处勾选的流程，在关系建模或维度建模的对象发布上线时，系统会依次自动执行。一般建议全部勾选。 创建表 ：当数据架构中的表发布并通过审核后，系统将自动在对应的数据源中创建相应的物理表。在表删除时，系统也会自动删除物理表。 同步技术资产 ：关系建模或维度建模中的表发布后，同步表到数据目录模块作为技术资产，同时同步标签到对应技术资产。 同步业务资产 ：同步逻辑模型到数据目录，作为业务资产，同时同步标签到对应业务资产。 资产关联 ：实现业务资产与技术资产的关联。业务资产与技术资产同步完成后，在数据目录模块中查看对应的业务资产或技术资产详情时，可以看到相关联的技术资产或业务资产。该功能要求表信息中含有数据源信息。 创建质量作业 ：当关系建模或维度建模中的表发布并通过审核后，对于关联数据标准（包含数据长度或允许值）或关联质量规则的表，系统将自动在DataArts Studio数据质量模块中创建一个质量作业。 创建数据开发作业 ：汇总表发布后，自动生成端到端的全流程数据开发作业。 发布数据服务API ：汇总表发布后，自动生成数据服务API，此功能仅当数据服务支持汇总表的数据连接时生效。 数据落库 ：码表维度发布后，会自动将码表的数值填入维度表中。 说明 若开启“同步技术资产”功能，您必须预先在DataArts Studio数据目录模块中对表所属的数据库创建数据目录采集任务并采集成功，否则同步技术资产将会执行失败。 −模型下线流程 ：选择当模型下线时，是否同步删除技术资产、业务资产、质量作业、数据开发作业。 −数据表更新方式 ：当数据架构中的表在发布后进行了修改，是否同时更新数据库中的表。默认为“不更新”，但在配置中心可以依据自己的需求设置更新动作。依据DDL模板, 在模板里面配置对应的更新语句即可。 不更新 ：不更新数据库中的表。 依据DDL 更新模板 ：依据DDL模板管理中配置的DDL更新模板，更新数据库中的表，但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同，在数据架构中所做的表更新操作，如果数仓不支持，则无法确保数据库中的表和数据架构中的表是一致的。例如，DLI类型的表更新操作不支持删除表字段，如果在数据架构的表中删除了表字段，则无法在数据库中相应的删除表字段。如果线下数据库支持更新表结构语法，可以在DDL模板配置对应语法, 之后更新操作就可以通过DataArts Studio管控；如果线下数据库不支持更新, 那只有通过重建这种方式更新。 重建数据表 ：先删除数据库中已有的表，再重新创建表。选择该选项可以确保数据库中的表和数据架构中的表是一致的，但是由于会先删除表，因此一般建议只在开发设计阶段或测试阶段使用该选项，产品上线后不推荐使用该选项。 −数据表不区分大小写 ：对于选中的连接类型，在发布相应类型的表时，同步技术资产时名称将不区分大小写，找到相同的即认为已存在。 −业务表映射使用新版本 ：系统默认为新版本映射。新版本映射功能支持join等操作，推荐使用新版本映射。 −汇总表自动汇聚 ：发布衍生指标或复合指标时，系统支持自动生成汇总表，一个统计维度对应一个汇总表。自动生成的汇总表可在汇总表页面下选择“自动汇聚”页签查看。 −数据标准是否重名 ：默认关闭，打开后数据标准可以重名。 −时间限定生成使用动态表达式 ：开关打开后，则使用动态时间表达式；如开关关闭，则默认使用原有的静态时间表达式。例如时间限定设置为最近30天：如果使用静态表达式，如果当前为9月，生成的最近30天的数据就是8月，即使当前到了10月，生成的数据还是8月，不能自动更新；如果使用动态表达式，当前到了10月，最近30天自动更新为9月。动态表达式时间函数举例如下所示： 说明 如果第一次打开开关，需重置DLL模板中的衍生指标。如之前有修改过DLL模板，请先做好模板备份。重置模板会将原来修改过的模板覆盖，重置后需要将原来修改的内容重新编辑一次。 −信息架构页面表查询时，主题支持并列查询个数 ：默认为1个，暂不支持设置。 −码表数据落库并行行数 ：码表维度发布后，设置将码表的数值填入维度表中时的并行操作行数。当码表数值较多时，会导致落库失败，可以适当调小该参数。 −码表生成质量规则 ：下拉选择即可。当码表的数据量较小时，选择“枚举值校验”即可；否则选择字段一致性校验。

参数 类型 描述 是否必须 path String 指定要修改容量配额的数据目录。 是 capacityQuota Long 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：小于数据目录所在磁盘的总容量，单位是bytes。负整数表示无限制写入，0表示禁止写入。默认不限制写入。 注意 如果相同的数据目录出现多次，以第一次出现的数据目录的容量配额为准。 是

使用RestHighLevelClient建立客户端 其中使用HttpHost类负责http请求，并在HttpHost类中将CredentialsProvider和SSLIOSessionStrategy配置参数类封装在自定义的SecuredHttpClientConfigCallback类配置请求连接参数。 SecuredHttpClientConfigCallback：封装所有自定义的连接参数。 CredentialsProvider：Elasticsearch API，主要使用Elasticsearch提供的方法封装用户名和密码。 SSLIOSessionStrategy：配置SSL相关参数，包括SSL域名验证方式、证书处理方式等。主要使用SSLContext类封装相关设置。 有两种方式连接集群：忽略证书方式和使用证书方式。 忽略所有证书，跳过证书校验环节进行连接 构造TrustManager，使用默认X509TrustManager，不重写任何方法，相当于忽略所有相关操作。 构造SSLContext：使用第一步的TrustManager为参数，默认方法构造SSLContext。 static TrustManager[] trustAllCerts new TrustManager[] { new X509TrustManager() { @Override public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public X509Certificate[] getAcceptedIssuers() { return null; } }}; final CredentialsProvider credentialsProvider new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password)); SSLContext sc null; try{ sc SSLContext.getInstance("SSL"); sc.init(null, trustAllCerts, new SecureRandom()); }catch(KeyManagementException e){ e.printStackTrace(); }catch(NoSuchAlgorithmException e){ e.printStackTrace(); } SSLIOSessionStrategy sessionStrategy new SSLIOSessionStrategy(sc, new NullHostNameVerifier()); SecuredHttpClientConfigCallback httpClientConfigCallback new SecuredHttpClientConfigCallback(sessionStrategy,credentialsProvider); RestClientBuilder builder RestClient.builder(new HttpHost(clusterAddress, 9200, "https")).setHttpClientConfigCallback(httpClientConfigCallback); RestHighLevelClient client new RestHighLevelClient(builder); 使用下载的证书（CloudSearchService.cer），加载证书进行连接。 上传证书到客户端，在命令行中使用keytool工具将证书转换成Java可以读取的证书格式：（keytool默认密码为changeit） keytool import alias 自命名 keystore 输出的证书路径和重命名名字 file 上传证书的路径 自定义TrustManager类，继承于X509TrustManager，读取上一步输出的证书，将其加入信任证书里，重写X509TrustManager接口的三个方法； 构造SSLContext：使用第一步的TrustManager为参数，默认方法构造SSLContext。 public static class MyX509TrustManager implements X509TrustManager { X509TrustManager sunJSSEX509TrustManager; MyX509TrustManager() throws Exception { File file new File("certification file path"); if (file.isFile() false) { throw new Exception("Wrong Certification Path"); } System.out.println("Loading KeyStore " + file + "..."); InputStream in new FileInputStream(file); KeyStore ks KeyStore.getInstance("JKS"); ks.load(in, "changeit".toCharArray()); TrustManagerFactory tmf TrustManagerFactory.getInstance("SunX509", "SunJSSE"); tmf.init(ks); TrustManager tms [] tmf.getTrustManagers(); for (int i 0; i < tms.length; i++) { if (tms[i] instanceof X509TrustManager) { sunJSSEX509TrustManager (X509TrustManager) tms[i]; return; } } throw new Exception("Couldn't initialize"); } final CredentialsProvider credentialsProvider new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password)); SSLContext sc null; try{ TrustManager[] tm {new MyX509TrustManager()}; sc SSLContext.getInstance("SSL", "SunJSSE"); sc.init(null, tm, new SecureRandom()); }catch (Exception e) { e.printStackTrace(); } SSLIOSessionStrategy sessionStrategy new SSLIOSessionStrategy(sc, new NullHostNameVerifier()); SecuredHttpClientConfigCallback httpClientConfigCallback new SecuredHttpClientConfigCallback(sessionStrategy,credentialsProvider); RestClientBuilder builder RestClient.builder(new HttpHost(clusterAddress, 9200, "https")) .setHttpClientConfigCallback(httpClientConfigCallback); RestHighLevelClient client new RestHighLevelClient(builder); 代码示例 代码运行时，传入3个参数，分别是 连接地址 ，集群登录用户名 和 密码 ，示例实现的请求是GET /search{"query": {"matchall": {}}}。 说明 pom文件中客户端版本需与集群版本保持一致。

本章节主要介绍新建一个对账作业实例的操作。 场景说明 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。 环境准备 需要准备好对账的数据源，即通过管理中心分别创建数据连接，用于跨源数据对账。 操作步骤 1.建立跨源数据连接。 a.创建DLI数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据湖探索（DLI）”，输入数据连接名称，单击“测试”，提示连接成功，单击“确定”。 b.创建DWS数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据仓库服务（DWS）”，输入数据连接名称，设置其他参数，如下图所示，单击“测试”，提示连接成功，单击“确定”。 2.创建对账作业。 a.在DataArts Studio数据质量模块，单击左侧导航菜单“对账作业”。 b.单击“新建”，配置对账作业的基本信息，如下图所示。 c.单击“下一步”，进入规则配置页面。您需要点击规则卡片中的，然后配置对账规则，如下图所示。 说明 要分别配置源端和目的端的信息。 配置告警条件，其中点击左侧的表行数 （${11}）表示左侧源端选中表的行数，点击右侧表行数 （${21}）表示目的端表行数。此处配置告警条件为 ${11}!${21}，表示当左侧表行数与右侧表行数不一致时，触发报警并显示报警状态。 d.单击“下一步”，配置订阅信息，如下图所示。 说明 勾选触发告警表示作业报警时发送通知到对应的smn主题，勾选运行成功表示不报警时发送通知到SMN主题。 e.单击“下一步”，配置调度方式，如下图所示。 说明 单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置。 3.查看对账作业 a.单击对应的对账作业操作列中的运行链接，运行对账作业后，自动跳转到运维管理页面。 b.单击结果&日志查看运行结果和运行日志，等待作业运行结束后，如下图所示。

本文介绍RDSPostgreSQL实例数据被损坏的可能场景。 主机损坏或异常 在数据盘损坏的场景下，实例数据库可能会被损坏以至数据丢失。 数据库主机服务器断电，可能会导致数据页损坏，可能会导致数据库发生异常。 数据遭恶意篡改 在一些安全漏洞被利用的场景下，可能数据会遭到恶意篡改。为了防止这种情况发生，建议严格权限管理，避免非授权用户操作数据库。

本页介绍如何通过数据管理服务DMS登录关系数据库SQL Server版实例。 操作场景 创建关系数据库SQL Server版实例后，可以通过登录数据管理服务DMS对数据库实例进行数据管理、用户授权、SQL审计、数据可视化等管理操作。 前置条件 创建数据库和账号。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择【产品 > 数据库 > 关系型数据库 > 关系数据库SQL Server版】，进入关系数据库SQL Server产品页面。然后单击【管理控制台】，进入TeleDB数据库【概览】页面。 2. 在左侧导航栏，选择【SQL Server > 实例管理】，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 您有三种方式可以进入数据管理服务DMS。 1. 在实例列表上方，单击【进入数据管理服务】，即可进入到DMS的首页，根据提示信息填写相关信息，即可登入DMS。 2. 在实例列表中，单击目标实例名称，进入实例【基本信息】页面，单击右上角的【登录数据库】，即可进入该实例的DMS登录页面。 3. 在实例列表中，找到目标实例，在【操作】列选择【更多 > 登录数据库】，即可进入该实例的DMS登录页面。 4. 登入DMS后，即可对相应实例的数据库实例进行管理。

本章节主要介绍逆向数据库维度建模操作。 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的关系模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见任务管理。 逆向数据库导入表到维度模型中 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2. 在DataArts Studio数据架构控制台，单击左侧导航栏的“维度建模”进入维度建模页面。 3. 打开需要逆向数据库导入的维度或表的页签，然后单击列表上方的“逆向数据库”。 4. 在“逆向数据库”对话框中配置参数。 参数名称 说明 所属主题 单击“选择主题”按钮选择所属的主题信息。 数据连接类型 选择维度建模的逆向数据库。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见创建数据连接。 数据库 选择数据库。 队列 仅限DLI连接类型，需选择DLI队列。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 更新已有表 在导入时，只有创建或更新操作，不会删除已有的表。 不更新 ：如果表已存在，将直接跳过，不更新。 更新 ：如果表已存在，更新已有的表信息。如果表处于“已发布”状态，表更新后，您需要重新发布表，才能使更新后的表生效。 数据表 选择“全部”时，将数据库中的所有的表都导入。 选择“部分”时，请选择需要导入的表。 5. 单击“确定”开始执行逆向数据库操作。等待操作执行完成，即可在“上次逆向”中查看结果或者执行重新逆向操作。

参数名称 说明 数据连接类型 在下拉列表中选择数据连接类型。 数据连接 选择所需要的数据连接。 如果您还未创建与数据源之间的数据连接，请前往DataArts Studio管理中心控制台进行创建。 数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DWS表类型有： DWSROW：行存表。行存储是指将表按行存储到硬盘分区上。 DWSCOLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 MRSHIVE类型仅支持HIVETABLE。 DISTRIBUTE BY 该参数仅DWS连接类型有效。可选取多个字段。 REPLICATION ：在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销；缺点是每个DN都保留了表的完整数据，造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH ：采用这种分布方式，需要为用户表指定一个分布列（distribute key）。当插入一条记录时，系统会根据分布列的值进行hash运算后，将数据存储在对应的DN中。对于Hash分布表，在读/写数据时可以利用各个节点的IO资源，大大提升表的读/写速度。一般情况下大表（1000000条记录以上）定义为Hash表。

本文为您介绍组成TeleDB管控数据管理服务的元数据管理、查询窗口、数据导入导出、慢查询分析、容量评估、会话管理和锁分析功能等模块。 TeleDB管控数据管理服务由元数据管理、查询窗口、数据导入导出、慢查询分析、容量评估、会话管理和锁分析功能等模块组成。它旨在为企业提供一套全面的数据管理解决方案，包括数据的存储、访问、分析和安全等核心环节。通过TeleDB管控数据管理模块，企业可以实现对数据的集中式管理和存储，从而简化了数据的访问和检索过程。 元数据管理模块 ：提供对实例、数据库、模式、表和可编程对象等各级数据库对象的元数据管理，在数据库的创建、编辑、删除等常规操作需提供界面化操作支持，可以实时同步数据库的元数据信息。 查询窗口模块 ：数据库开发者常用功能，提供功能丰富的SQL输入框，包括语法提示、脚本保存以及结果集的返回，支持对结果集进行界面可视化编辑进行数据更新。 数据导入导出模块 ：支持多种文件格式的数据导入到数据库，以及从数据库中导出数据。支持的文件格式为：sql、txt和csv。支持不同层级的数据导入导出，分别支持库/模式以及表级的数据导出。同时，也支持不同层级数据库对象的结构导出。 慢查询分析 ：慢查询统计、索引推荐主要和管控实例交互获取，慢查询分析、语句优化主要和业务实例交互获取，性能容量评估操作建议可联动慢查询分析，进行服务调用，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。 性能容量评估 ：性能容量评估的监控指标数据主要和管控实例交互获取，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。 会话管理 ：会话管理通过业务实例获取全局会话和异常会话的信息，并提供部分会话、全部会话的终止功能，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。 锁分析： 锁分析通过管控实例获取到业务实例最近一次发生死锁的信息，获取到死锁的事务环信息和回滚的事务信息并展示说明，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。

创建OBS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 详见下图：选择连接器类型 2.连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从MRS HDFS导出数据到OBS的任务。 详见下图：创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建MRS HDFS连接中的“hdfsllink”。 −源目录或文件：待迁移数据的目录或单个文件路径。 −文件格式：传输数据时所用的文件格式，这里选择“二进制格式”。不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 −其他可选参数一般情况下保持默认即可，详细说明请参见 配置HDFS源端参数。 目的端作业配置 −目的连接名称：选择创建OBS连接中的“obslink”。 −桶名：待迁移数据的桶。 −写入目录：写入数据到OBS服务器的目录。 −文件格式：迁移文件类数据到文件时，文件格式选择“二进制格式”。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置OBS目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持多个文件的并发抽取，调大参数有利于提高迁移效率 是否写入脏数据：否，文件到文件属于二进制迁移，不存在脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本文主要介绍云日志服务中如何创建数据加工任务。 云日志服务支持您使用数据加工读取源日志单元中的数据，对数据进行加工处理后，写入到不同的目标日志单元中。您也可以对加工后的数据进行查询和分析，进一步发掘数据价值。本文介绍如何在云日志服务控制台上创建数据加工任务。 操作步骤 1. 登录云日志服务控制台 2. 左侧点击【日志加工】菜单，进入日志加工页面。 3. 点击【创建加工任务】； 4. 输入任务名称、加工源日志单元以及加工后日志存储目标等参数，参数说明如下表。输入完成后点击下一步，进入加工语句设置页面。 5. 在加工语句设置页面，输入加工语句，点击预览数据，即可预览数据加工结果以及结果汇总。 6. 下方可点击原始日志tab，查看加工前的原始日志。默认取原始日志中的前10条日志进行加工预览，您也可点击【加入测试数据】，针对特定的日志进行加工预览。 7. 当您确认加工预览结果符合预期时，您可点击【完成】，即可创建加工任务。 参数 说明 任务名称 数据加工任务的名称。 存储目标名称 存储目标的名称。存储目标中包括日志项目、日志单元等配置。 目标日志项目 用于存储数据加工结果的目标日志项目。 目标日志单元 用于存储数据加工结果的目标日志单元。 加工范围 持续加工：数据加工任务将持续进行。指定结束时间：您可指定数据加工任务的结束时间。 注意 对于新创建的日志单元，由于其需要23分钟时间进行初始化，期间若配置加工任务会出现运行失败的情况。因此建议待日志单元创建5分钟后，再配置加工任务。

参数名称 说明 数据连接类型 在下拉列表中选择数据连接类型。 数据连接 选择所需要的数据连接。 如果您还未创建与数据源之间的数据连接，请前往DataArts Studio管理中心控制台进行创建。 数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DWS表类型有： DWSROW：行存表。行存储是指将表按行存储到硬盘分区上。 DWSCOLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 MRSHIVE类型仅支持HIVETABLE。 DISTRIBUTE BY 该参数仅DWS连接类型有效。可选取多个字段。 REPLICATION ：在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销；缺点是每个DN都保留了表的完整数据，造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH ：采用这种分布方式，需要为用户表指定一个分布列（distribute key）。当插入一条记录时，系统会根据分布列的值进行hash运算后，将数据存储在对应的DN中。对于Hash分布表，在读/写数据时可以利用各个节点的IO资源，大大提升表的读/写速度。一般情况下大表（1000000条记录以上）定义为Hash表。

本文主要介绍可信数据空间数据接入操作流程。 数据接入是提供方根据将本地通过数据连接，安全快速地将本地资源数据上传到可信数据摆渡区，经过运营审批，资源发布统一资源目录，形成公共的资源池。 流程步骤如下： 注意 若提供已有部署连接器，则可略过以下的连接申请、施工和监管的步骤，即省略1、2、3、4、5步，直接从第6步进行本地资源上传。 连接器申请（提供方） 操作路径：提供方空间连接器申请 提供方点击“提供方空间”，点击“连接器申请”，在弹出的界面填写连接器申请信息，包含了联系人、联系电话，联系地址，连接器类型，连接器版本，连接入口网络地址，使用描述以及其他一些申请资料等。其中，连接器分为标准版和全功能型。 1. 标准型接入连接器：适用于对数据流通安全性有基本要求的场景，如数据目录共享、标准化数据调用和基础数据交换等，满足金融、政府、科研等行业的数据合作需求 2. 全功能型接入连接器：适用于对数据安全性、计算能力和传输效率要求更高的复杂场景，如跨行业数据联合建模、隐私保护数据分析、金融风控、智能风控和其他高敏感数据交易场景。

本章节主要介绍ALM25004 LdapServer数据同步异常的告警。 告警解释 系统按30秒周期性检测LdapServer数据，如果连续12次检测，Manager的主备LdapServer的数据内容都不一致，产生该告警，当两者的数据一致时，对应告警恢复。 系统按30秒周期性检测LdapServer数据，如果连续12次检测，集群中的LdapServer的数据与Manager的LdapServer数据都不一致，产生该告警，当两者的数据一致时，对应告警恢复。 告警属性 告警ID 告警级别 是否自动清除 25004 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机节点信息。 对系统的影响 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 可能原因 LdapServer进程所在的节点网络故障。 LdapServer进程异常。 OS重启导致的LdapServer数据损坏。 处理步骤 检查LdapServer所在的节点网络是否故障 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。记录该告警定位信息中的“主机名”的IP地址为IP1（若出现多个告警，则分别记录其中的IP地址为IP1、IP2、IP3等）。 2.联系运维人员，登录IP1节点，在这个节点上使用ping命令检查该节点与主OMS节点的管理平面IP是否可达。 是，执行步骤4。 否，执行步骤3。 3.联系网络管理员恢复网络，然后查看“LdapServer数据同步异常”告警是否恢复。 是，处理完毕。 否，执行步骤4。

实时实例指标查看 实时实例运行起来之后，可以查看flink相关的运行指标，在列表页，点击【更多】按钮，点击【查看指标】即可跳转至指标页面。 注意：只有处于【运行中】状态的实时实例才可查看指标。查看指标中可以查看任务运行情况、业务延迟情况、资源情况、I/O情况、checkpiont情况与返压情况等。 补数实例 对周期任务发起补数据操作后，将根据周期类型和业务日期产生不同的补数据实例。您可以根据业务需求对补数据实例进行运维管理，包括查看运行日志、重跑等操作。 注意：补数操作需要任务处于生效状态才能使用。 应用场景 新开发的周期任务，只能从第二天开始调度。如果您需要马上查看历史分区数据，可以执行补数据操作。 上游依赖的任务重跑或补数据导致历史分区数据刷新。您可以通过补数据功能，回刷下游任务的历史分区数据。 业务的历史数据存在遗漏，需补充历史数据，相当于将写入数据至历史的对应时间分区。 业务历史数据有遗漏需要补充历史数据的示例说明： 步骤一：进入周期任务列表页，点击补数操作 进入运维中心页面。 按照以下操作指引，进入周期任务列表页。 依次单击数据运维>任务运维>周期任务>操作栏更多>补数据 步骤二：填写补数日期 选中某生效任务，在其操作栏点击更多按钮再操作补数据功能，弹出弹窗。 需要选中补数的业务日期，其中开始时间到结束时间都只能是历史时间，没法选中未来的时间节点，如当天为10号，我需要补9号的数据，则在任务生效的情况下，开始时间和结束时间都选择9号，即可生成9号的数实例。 补数任务一次性只能提交50个业务日期。 步骤三：运行补数实例 补数据实例生成后将自动触发运行。

关系数据库MySQL版支持切换主备实例的数据复制方式，以满足不同的业务需求。本文介绍如何修改关系数据库MySQL版实例的数据复制方式。 注意 仅II类型资源池支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见功能概览。 背景信息 数据复制方式说明 您可以根据实际情况，切换主备实例的数据复制方式，支持切换为异步 或半同步，具体说明如下： 异步 应用更新数据时，主库执行完操作后立即向应用返回响应，然后就向备实例异步复制数据，这种数据复制方式通常具有较高的性能。 因此，在异步数据复制方式下，备实例不可用时不会影响主实例上的操作。而主实例异常不可用时可能会影响主备数据复制、导致主备实例数据不一致，极端情况下，可能会有数据丢失风险，请谨慎选择。 半同步 应用更新数据时，主库需要等待备库收到日志才向应用返回响应，这种方式提高了数据可靠性但对性能有一定影响： 可用性类型 是否退化 描述 可靠性 不退化（默认） 如果实例主库与其他所有备库通信故障，为保证数据一致性和完整性，主库将被设置为只读且不进行退化（一主一备实例默认设置可用性优先会退化），直至任一备节点恢复后可对外提供写服务。 可用性 退化（默认） 如果实例主库与其他所有备库通信故障，可能会导致退化（一主两备实例默认设置可靠性优先不退化），退化表现为主库等待备库响应数秒钟，在此期间会阻塞主库对业务写操作的响应，退化后，主库恢复正常、主库可正常写入数据。退化后的实例可能会有数据丢失风险，主备之间通信恢复正常后，实例重新转化为半同步状态。

本文介绍如何使用数据缓存创建实例。 创建数据缓存后，您可以使用数据缓存创建ECI实例，将缓存好的数据直接挂载到ECI实例中，免去拉取数据的等待时间，加速业务启动。 前提条件 确保数据缓存已经处于可用状态。 配置说明 1. 创建容器组过程中，输入数据缓存的bucket名称，点击添加，选择缓存目录和目标容器。 2. 创建容器组完成，等待一段时间变成Running状态后，点击远程连接，进入容器查看刚刚使用的数据缓存。 3. 可以在容器testdir目录查看之前拉取的数据。

数据重分布功能提供可视化白屏化操作能力,支持策略配置、进度查看等功能,可以有效降低运维复杂度。 功能介绍 天翼云 ClickHouse 支持通过水平扩容增加集群节点，提升整体计算能力与存储容量。但集群扩容后，原有分片的数据无法自动均衡分布，易出现分片数据倾斜、磁盘利用率不均、查询性能下降等问题。 集群数据重分布功能提供可视化白屏化操作能力，当前仅支持Resharding 模式：基于分布式表的分片哈希规则，将全量数据重新写入集群所有分片，实现分片间数据均匀分布，是扩容后数据均衡、分片倾斜治理的核心运维手段。 注意事项 1. 存储空间要求 Resharding 模式为全量数据重写，执行过程中会生成临时表，需要集群剩余磁盘空间大于待重分布表的总数据大小，避免空间不足导致任务失败。 2. 任务并发限制 （1）一个数据表只能同时绑定一个重分布任务； （2）一个集群最多同时运行一个数据重分布任务。 3. 表引擎与库类型限制 （1）仅支持 MergeTree 家族引擎表（包含普通 MergeTree、ReplicatedMergeTree 系列复制表），不支持物化视图表； （2）表所在数据库必须为atomic（默认）或ordinary类型。 4. 表架构要求本地表的副本配置必须与cluster配置一致，且必须存在对应的分布式表，作为分片映射与数据路由的依据。 5. 数据分布规则 Resharding 模式严格按照分布式表的分片键哈希规则进行数据重分布，确保数据按分片键均匀落到各个分片。 6. 临时表与备份机制 （1）重分布过程自动生成临时表，命名规则：resharding任务id原表名temp随机数； （2）任务进入「待切换」状态时，需先验证临时表数据的正确性与完整性，再执行切换操作；切换时后台会查询出源表和临时表各个partition下各个节点的数据对比，以供判断数据完整性； 7. 原表读写限制 （1）重分布过程中，原表默认置为只读状态，保障重分布期间的数据一致性； （2）支持按 Partition 粒度部分重分布：若重分布的分区无业务写入，可选择开启原表可写；若重分布分区有持续写入，开启可写会导致数据不一致，不建议开启； （3）不支持全部分区维度下的原表可写配置。 8. 冷热分层集群特殊要求 已开启冷热分层功能的集群，执行数据重分布前，建议先执行一次集群滚动重启，确保存储策略、冷存储卷挂载状态正常。 9. 副本配置要求 Resharding 模式依赖集群所有分片的internalreplication配置统一，全部为 true 或全部为 false。 10. 切换影响说明：数据表切换为秒级操作，切换瞬间可能出现短暂的数据读取不一致，建议在业务低峰期执行。

本章节主要介绍恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，需要手动恢复。 操作步骤 在MRS Manager，单击“租户管理”。 1. 在左侧租户列表，单击某个租户节点。 2. 检查租户数据状态。 a.在“概述”，查看“基本信息”左侧的圆圈，绿色表示租户可用，灰色表示租户不可用。 b.单击“资源”，查看“Yarn”或者“HDFS存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 c.单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 3. 单击“恢复租户数据”。 4. 在“恢复租户数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

前提条件 已完成脚本开发任务。 提交版本并解锁 “提交”会将当前开发态的最新脚本保存并提交为版本，并覆盖之前的脚本版本。为了便于后续其他开发者对此脚本进行修改，建议您在“提交”后通过“解锁”解除该脚本锁定。 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3.在脚本目录中，双击已开发完成的脚本名称，进入脚本开发页面。 4.在脚本编辑器上方单击“提交”，提交版本描述内容长度最多为128个字符，并勾选是否在下个调度周期使用新版本，不勾选则无法点击确认。 详见下图：提交 5.“提交”后在脚本编辑器上方单击“解锁”，解除锁定，便于后续其他开发者对此脚本进行修改更新。 详见下图：解锁 版本回滚 提交版本后，可以在版本列表中看到已经提交过的版本信息（当前最多保存最近10条版本信息）。点击“回滚”，可以回退到任意一个已提交的版本。 回滚内容包括： DLI：数据连接、数据库、资源队列、脚本内容。 DWS：数据连接、数据库、脚本内容。 HIVE：数据连接、数据库、资源队列、脚本内容。 SPARK：数据连接、数据库、脚本内容。 SHELL：主机连接、参数、交互式参数、脚本内容。 RDS：数据连接、数据库、脚本内容。 PRESTO：数据连接、模式、脚本内容。 PYTHON：主机连接、参数、交互式参数、脚本内容。 FLINK：脚本内容。 操作如下： 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录中，双击脚本名称，进入脚本开发页面。 4. 在页面右侧单击“版本”，查看版本提交记录，找到需要回滚的版本单击“回滚”即可。 如果当前有开发态的编辑内容没有提交，将会被覆盖。回滚之后需要重新提交才能生效，调度默认使用最新提交的版本进行调度。 详见下图：版本回滚

本文介绍数据管理服务的费用相关信息。 数据管理服务DMS分基础版和企业版，目前为了让更多的用户体验到我们的服务，我们提供限时免费使用企业版，需要用户订购DMS服务，订购服务有多种方式： 通过天翼云官网首页搜索数据管理服务DMS，点击立即开通进行订购；若此前已订购，则会自动跳转数据管理服务DMS控制台。 若未订购数据管理服务DMS，打开DMS管理控制台，也将自动跳转订购页面。请根据指引完成订购。 您可以充分利用这一机会，免费尝试数据管理服务的各种功能，包括但不限于查询窗口、数据源管理、数据导入、数据导出、SQL变更审批、自定义审批流、数据权限管控、团队管理等。 此外，我们的数据管理服务还提供了用户友好的界面，让您可以轻松地进行数据库管理。 在试用期间，您还可以体验到我们专业的技术支持和客户服务，以确保您在使用过程中得到及时的帮助。 注意 我们鼓励您在试用期间充分了解和评估我们的数据管理服务，限时免费结束后，我们将根据实际情况调整价格策略。在启用付费功能后，我们将提前通过站内信、短信、电子邮件或其他方式发送计费说明给已使用付费功能的用户。

数据重分布功能提供可视化白屏化操作能力,支持策略配置、进度查看等功能,可以有效降低运维复杂度。 功能介绍 天翼云 ClickHouse 支持通过水平扩容增加集群节点，提升整体计算能力与存储容量。但集群扩容后，原有分片的数据无法自动均衡分布，易出现分片数据倾斜、磁盘利用率不均、查询性能下降等问题。 集群数据重分布功能提供可视化白屏化操作能力，当前仅支持Resharding 模式：基于分布式表的分片哈希规则，将全量数据重新写入集群所有分片，实现分片间数据均匀分布，是扩容后数据均衡、分片倾斜治理的核心运维手段。 注意事项 1. 存储空间要求 Resharding 模式为全量数据重写，执行过程中会生成临时表，需要集群剩余磁盘空间大于待重分布表的总数据大小，避免空间不足导致任务失败。 2. 任务并发限制 （1）一个数据表只能同时绑定一个重分布任务； （2）一个集群最多同时运行一个数据重分布任务。 3. 表引擎与库类型限制 （1）仅支持 MergeTree 家族引擎表（包含普通 MergeTree、ReplicatedMergeTree 系列复制表），不支持物化视图表； （2）表所在数据库必须为atomic（默认）或ordinary类型。 4. 表架构要求本地表的副本配置必须与cluster配置一致，且必须存在对应的分布式表，作为分片映射与数据路由的依据。 5. 数据分布规则 Resharding 模式严格按照分布式表的分片键哈希规则进行数据重分布，确保数据按分片键均匀落到各个分片。 6. 临时表与备份机制 （1）重分布过程自动生成临时表，命名规则：resharding任务id原表名temp随机数； （2）任务进入「待切换」状态时，需先验证临时表数据的正确性与完整性，再执行切换操作；切换时后台会查询出源表和临时表各个partition下各个节点的数据对比，以供判断数据完整性； 7. 原表读写限制 （1）重分布过程中，原表默认置为只读状态，保障重分布期间的数据一致性； （2）支持按 Partition 粒度部分重分布：若重分布的分区无业务写入，可选择开启原表可写；若重分布分区有持续写入，开启可写会导致数据不一致，不建议开启； （3）不支持全部分区维度下的原表可写配置。 8. 冷热分层集群特殊要求 已开启冷热分层功能的集群，执行数据重分布前，建议先执行一次集群滚动重启，确保存储策略、冷存储卷挂载状态正常。 9. 副本配置要求 Resharding 模式依赖集群所有分片的internalreplication配置统一，全部为 true 或全部为 false。 10. 切换影响说明：数据表切换为秒级操作，切换瞬间可能出现短暂的数据读取不一致，建议在业务低峰期执行。

本文主要介绍云日志服务的数据加工概述。 云日志服务提供可扩展、高可用的数据加工服务。数据加工服务可用于日志的规整、富化、流转、脱敏和过滤等。 加工流程 日志加工服务通过如下三个步骤完成加工处理。 1. 通过消费组对源日志单元的已分词日志进行读取。 2. 通过加工规则对读取到的每一条分词日志进行加工处理。 3. 将加工后的日志写入目标日志单元。加工完成后，您可以在目标日志单元中查看加工后的日志。 功能特性 数据规整：由于日志数据通常来自于不同的系统组件、应用程序或设备，其格式和结构可能各异，导致在对日志数据进行分析、搜索和可视化时出现困难。数据规整可针对混乱格式的日志进行字段提取、格式转换，统计为一致性格式以便后续的处理与分析。 数据脱敏：对日志数据中的敏感信息（如密码、手机号、地址等）进行脱敏。 数据过滤：针对关键业务或服务的日志进行过滤，用于后续重点分析等场景。 加工语法 加工SPL（Semistructured Processing Language）是云日志服务数据加工使用的类Linux Shell脚本，支持对半结构化的日志数据做结构化处理，比如信息提取、字段操作、数据过滤等操作。SPL提供类似Linux Shell脚本的管道级联功能，其中第一级管道前的表达式是数据源（可以是索引过滤条件或其他SPL语句的命名引用），后面的多级管道前后都是SPL命令表达式。

本页介绍数据传输服务DTS的标签管理功能及操作指引。 功能介绍 DTS的标签管理功能，用于对用户所拥有的数据同步实例进行分类管理，用户可对数据同步实例绑定不同的标签，用于分类和快捷查询。 操作指引 数据同步实例标签管理功能的操作步骤和方法与数据迁移类似，具体请参照数据传输服务DTS 用户指南 数据迁移 标签管理的操作。

本章节主要介绍迁移文件时加解密。 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式： AES256GCM加密 KMS加密 AES256GCM加密 目前只支持AES256GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。 源端支持的数据源：OBS、FTP、SFTP、HDFS（使用二进制格式传输时支持）、HTTP（适用于OBS共享文件的下载场景）。 目的端支持的数据源：OBS、FTP、SFTP、HDFS（使用二进制格式传输时支持）。 下面分别以OBS导出加密文件时解密、导入文件到OBS时加密为例，介绍AES256GCM加解密的使用方法。其它数据源的使用方法一样。 源端配置解密 创建从OBS导出文件的CDM作业时，源端数据源选择OBS后，在“源端作业配置”的“高级属性”中，配置如下参数。 a.加密方式：选择“AES256GCM”。 b.数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。 c.初始化向量：这里的初始化向量必须与加密时配置的初始化向量一致，否则解密出来的数据会错误，且系统不会提示异常。 这样CDM从OBS导出加密过的文件时，写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到OBS的作业时，目的端数据源选择OBS后，在“目的端作业配置”的“高级属性”中，配置如下参数。 a.加密方式：选择“AES256GCM”。 b.数据加密密钥：用户自定义密钥，密钥由长度64的十六进制数组成，不区分大小写但必须64位，例如“DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B”。 c.初始化向量：用户自定义初始化向量，初始化向量由长度32的十六进制数组成，不区分大小写但必须32位，例如“5C91687BA886EDCD12ACBC3FF19A3C3F”。 这样在CDM导入文件到OBS时，目的端OBS上的文件便是经过AES256GCM算法加密后的文件。

本文主要介绍云日志服务中如何管理数据加工任务。 本文介绍如何在云日志服务控制台上管理数据加工任务，包括查看任务详情与状态，修改、启动、停止和删除任务，设置告警等操作。 查看任务详情 1. 登录云日志服务控制台。 2. 左侧点击【日志加工】菜单，进入日志加工列表页面。 3. 在加工任务列表中，点击目标加工任务名称进入加工任务概览页面，即可查看加工任务各详情状态。 停止任务 对于状态为运行中的任务，您可在数据加工概览页面，单击停止，即可停止当前加工任务。 启动任务 对于状态为已终止的任务，您可在数据加工概览页面，单击启动，即可启动当前加工任务。 重新执行 任何状态的任务都支持重新执行。您可在数据加工概览页面，点击重新执行按钮，数据加工任务将会重新执行。 修改加工规则 1. 在数据加工概览页面，点击修改规则按钮。 2. 在修改页面，您可根据需求修改数据加工规则，步骤请参考创建数据加工任务。 删除任务 在数据加工概览页面，点击删除，即可删除当前数据加工任务。

本章节主要介绍数据治理中心的查看监控指标功能。 操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台，直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，监控显示的是当前时间5～10分钟前的状态。如果您的CDM集群刚刚创建完成，请等待5～10分钟后查看监控数据。 前提条件 CDM集群正常运行。重启失败、不可用状态的集群，无法查看其监控指标。当集群再次启动或恢复后，即可正常查看。 CDM集群已正常运行一段时间（约10分钟）。对于新创建的集群，需要等待一段时间，才能查看上报的监控数据和监控视图。 操作步骤 1.进入CDM主界面，选择“集群管理”，选择集群操作列中的“更多 > 查看监控指标”。 2.在CDM监控页面，可查看所有监控指标的小图。详见下图：查看监控指标 3.单击小图右上角的，可进入大图模式查看。 4.您可以在左上角选择时长作为监控周期，查看一段时间的指标变化情况。

本文向您介绍本地盘云主机数据迁移的相关信息。 操作场景 本地盘云主机，同时具有本地盘和云盘两种数据存储的方式，当用户出现以下应用场景时，需要考虑自行迁移本地盘云主机数据： 需要切换数据到另一台主机。 需要扩大本地盘容量，但由于当前不支持本地盘的变配操作，故需要用户自行迁移数据至更大规格的本地盘中。 操作步骤 1. 创建云硬盘。 用户需要前往云硬盘产品控制台界面，根据迁移的数据量大小，购买合适大小的云硬盘。 2. 挂载云硬盘。 将新创建购买的云硬盘，挂载到当前需要进行数据迁移的本地盘云主机上，可在云硬盘控制台列表通过“挂载”操作执行。 3. 自行备份本地盘数据。 用户需要登录到本地盘云主机，自行操作，将本地盘数据迁移至新挂载的云硬盘上。 至此用户已完成数据的迁移，用户继续将包含迁移数据的云硬盘挂载到其他主机上，以完成数据在不同主机间的迁移，步骤如下： 4. 创建云主机。 用户需要前往云主机产品控制台界面，根据迁移的数据量大小，购买合适大小的本地盘云主机。 5. 挂载云硬盘。 将云硬盘，挂载到新创建的云主机上，可通过控制台的"挂载"操作进行。 6. 迁移云盘数据。 将已挂载的云硬盘数据迁移到当前新创建的本地盘云主机中，进行存储。

本文介绍如何提交导出任务,数据管理服务支持多种格式的数据导出。 前提条件 操作用户拥有目标数据库的导出权限。 当前组织处于基础版时，需要目标数据库已是登录状态。 操作步骤 1. 登录DMS控制台。 2. 在左侧导航栏，单击开发空间>数据导出 ，进入数据导出管理页面。 3. 单击数据导出 按钮，弹出数据导出工单填写页面，工单需要输入的内容说明见下表1。 4. 填写完数据导入工单后，单击评估按钮，对当前的导出任务进行一个评估，输出预计导出行数以及预估导出所需要的时间，提供参考。 5. 点击提交按钮，即完成数据导出工单创建。 6. 当前组织处于基础版时，数据导出任务进入任务执行阶段。 7. 当前组织处于企业版时，数据导出工单依次进入预检查、审批流程、任务执行阶段。 表1 工单输入内容说明 输入内容 说明 选择数据库/模式 数据库/模式选择列表，数据来源于数据资产 >实例管理中添加的数据库实例，支持MySQL、PostgreSQL、SQL Server、DRDS、MongoDB、DDS、ClickHouse、Oracle、MariaDB、OpenGauss、Doris。 导出类型 对于非MongoDB和DDS数据源，可以选择整库/模式导出、部分表导出、SQL结果集三种导出类型其中之一。若是部分表导出，需要选择表；若是SQL结果集导出，需要输入SQL查询语句。对于MongoDB和DDS数据源，可以选择集合导出、查询结果集两种导出类型其中之一。若是集合导出，需要选择集合；若是查询结果集导出，需要输入find类型语句。 导出内容 对于MySQL和PostgreSQL数据源，在导出时可以选择只导出结构或者数据，也可以选择都导出。对于其他数据源，默认导出数据。 导出文件类型 支持CSV（逗号分隔值）、EXCEL、SQL、TXT、JSON文件。您可以根据需要选择最适合您工作流程的格式。 导出结构类型 对于MySQL和PostgreSQL数据源，当导出内容选择结构、数据和结构时，导出结构类型可选择表和可编程对象，表结构默认选中。 结果切分 导出的单个文件不超过设定的切分行数阈值（范围100～100000），超过后，自动切分为多个文件。当选择的文件类型为CSV、TXT、EXCEL时，可选择切分的文件是否包含表头。 工单说明 描述工单说明内容。 注意 当SQL语句只涉及到一张表，并且该表是全局表或者where中没有主键条件的时候，DRDS默认返回最大行数为1000。该属性通过sqlMaxLimit参数控制，可在DRDS控制台进行修改。

数据管理服务DMS的测试数据生成功能支持为多表批量生成枚举、字符串、序列等类型的数据，可以大大减轻准备测试数据的负担。本文将介绍构建测试数据的方法。 前提条件 组织版本：基础版、企业版均可 支持的数据库类型：MySQL、PostgreSQL 背景信息 在测试环节，数据准备往往是最容易被忽视却又最耗时的部分。无论是功能测试还是性能压测，构造合适的数据集都至关重要。但现实中，常见的几种方式各有痛点： 从线上系统导出数据，存在较高的数据安全和合规风险，容易导致敏感信息泄露； 人工创建数据适用于简单场景，但在面对大规模或复杂结构数据时效率低下； 通过脚本生成数据具备一定的灵活性，但通用性差，维护成本较高； 在实际研发流程中，测试数据生成需要在效率、质量、安全之间取得平衡。为满足这一需求，DMS 提供了测试数据生成功能，支持高效生成数据集。通过该能力，开发与测试团队可以快速构建符合需求的测试数据，显著提升测试效率。 注意事项 支持按需操作单个/多个表 每张表的单次生成上限阈值为100万行 操作步骤 1. 登录DMS控制台。 2. 在左侧导航栏，单击开发空间>测试数据生成，进入测试数据生成页面。 3. 单击数据生成 按钮，弹出数据生成工单填写弹窗，工单需要选择或输入的内容说明见下表1。 4. 填写完数据生成工单后，单击提交按钮，即完成工单的提交。 5. 数据生成任务的工单状态与执行进度，可在工单详情页面查看。 表1 工单输入内容说明 输入内容 说明 目标数据库 选择测试数据生成的数据库/模式，数据来源于在DMS控制台中添加的数据库实例，其中MySQL可选择到库级别，PostgreSQL可选择到模式级别。当前仅支持单选一个目标库/模式。 生成对象 选择需要生成测试数据的表名，以及确定对应的生成行数。表的每一列都对应一个仿真规则，每个仿真规则都对应一个配置信息；也可以选择删除该列的仿真规则。 冲突处理 选项：遇到冲突中止、遇到冲突跳过。注意：当批次内出现冲突时，系统将跳过整个批次，而非仅跳过冲突行 并发数 范围：15。注意：并发数较高时可能给系统带来性能负担，影响其他服务的访问。请合理的配置并发数

本文罗列了使用数据管理服务时可能遇到的一些问题。 数据管理服务如何计费？ 数据管理服务目前仍处于限时免费阶段，暂不收费，用户可以免费使用。 目前提供免费使用是为了广泛收集用户反馈，不断优化和完善服务，以提供更加优质的数据管理体验。随着数据管理服务的发展和成熟，未来可能会根据市场需求和用户需求进行收费。 数据管理服务支持哪些数据库？ 目前已支持MySQL、PostgreSQL、SQL Server、DRDS、MongoDB、DDS等，更多数据库类型支持正在上线中。 您可以在添加新实例页面查看数据管理服务目前已支持的数据库类型，目前在DMS控制台添加新实例的路径有以下几种： 点击菜单数据资产>实例管理，点击页面左上方添加实例按钮。 点击菜单实例列表，在实例列表点击右上角添加实例按钮。 点击菜单安全协作>团队管理，点击团队实例管理标签页，点击页面左上方添加实例至团队按钮。 数据管理服务支持哪些数据库来源？ 目前已支持天翼云数据库、公网/直连数据库、AOne环境数据库等数据库来源，更多来源支持正在上线中。 您可以在添加新实例页面查看数据管理服务目前已支持的数据库来源，目前在DMS控制台添加新实例的路径有以下几种： 点击菜单数据资产>实例管理，点击页面左上方添加实例按钮。 点击菜单实例列表，在实例列表点击右上角添加实例按钮。 点击菜单安全协作>团队管理，点击团队实例管理标签页，点击页面左上方添加实例至团队按钮。