本页介绍数据传输服务DTS的标签管理功能及操作指引。 功能介绍 DTS的标签管理功能，用于对用户所拥有的数据同步实例进行分类管理，用户可对数据同步实例绑定不同的标签，用于分类和快捷查询。 操作指引 数据同步实例标签管理功能的操作步骤和方法与数据迁移类似，具体请参照数据传输服务DTS 用户指南 数据迁移 标签管理的操作。

本节介绍了Windows操作系统云主机看不到挂载的数据盘怎么办的问题描述、可能原因等内容。 问题描述 登录Windows操作系统云主机看不到挂载的数据盘。 注意 格式化磁盘会造成数据丢失，请提前对数据盘创建备份，避免数据丢失。 可能原因 新添加的数据盘未进行分区和初始化。 切换操作系统或变更规格导致的磁盘脱机。 新添加的数据盘未进行分区和初始化 新的数据盘默认是没有分区和文件系统的，因此在资源管理器中不会显示，需要先手动执行初始化操作。 切换操作系统或变更规格导致的磁盘脱机 切换操作系统后可能会由于文件系统不一致导致数据盘无法显示；Windows云主机器变更规格后，可能会发生磁盘脱机。 1. 登录云主机，打开cmd运行窗口，并输入“diskmgmt.msc”打开磁盘管理。 查看磁盘状态，磁盘可能显示为“脱机”。 2. 将磁盘设置为“联机”状态。 在磁盘列表中，单击脱机的磁盘，并选择“联机”，将脱机磁盘进行联机。 图 磁盘联机 3. 再次在“计算机”中查询数据盘是否显示正常。 如上述操作后磁盘仍未显示，可以重新进行磁盘初始化和分区的操作。格式化磁盘会造成数据丢失，请提前对数据盘创建备份，避免数据丢失。

本章节主要介绍配置HTTP源端参数。 作业中源连接为HTTP连接时，源端作业参数如下表所示。当前只支持从HTTP URL导出数据，不支持导入。 表 HTTP/HTTPS作为源端时的作业参数 参数名 说明 取值样例 文件URL 通过使用GET方法，从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。 列表文件 选择“是”，将待上传的文本文件中所有URL对应的文件拉取到OBS，文本文件记录的是HDFS上的文件路径。 是 列表文件源连接 文本文件存储在OBS桶中，这里需要选择已建立的OBS连接。 obslink 列表文件OBS桶 存储文本文件的OBS桶名称。 obscdm 列表文件或目录 在OBS中存储文本文件文件的自定义目录，多级目录可用“/”进行分隔。 test1 文件格式 当前CDM只支持选择“二进制格式”，不解析文件内容直接传输，不要求原文件格式必须为二进制。 二进制格式 压缩格式 选择对应压缩格式的源文件进行迁移： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则则保持原样传输。当输入或为空时，所有文件都会被解压。 文件分隔符 传输多个文件时，CDM使用这里配置的文件分隔符来区分各个文件，默认为l。列表文件显示为“是”时，显示该参数。 l QUERY参数 该参数设置为“是”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“否”时，上传到OBS的对象使用的对象名，包含query参数。 否 加密方式 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 忽略不存在原路径/文件 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。 否 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F MD5文件名后缀 校验CDM抽取的文件，是否与源文件一致。 .md5

敏感列数据动态脱敏 当敏感列设置生效后，将在以下场景中生效。 查询窗口：从查询窗口执行涉及敏感列的SELECT查询语句时，结果集中敏感字段会展示动态脱敏后的数据。 数据导出：从数据导出执行涉及敏感列的数据导出工单时，导出结果中敏感字段会展示脱敏后的数据。 如果用户需要查询敏感列的明文数据或者导出敏感列的明文数据，需要申请敏感列的查询明文权限，具体操作详见：敏感列权限管控

本章节主要介绍配置分库源端参数。 作业中源连接为配置分库连接，源端作业参数如下表所示。 表 分库作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMAE 基本参数 表名 表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 说明 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 table 高级属性 Where子句 表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 说明 选择源连接名称为分库连接对应的后端连接时，此作业即为普通的MySQL作业。 新建源端为分库连接的作业时，在字段映射阶段，可以在源字段新增样值为“${custom(host)}”样式的自定义字段，用于在多个数据库中的多张表迁移到同一张表后，查看表的数据来源。支持的样值包括： ${custom(host)} ${custom(database)} ${custom(fromLinkName)} ${custom(schemaName)} ${custom(tableName)}

标准模板管理 标准模板管理用于自定义数据标准的默认选项。首次进入数据架构的数据标准页面，也会显示制定数据标准模板的页面。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2.在数据架构控制台，单击左侧导航树中的“配置中心”，进入相应页面后再单击“标准模板管理”。 3.如下图所示，在“可选项”中勾选所需要的选项，单击“新建”按钮可以添加自定义项，完成后单击“确定”。 说明 标准模板支持“是否可搜索”、“是否必填”。 保存模板后，在新建数据标准时需要设置此处模板中选中选项的参数值。 功能配置 功能配置用于自定义数据架构中的各项功能。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2.在数据架构控制台，单击左侧导航树中的“配置中心”，进入相应页面后再单击“功能配置”。 3.在功能配置页面，可根据用户具体的功能需求配置参数，然后单击“确定”。如果单击“重置”可恢复默认设置。 −模型设计业务流程步骤 ：此处勾选的流程，在关系建模或维度建模的对象发布上线时，系统会依次自动执行。一般建议全部勾选。 创建表 ：当数据架构中的表发布并通过审核后，系统将自动在对应的数据源中创建相应的物理表。在表删除时，系统也会自动删除物理表。 同步技术资产 ：关系建模或维度建模中的表发布后，同步表到数据目录模块作为技术资产，同时同步标签到对应技术资产。 同步业务资产 ：同步逻辑模型到数据目录，作为业务资产，同时同步标签到对应业务资产。 资产关联 ：实现业务资产与技术资产的关联。业务资产与技术资产同步完成后，在数据目录模块中查看对应的业务资产或技术资产详情时，可以看到相关联的技术资产或业务资产。该功能要求表信息中含有数据源信息。 创建质量作业 ：当关系建模或维度建模中的表发布并通过审核后，对于关联数据标准（包含数据长度或允许值）或关联质量规则的表，系统将自动在DataArts Studio数据质量模块中创建一个质量作业。 创建数据开发作业 ：汇总表发布后，自动生成端到端的全流程数据开发作业。 发布数据服务API ：汇总表发布后，自动生成数据服务API，此功能仅当数据服务支持汇总表的数据连接时生效。 数据落库 ：码表维度发布后，会自动将码表的数值填入维度表中。 说明 若开启“同步技术资产”功能，您必须预先在DataArts Studio数据目录模块中对表所属的数据库创建数据目录采集任务并采集成功，否则同步技术资产将会执行失败。 −模型下线流程 ：选择当模型下线时，是否同步删除技术资产、业务资产、质量作业、数据开发作业。 −数据表更新方式 ：当数据架构中的表在发布后进行了修改，是否同时更新数据库中的表。默认为“不更新”，但在配置中心可以依据自己的需求设置更新动作。依据DDL模板, 在模板里面配置对应的更新语句即可。 不更新 ：不更新数据库中的表。 依据DDL 更新模板 ：依据DDL模板管理中配置的DDL更新模板，更新数据库中的表，但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同，在数据架构中所做的表更新操作，如果数仓不支持，则无法确保数据库中的表和数据架构中的表是一致的。例如，DLI类型的表更新操作不支持删除表字段，如果在数据架构的表中删除了表字段，则无法在数据库中相应的删除表字段。如果线下数据库支持更新表结构语法，可以在DDL模板配置对应语法, 之后更新操作就可以通过DataArts Studio管控；如果线下数据库不支持更新, 那只有通过重建这种方式更新。 重建数据表 ：先删除数据库中已有的表，再重新创建表。选择该选项可以确保数据库中的表和数据架构中的表是一致的，但是由于会先删除表，因此一般建议只在开发设计阶段或测试阶段使用该选项，产品上线后不推荐使用该选项。 −数据表不区分大小写 ：对于选中的连接类型，在发布相应类型的表时，同步技术资产时名称将不区分大小写，找到相同的即认为已存在。 −业务表映射使用新版本 ：系统默认为新版本映射。新版本映射功能支持join等操作，推荐使用新版本映射。 −汇总表自动汇聚 ：发布衍生指标或复合指标时，系统支持自动生成汇总表，一个统计维度对应一个汇总表。自动生成的汇总表可在汇总表页面下选择“自动汇聚”页签查看。 −数据标准是否重名 ：默认关闭，打开后数据标准可以重名。 −时间限定生成使用动态表达式 ：开关打开后，则使用动态时间表达式；如开关关闭，则默认使用原有的静态时间表达式。例如时间限定设置为最近30天：如果使用静态表达式，如果当前为9月，生成的最近30天的数据就是8月，即使当前到了10月，生成的数据还是8月，不能自动更新；如果使用动态表达式，当前到了10月，最近30天自动更新为9月。动态表达式时间函数举例如下所示： 说明 如果第一次打开开关，需重置DLL模板中的衍生指标。如之前有修改过DLL模板，请先做好模板备份。重置模板会将原来修改过的模板覆盖，重置后需要将原来修改的内容重新编辑一次。 −信息架构页面表查询时，主题支持并列查询个数 ：默认为1个，暂不支持设置。 −码表数据落库并行行数 ：码表维度发布后，设置将码表的数值填入维度表中时的并行操作行数。当码表数值较多时，会导致落库失败，可以适当调小该参数。 −码表生成质量规则 ：下拉选择即可。当码表的数据量较小时，选择“枚举值校验”即可；否则选择字段一致性校验。

本章节为您介绍系统统计报表相关功能。 数据资产分析 “数据资产分析”页面的功能是让用户知道自己有哪些资产，哪些资产更加敏感，哪些资产经常做数据脱敏等，刚进入本页面时，页面会展示系统自动更新过的数据。 数据安全专区会在每天凌晨自动更新数据。但是您也可以选择点击手动更新按钮来获得当前时间最新的数据。 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“系统统计报表 > 数据资产分析 ”，进入“数据资产分析”页面，即可查看数据资产情况。 本页信息一共展示了任务运行概述、数据源类型分布、数据源和schema粒度的敏感程度排名top10、敏感标签词云以及资产统计清单这些数据分析内容。 脱敏任务分析 “脱敏任务分析”页面的功能是让用户知道脱敏任务运行是否正常，整体任务运行质量如何（比如错误数的变化），任务调度分配是否合理等。 数据安全专区会实时更新本页面的大部分数据，其中任务属性是针对任务进行统计，任务运行是针对实例进行统计，而且脱敏任务分析只对结构化任务的数据进行分析。 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“系统统计报表 > 脱敏任务分析 ”，进入“脱敏任务分析”页面，即可查看脱敏任务分析情况。 说明 页面左侧可针对任务运行时间（即实例运行时间）进行搜索，包括最近7天（默认）、最近15天、最近30天和自定义。 页面都带“导出”功能，单击后可导出页面内容，支持PDF和HTML两种文件格式。

本文罗列了使用数据管理服务时可能遇到的一些问题。 数据管理服务如何计费？ 数据管理服务目前仍处于限时免费阶段，暂不收费，用户可以免费使用。 目前提供免费使用是为了广泛收集用户反馈，不断优化和完善服务，以提供更加优质的数据管理体验。随着数据管理服务的发展和成熟，未来可能会根据市场需求和用户需求进行收费。 数据管理服务支持哪些数据库？ 目前已支持MySQL、PostgreSQL、SQL Server、DRDS、MongoDB、DDS等，更多数据库类型支持正在上线中。 您可以在添加新实例页面查看数据管理服务目前已支持的数据库类型，目前在DMS控制台添加新实例的路径有以下几种： 点击菜单数据资产>实例管理，点击页面左上方添加实例按钮。 点击菜单实例列表，在实例列表点击右上角添加实例按钮。 点击菜单安全协作>团队管理，点击团队实例管理标签页，点击页面左上方添加实例至团队按钮。 数据管理服务支持哪些数据库来源？ 目前已支持天翼云数据库、公网/直连数据库、AOne环境数据库等数据库来源，更多来源支持正在上线中。 您可以在添加新实例页面查看数据管理服务目前已支持的数据库来源，目前在DMS控制台添加新实例的路径有以下几种： 点击菜单数据资产>实例管理，点击页面左上方添加实例按钮。 点击菜单实例列表，在实例列表点击右上角添加实例按钮。 点击菜单安全协作>团队管理，点击团队实例管理标签页，点击页面左上方添加实例至团队按钮。

本页为您介绍数据传输服务DTS如何监控安全风险。 数据传输服务为用户提供监控告警能力，使您了解数据迁移和数据同步的运行状况，并及时监控到异常告警做出反应，保证业务顺畅运行。 DTS提供基于迁移/同步流量BPS、迁移/同步性能RPS、迁移/同步网络延时、迁移/同步SQL执行RT（响应时间）等指标的监控能力。通过设置数据迁移/同步的告警规则，用户可自定义告警规则、设置通知邮件地址，及时了解数据传输服务的运行状况，从而起到预警作用。 监控告警支持用户和实例维度的告警，选择“用户”，表示告警范围为用户所有的DTS实例；选择“实例”，表示告警范围为指定的DTS实例。 监控告警按设置的告警间隔进行告警，一个监控周期的时间为30s，支持配置告警间隔为监控周期的整倍数。 数据迁移/数据同步如何创建告警规则，具体请参见数据迁移监控告警和数据同步监控告警。

本章节介绍通用类问题 数据管理服务支持哪些数据源 数据管理服务支持多种数据源。目前，数据管理服务支持MySQL、DDS、PostgreSQL、SQL Server、DRDS等引擎。 数据管理服务是否支持跨Region访问 暂不支持。目前仅支持本region访问关系型数据库，如需跨region，要切换console region。 使用DAS登录PostgreSQL ，数据库一栏填写什么 数据库一栏填写postgres。 开启SQL执行记录后，会保存到哪里 登录数据管理服务时，在登录界面开启SQL执行记录。开启SQL执行记录后，会保存到数据管理服务的管理主机。

参数 类型 描述 是否必须 path String 指定要修改容量配额的数据目录。 是 capacityQuota Long 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：小于数据目录所在磁盘的总容量，单位是bytes。负整数表示无限制写入，0表示禁止写入。默认不限制写入。 注意 如果相同的数据目录出现多次，以第一次出现的数据目录的容量配额为准。 是

本章节为您介绍数据水印模块。 数据水印模块支持配置数据水印（json、xml格式数据）和网页水印，并将数据水印溯源。可配置水印模板，通过水印规则应用水印模板后生效。 水印模板 水印模板是水印配置的第一步，系统支持配置数据水印、网页水印。其中数据水印支持的算法有伪列水印、脱敏水印、无痕水印。 新增水印模板 1.登录API安全网关。 2.在左侧导航栏选择“数据水印 > 水印模板”，进入水印模板页面。 3.单击“新增”按钮，在弹出的对话框中填写相关信息。 选项 说明 名称 自定义水印模板名称，名称不允许重复。 描述 自定义水印的描述信息。 水印类型 选择启用的水印类型，可选类型包括： 数据水印 网页水印 数据水印 选择数据水印的算法： 伪列水印 脱敏水印 无痕水印 网页水印 配置网页水印的具体参数。 水印内容：选择网页水印显示的具体内容，支持多选。 字体大小：选择网页水印的字体大小。 显示方式：选择网页水印的显示方式。 间距：选择网页水印的间距类型。 倾斜角度：选择网页水印的倾斜角度。 字体颜色：选择网页水印的字体颜色。 不透明度：选择网页水印的不透明度。 水印信息 配置水印内容，网页水印可显示内容，数据水印溯源显示内容，可选项包括： API调用者 源IP API名称 自定义内容 标记水印日期 勾选后，网页水印会携带日期信息，数据水印溯源可看到标记时间。 4.填写完成后，单击“提交”即可完成新增水印模板。

参数名称 说明 数据连接类型 在下拉列表中选择数据连接类型。 数据连接 选择所需要的数据连接。 如果您还未创建与数据源之间的数据连接，请前往DataArts Studio管理中心控制台进行创建。 数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DWS表类型有： DWSROW：行存表。行存储是指将表按行存储到硬盘分区上。 DWSCOLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 MRSHIVE类型仅支持HIVETABLE。 DISTRIBUTE BY 该参数仅DWS连接类型有效。可选取多个字段。 REPLICATION ：在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销；缺点是每个DN都保留了表的完整数据，造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH ：采用这种分布方式，需要为用户表指定一个分布列（distribute key）。当插入一条记录时，系统会根据分布列的值进行hash运算后，将数据存储在对应的DN中。对于Hash分布表，在读/写数据时可以利用各个节点的IO资源，大大提升表的读/写速度。一般情况下大表（1000000条记录以上）定义为Hash表。

本文为您介绍组成TeleDB管控数据管理服务的元数据管理、查询窗口、数据导入导出、慢查询分析、容量评估、会话管理和锁分析功能等模块。 TeleDB管控数据管理服务由元数据管理、查询窗口、数据导入导出、慢查询分析、容量评估、会话管理和锁分析功能等模块组成。它旨在为企业提供一套全面的数据管理解决方案，包括数据的存储、访问、分析和安全等核心环节。通过TeleDB管控数据管理模块，企业可以实现对数据的集中式管理和存储，从而简化了数据的访问和检索过程。 元数据管理模块 ：提供对实例、数据库、模式、表和可编程对象等各级数据库对象的元数据管理，在数据库的创建、编辑、删除等常规操作需提供界面化操作支持，可以实时同步数据库的元数据信息。 查询窗口模块 ：数据库开发者常用功能，提供功能丰富的SQL输入框，包括语法提示、脚本保存以及结果集的返回，支持对结果集进行界面可视化编辑进行数据更新。 数据导入导出模块 ：支持多种文件格式的数据导入到数据库，以及从数据库中导出数据。支持的文件格式为：sql、txt和csv。支持不同层级的数据导入导出，分别支持库/模式以及表级的数据导出。同时，也支持不同层级数据库对象的结构导出。 慢查询分析 ：慢查询统计、索引推荐主要和管控实例交互获取，慢查询分析、语句优化主要和业务实例交互获取，性能容量评估操作建议可联动慢查询分析，进行服务调用，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。 性能容量评估 ：性能容量评估的监控指标数据主要和管控实例交互获取，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。 会话管理 ：会话管理通过业务实例获取全局会话和异常会话的信息，并提供部分会话、全部会话的终止功能，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。 锁分析： 锁分析通过管控实例获取到业务实例最近一次发生死锁的信息，获取到死锁的事务环信息和回滚的事务信息并展示说明，实例元数据为服务入口，Agent代理主要用作网络跨区服务，ZooKeeper主要负责服务注册及发现的功能。

本文主要介绍选择合适的节点数据盘大小。 在节点在创建时会默认创建一块数据盘，供容器运行时和Kubelet组件使用，详情请参见数据盘空间分配说明。由于容器运行时和Kubelet组件使用的数据盘不可被卸载，且默认大小为100G，出于使用成本考虑，您可手动调整该数据盘容量，最小支持下调至20G，节点上挂载的普通数据盘支持下调至10G。 须知 调整容器运行时和Kubelet组件使用的数据盘大小存在一些风险，根据本文提供的预估方法，建议综合评估后再做实际调整。 过小的数据盘容量可能会频繁出现磁盘空间不足，导致镜像拉取失败的问题。如果节点上需要频繁拉取不同的镜像，不建议将数据盘容量调小。 集群升级预检查会检查数据盘使用量是否超过95%，磁盘压力较大时可能会影响集群升级。 Device Mapper类型比较容易出现空间不足的问题，建议使用OverlayFS类型操作系统，或者选择较大数据盘。 从日志转储的角度，应用的日志应单独挂盘存储，以免dockersys分区存储空间不足，影响业务运行。 调小数据盘容量后，建议您的集群安装npd插件，用于检测可能出现的节点磁盘压力问题，以便您及时感知。如出现节点磁盘压力问题，可根据数据盘空间不足时如何解决进行解决。

本文主要介绍云日志服务中如何创建数据加工任务。 云日志服务支持您使用数据加工读取源日志单元中的数据，对数据进行加工处理后，写入到不同的目标日志单元中。您也可以对加工后的数据进行查询和分析，进一步发掘数据价值。本文介绍如何在云日志服务控制台上创建数据加工任务。 操作步骤 1. 登录云日志服务控制台 2. 左侧点击【日志加工】菜单，进入日志加工页面。 3. 点击【创建加工任务】； 4. 输入任务名称、加工源日志单元以及加工后日志存储目标等参数，参数说明如下表。输入完成后点击下一步，进入加工语句设置页面。 5. 在加工语句设置页面，输入加工语句，点击预览数据，即可预览数据加工结果以及结果汇总。 6. 下方可点击原始日志tab，查看加工前的原始日志。默认取原始日志中的前10条日志进行加工预览，您也可点击【加入测试数据】，针对特定的日志进行加工预览。 7. 当您确认加工预览结果符合预期时，您可点击【完成】，即可创建加工任务。 参数 说明 任务名称 数据加工任务的名称。 存储目标名称 存储目标的名称。存储目标中包括日志项目、日志单元等配置。 目标日志项目 用于存储数据加工结果的目标日志项目。 目标日志单元 用于存储数据加工结果的目标日志单元。 加工范围 持续加工：数据加工任务将持续进行。指定结束时间：您可指定数据加工任务的结束时间。 注意 对于新创建的日志单元，由于其需要23分钟时间进行初始化，期间若配置加工任务会出现运行失败的情况。因此建议待日志单元创建5分钟后，再配置加工任务。

为了保证用户数据的安全，OOS提供以下安全策略来保障用户数据的安全性：用户签名验证、Bucket权限控制、访问控制、Bucket Policy安全策略、合规保留。详见API参考 安全策略。 在用户访问层面，所有针对OOS的数据请求都需要进行签名验证，OOS提供全方位的访问控制策略，使文件的拥有者对该文件有灵活的访问控制权。 在数据传输层面，不论是通过Web门户还是REST接口，用户的数据访问和操作都可以通过HTTPS协议进行，以确保数据传输中没有安全死角。 在数据存储层面，OOS将用户数据自动切片，进行分布式保存，并且对每片数据进行签名，即使数据被盗，没有用户的账号信息依然无法对数据进行破解，这样就充分保证了数据在存储层面的安全性。 在OOS系统的运维层面，通过利用天翼云的“虚拟云桌面”技术，运维人员无法直接访问生产系统，而必须一个可录像的“虚拟桌面”才能访问，运维人员的一举一动都将被记录在案。 在数据中心的运维层面，天翼云具备全球最先进的数据中心管理和运营能力。OOS部署在8级抗震、一级耐火、一级防水、通过ISO27001认证的的数据中心内部，与中国电信通信枢纽数据中心（武警守卫）同级别，具备完善的门禁制度、人员访控制度、设备巡检制度，确保物理层面的万无一失。

关系数据库MySQL版支持切换主备实例的数据复制方式，以满足不同的业务需求。本文介绍如何修改关系数据库MySQL版实例的数据复制方式。 注意 仅II类型资源池支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见功能概览。 背景信息 数据复制方式说明 您可以根据实际情况，切换主备实例的数据复制方式，支持切换为异步 或半同步，具体说明如下： 异步 应用更新数据时，主库执行完操作后立即向应用返回响应，然后就向备实例异步复制数据，这种数据复制方式通常具有较高的性能。 因此，在异步数据复制方式下，备实例不可用时不会影响主实例上的操作。而主实例异常不可用时可能会影响主备数据复制、导致主备实例数据不一致，极端情况下，可能会有数据丢失风险，请谨慎选择。 半同步 应用更新数据时，主库需要等待备库收到日志才向应用返回响应，这种方式提高了数据可靠性但对性能有一定影响： 可用性类型 是否退化 描述 可靠性 不退化（默认） 如果实例主库与其他所有备库通信故障，为保证数据一致性和完整性，主库将被设置为只读且不进行退化（一主一备实例默认设置可用性优先会退化），直至任一备节点恢复后可对外提供写服务。 可用性 退化（默认） 如果实例主库与其他所有备库通信故障，可能会导致退化（一主两备实例默认设置可靠性优先不退化），退化表现为主库等待备库响应数秒钟，在此期间会阻塞主库对业务写操作的响应，退化后，主库恢复正常、主库可正常写入数据。退化后的实例可能会有数据丢失风险，主备之间通信恢复正常后，实例重新转化为半同步状态。

本文主要介绍可信数据空间数据接入操作流程。 数据接入是提供方根据将本地通过数据连接，安全快速地将本地资源数据上传到可信数据摆渡区，经过运营审批，资源发布统一资源目录，形成公共的资源池。 流程步骤如下： 注意 若提供已有部署连接器，则可略过以下的连接申请、施工和监管的步骤，即省略1、2、3、4、5步，直接从第6步进行本地资源上传。 连接器申请（提供方） 操作路径：提供方空间连接器申请 提供方点击“提供方空间”，点击“连接器申请”，在弹出的界面填写连接器申请信息，包含了联系人、联系电话，联系地址，连接器类型，连接器版本，连接入口网络地址，使用描述以及其他一些申请资料等。其中，连接器分为标准版和全功能型。 1. 标准型接入连接器：适用于对数据流通安全性有基本要求的场景，如数据目录共享、标准化数据调用和基础数据交换等，满足金融、政府、科研等行业的数据合作需求 2. 全功能型接入连接器：适用于对数据安全性、计算能力和传输效率要求更高的复杂场景，如跨行业数据联合建模、隐私保护数据分析、金融风控、智能风控和其他高敏感数据交易场景。

本页为使用数据传输服务DTS将MySQL数据迁移到Kafka的详细介绍,包括数据迁移支持的源库、目标库,支持的迁移对象及SQL,数据库账号权限说明,操作须知,操作步骤等。 支持的源和目标数据库 支持的源和目标数据库，如下表： 源数据库 目标数据库 RDS for MySQL 自建 MySQL 5.6部分版本/5.7/8.0 自建Kafka 天翼云消息队列Kafka 支持的迁移对象及SQL 迁移对象 当前DTS支持表级（指定的表对象）、库级（整库迁移）迁移。 数据迁移仅针对数据源中的用户数据库，而系统库会被自动过滤。例如：MySQL 数据源中的 informationschema、mysql、performanceschema、sys 库不会出现在可迁移列表当中。 若源库为空库（该库下未创建任何表），不支持作为待迁移对象。 增量迁移支持的SQL操作 DML INSERT、UPDATE、DELETE。 DDL 常见DDL操作，如ALTER TABLE、TRUNCATE TABLE 和DROP TABLE。 投递到Kafka的数据格式 DTS投递到Kafka的消息支持JSON和Avro两种数据格式。 JSON格式 消息结构 JSON格式的消息结构如下： 参数 数据类型 说明 dbType String 源库类型，如MYSQL、POSTGRESQL、SQLSERVER。 id Long DTS内部定义的事件操作序列号，单调递增。 es Long 源库产生数据的时间戳（毫秒）。全量数据时为0。 ts Long 数据写入目标Kafka的时间戳（毫秒）。 database String 源端数据库名称。 table String 源端表名称。 ddl Boolean 是否为DDL操作。 sql String DDL操作的SQL语句，DML操作时取值为空字符串。 opType String 操作类型。全量数据为INIT，增量DML为INSERT、UPDATE、DELETE，增量DDL为DDL。 data Array 最新的数据，格式为键值对数组，每个元素为{"列名":"值"}。INSERT时为插入的数据；UPDATE时为更新后的数据；DELETE时为空数组。 old Array 旧数据，格式同data。INSERT时为空数组；UPDATE时为更新前的数据；DELETE时为被删除的数据。 pkNames Array 主键列名称列表。 sqlType Array 源端表字段的JDBC类型编号，格式为键值对数组，每个元素为{"列名":类型编号}。 oriType Array 源端表字段的原始类型名称，格式为键值对数组，每个元素为{"列名":"类型名"}。 gtid String 增量日志位点。MySQL对应GTID，PostgreSQL对应LSN，SQL Server对应CDC的LSN。

本章节主要介绍恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，需要手动恢复。 操作步骤 在MRS Manager，单击“租户管理”。 1. 在左侧租户列表，单击某个租户节点。 2. 检查租户数据状态。 a.在“概述”，查看“基本信息”左侧的圆圈，绿色表示租户可用，灰色表示租户不可用。 b.单击“资源”，查看“Yarn”或者“HDFS存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 c.单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 3. 单击“恢复租户数据”。 4. 在“恢复租户数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

本页为数据传输服务DTS数据同步方案概览介绍。 数据同步是指通过结构同步将源库中存在的对象结构同步到目标库，通过全量同步将源库中的存量数据同步到目标库，通过增量同步将同步过程中的增量数据同步到目标库中，从而保证源库和目标库数据保持一致。数据同步功能可以帮助您实现数据源之间的数据实时同步，其适用于数据异地多活、异地灾备、本地数据灾备、实时数据仓库等多种业务场景。 同步类型说明 DTS支持的同步类型，如下表： 同步类型 说明 结构同步 将源库中待同步对象的结构定义同步至目标库（例如表、视图、触发器、存储过程等）。 全量同步 将源库中待同步表的存量数据同步到目标库。 增量同步 将源库中待同步库、表的增量数据同步到目标库，包括DML和部分DDL。 支持的数据库类型 目前DTS数据同步支持的数据库类型，如下表： 源库类型 目标库类型 同步类型 RDS for MySQL5.7/8.0 自建MySQL5.6/5.7/8.0 RDS for MySQL5.7/8.0 自建MySQL5.7/8.0 结构+全量+增量 结构+增量 RDS for MySQL5.7/8.0 自建MySQL5.6/5.7/8.0 RDS for PostgreSQL 9.6/10/11/12/13/14/15 结构+全量+增量 结构+增量 RDS for PostgreSQL 9.6/10/11/12/13/14/15 自建PostgreSQL 9.4/9.5/9.6/10/11/12/13/14/15 RDS for PostgreSQL 9.6/10/11/12/13/14/15 自建PostgreSQL 9.5/9.6/10/11/12/13/14/15 结构+全量+增量 结构+增量 RDS for SQL Server 2016 标准版/2016 企业版 自建SQL Server 2016 标准版/2016 企业版 RDS for SQL Server 2016 标准版/2016 企业版 自建SQL Server 2016 标准版/2016 企业版 结构+全量+增量 结构+增量

本章主要介绍翼MapReduce的恢复HDFS业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HDFS进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录（例如“/tmp/logs”、“/tmp/archived”、“/tmp/hadoopyarn/staging”），不能进行HDFS恢复操作，否则进行恢复的Distcp任务会由于文件丢失而导致恢复失败。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HDFS的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HDFS备份文件保存路径。 停止HDFS的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本文帮助您了解对象存储的计费项—数据取回费用。 由于低频存储和归档存储是访问频次低的冷存储类型，存储空间费用较低，故在访问低频存储、归档存储类型的对象时，ZOS会额外收取数据取回费用，即取回流量费用。若您需要直接访问归档存储类型的对象，可开启归档直读。开启后下载归档存储对象会产生归档直读取回流量费用。 数据取回费用不管通过内、外网访问均会产生；如果使用外网访问，则会同时收取公网流出流量费用。 计费说明 计费项 含义 计费模式 ::: 低频存储数据取回流量费用 下载低频存储类型的数据时，会根据对象大小收取额外的数据取回流量费用。 按需计费 包年包月 归档存储数据取回流量费用 解冻归档存储类型的数据时，会根据对象大小收取额外的数据取回流量费用。 解冻后下载归档类型的文件不会产生数据取回流量费用，但会产生归档流出流量费用。 按需计费 包年包月 归档存储直读取回流量费用 开启归档直读后，下载归档存储类型的数据时，会根据对象大小收取额外的归档直读取回流量费用。 按需计费 产品定价 具体资费请参见按需计费和资源包计费中的数据取回费用价格。

本节介绍了通过数据辅助服务迁移数据的相关内容。 数据复制服务（Data Replication Service，简称DRS）支持在多种场景下，将源库数据迁移到目标文档数据库实例，最大限度允许迁移过程中业务继续对外提供使用，有效地将业务系统中断时间和业务影响最小化，完成数据库平滑迁移工作。 前提条件 使用数据复制服务进行数据迁移时，为了提高数据迁移的稳定性和安全性，请先阅读以确保数据库实例已满足迁移条件。 迁移场景 全量迁移 该模式为数据库一次性迁移，适用于可中断业务的数据库迁移场景，全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库，包括：表、视图、存储过程等。选择 “全量迁移” 模式，建议停止对源数据库的操作，否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 全量+增量迁移 该模式为数据库持续性迁移，适用于对业务中断敏感的场景，通过全量迁移过程中完成的目标端数据库的初始化后，增量迁移阶段通过解析日志等技术，将远端和目标端数据库保持数据持续一致。选择 “全量+增量” 迁移模式，增量迁移可以在全量迁移完成的基础上实现数据的持续同步，无需中断业务，实现迁移过程中源业务和数据库继续对外提供访问。 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库（3.2、3.4、4.0版本 ECS自建Mongo数据库（3.2、3.4、4.0版本 其他云上Mongo数据库（3.2、3.4、4.0版本，不支持腾讯云3.2版本） DDS实例（3.4、4.0版本） DDS实例（3.4、4.0、4.2版本） 说明：仅支持目标库版本等于或高于源库版本。

本文介绍数据管理服务的费用相关信息。 数据管理服务DMS分基础版和企业版，目前为了让更多的用户体验到我们的服务，我们提供限时免费使用企业版，需要用户订购DMS服务，订购服务有多种方式： 通过天翼云官网首页搜索数据管理服务DMS，点击立即开通进行订购；若此前已订购，则会自动跳转数据管理服务DMS控制台。 若未订购数据管理服务DMS，打开DMS管理控制台，也将自动跳转订购页面。请根据指引完成订购。 您可以充分利用这一机会，免费尝试数据管理服务的各种功能，包括但不限于查询窗口、数据源管理、数据导入、数据导出、SQL变更审批、自定义审批流、数据权限管控、团队管理等。 此外，我们的数据管理服务还提供了用户友好的界面，让您可以轻松地进行数据库管理。 在试用期间，您还可以体验到我们专业的技术支持和客户服务，以确保您在使用过程中得到及时的帮助。 注意 我们鼓励您在试用期间充分了解和评估我们的数据管理服务，限时免费结束后，我们将根据实际情况调整价格策略。在启用付费功能后，我们将提前通过站内信、短信、电子邮件或其他方式发送计费说明给已使用付费功能的用户。

本文介绍花卷慧办控制台【会议数据概览】页面的功能用途、操作方法和页面元素,帮助管理员查看企业会议使用趋势。 功能概述 会议数据概览页面用于展示企业在指定时间范围内的会议数据变化情况。管理员可通过折线图查看会议数量趋势，并通过时间筛选快速切换统计周期。 使用场景 当管理员需要了解企业会议功能近期是否被使用、会议数量是否有变化，或需要观察近几天会议活跃趋势时，可进入该页面查看。 操作步骤 1. 登录花卷慧办控制台。 2. 在左侧导航栏中进入【会议】模块。 3. 点击【会议数据概览】，进入数据概览页面。 4. 在页面右上角选择统计时间范围，可切换【今日】【近 3 天】【近 7 天】【近 30 天】。 5. 查看页面中部折线图，结合横轴时间和纵轴数量判断会议数据变化。 页面元素说明 页面元素 功能说明 面包屑导航 页面顶部展示【会议 / 会议数据概览】，用于提示当前所在功能位置。 数据概览图表 页面主体区域以折线图展示会议数据变化趋势。 时间范围筛选 页面右上角提供【今日】【近 3 天】【近 7 天】【近 30 天】快捷筛选按钮。 横轴时间 展示所选统计周期内的具体时间节点 纵轴数量 展示会议数量，用于判断会议数据是否增长或保持为 0。 左侧导航栏 支持切换总览、会议、会议数据概览、聆记、用量概览、设备管理等控制台功能。 注意 当所选时间范围内暂无会议数据时，折线图会保持在 0。切换时间范围后，系统会按新的统计周期刷新图表数据。

本节介绍了用户数据注入的使用场景、使用限制、使用方法、关于Linux云主机的用户数据脚本、关于Windows弹性云主机的用户数据脚本等内容。 使用场景 当您有如下需求时，可以考虑使用用户数据注入功能来配置弹性云主机： 需要通过脚本简化弹性云主机配置 通过脚本初始化系统 已有脚本，在创建弹性云主机的时候一并上传到服务器 其他可以使用脚本完成的功能 使用限制 Linux： 用于创建弹性云主机的镜像安装了Cloudinit组件。 用户数据大小限制：小于等于32KB。 如果通过文本方式上传用户数据，数据只能包含ASCII码字符；如果通过文件方式上传用户数据，可以包含任意字符，同时，要求文件大小小于等于32KB。 必须是公共镜像，或继承于公共镜像的私有镜像，或自行安装了Cloudinit组件的私有镜像。 必须满足相应Linux弹性云主机自定义脚本类型的格式要求。 使用的VPC网络必须开启DHCP，安全组出方向规则保证80端口开放。 选择“密码”登录方式时，不支持用户数据注入功能。 Windows 用于创建弹性云主机的镜像安装了Cloudbaseinit组件。 用户数据大小限制：小于等于32KB。 如果通过文本方式上传用户数据，数据只能包含ASCII码字符；如果通过文件方式上传用户数据，可以包含任意字符，同时，要求文件大小小于等于32KB。 必须是公共镜像，或继承于公共镜像的私有镜像，或自行安装了Cloudbaseinit组件的私有镜像。 使用 VPC网络必须开启DHCP，安全组出方向规则保证80端口开放。

安全办公场景 场景特点： 需要对员工行为做一定约束，对敏感岗位的电脑数据安全需要做到事前防控和事后审计，需要较丰富的管理功能。 推荐方案： 开通天翼AI云电脑（政企版）+ 管控策略+翼甲卫士（需要单独开通，详见翼甲卫士帮助指导）。 方案优势： 1、按需提供基于私网、公网的接入方式。 2、通过精细到品牌、型号的外设管控策略，防止未经授权的设备接入AI云电脑。 3、通过包括翼加密、屏幕水印、登录鉴权、登录审计在内的方式，加强信息泄露的事前威慑、事中管控、事后审计。 4、通过应用黑白名单、安全组、翼甲上网行为管理等组件，强化敏感岗位的员工行为管理。 5、提供包括文件剪切板权限、桌面工具栏权限、关机还原在内的其他个性化策略，帮助企业实现更多精细化、个性化的数据安全管理。 用户场景图：

本页介绍如何查看数据迁移实例的迁移详情。 查看数据迁移实例详情，包含：查看结构迁移、查看全量数据迁移与查看增量数据迁移详情。 操作步骤 1、进入【实例管理】页面。 在【数据迁移】实例列表页面选择相应的实例数据，并点击实例ID进入【实例管理】页面。 2、进入详情页面。 在【实例管理】页面点击“实例详情”，进入【实例管理】页面。 3、进入【迁移详情】页面查看迁移详情。 在左侧菜单栏点击“迁移详情”，进入【迁移详情】页面。 结构迁移 点击“结构迁移”菜单，查看当前数据迁移实例的结构迁移详情，包括迁移的Tables、Views、Functions、Procedures的对象名称、源库、目标库、状态等信息。 点击页面中列表右方“操作”列的“创建语法”按钮，可以查看迁移对象的创建语句。 全量数据迁移 点击“全量数据迁移”菜单，查看当前数据迁移实例的全量部分的迁移详情，包括对象名称、源库与目标库的库表信息、已完成行数、耗时、状态等信息。 增量数据迁移 点击“增量数据迁移”菜单，查看当前数据迁移任务增量部分的迁移详情，包括源库、目标库、当前的DTS拉取位点和源库最新位点、是否延迟等状态信息。 注意 1. 位点用BINLOGNAME:BINLOGPOSITION的格式记录，如上例mysqlbin.000049是BINLOG的名称，1010401550是当前位点在这个BINLOG FILE的文件偏移量。DTS拉取位点表示DTS的当前进度，与源库最新位点如果有差距就存在延迟。可以通过这两个值查看延迟有多大。 2. 如果针对迁移的库未迁移的表作了数据变更操作，DTS拉取位点由于过滤条件的存在，该值不会进行更新，但源库最新位点会实时更新。

数据权限管理 点击列表操作栏的 数据权限管理 按钮，进入数据权限管理页面，对数据权限进行管理 当前用户需要具有访问数据权限管理的权限，详见数据权限管理 删除模式 点击模式列表操作菜单的 删除 按钮，二次确认无误后，即可完成对目标模式的删除。

导入作业 导入作业功能依赖于OBS服务，如无OBS服务，可从本地导入。 在作业目录中导入一个或多个作业 1. 单击作业目录中的 > 导入作业，选择已上传至OBS或者本地中的作业文件，以及重名处理策略。 说明 在硬锁策略下，如果锁在其他人手中，重名策略选择了覆盖，则会覆盖失败。软硬锁策略请参考 详见下图：导入作业定义及依赖 2. 单击“下一步”，根据提示导入作业。 说明 在导入作业过程中，若作业关联的数据连接、dli队列、ges图等在数据开发模块系统中不存在时，系统会提示您重新选择。 操作示例 背景信息： 在数据开发模块系统中创建一个DWS的数据连接“doctest” 在作业目录中创建实时作业“doc1”，作业中添加节点“DWS SQL”，配置节点的“数据连接”为“doctest”，配置“SQL脚本”和“数据库”。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 在作业搜索框中搜索作业“doc1”，导出作业到本地，并上传作业至OBS文件夹中。 4. 在数据开发模块系统中删掉作业关联的dws数据连接“doctest”。 5. 单击作业目录中的 > 导入作业，选择上传至OBS文件夹中的作业，并设置重名处理策略。 6. 单击“下一步”，根据导入作业页面的提示重新选择数据连接。 7. 单击“下一步”，再单击“关闭”。