本章节主要介绍数据治理中心的新建连接功能。 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。 不同类型的数据源，创建连接时的配置参数也不相同，本章节指导用户根据数据源类型创建对应的连接。 约束限制 当所连接的数据源发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 1. 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 2. 如果目标数据源为云上服务（如DWS、MRS及ECS等），则网络互通需满足如下条件： ①CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ②CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见《虚拟私有云》帮助文档中的“添加路由信息”章节，配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组 > 添加安全组规则”章节。 ③此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码，且该用户拥有数据导入、导出的操作权限。 使用Agent时需用主账户给子账户赋予CDM操作权限。

监控指标 指标说明 单位 是否支持告警 监控周期 CPU利用率 该指标用于统计日志审计实例的CPU利用率。 % 是 5分钟 内存总大小 该指标用于统计日志审计实例的实际内存大小。 GB 是 5分钟 剩余内存大小 该指标用于统计日志审计实例的空闲的内存大小。 GB 是 5分钟 内存利用率 该指标用于统计日志审计实例的内存利用率。 内存利用率 100% （剩余内存大小/内存总大小） % 是 5分钟 系统盘大小 该指标用于统计日志审计实例的实际系统盘大小。 GB 是 5分钟 剩余系统盘大小 该指标用于统计日志审计实例的空闲的系统盘大小。 GB 是 5分钟 系统盘利用率 该指标用于统计日志审计实例的系统盘利用率。 系统盘利用率 100% （剩余系统盘大小/系统盘大小） % 是 5分钟 数据盘大小 该指标用于统计日志审计实例的实际数据盘大小。 GB 是 5分钟 剩余数据盘大小 该指标用于统计日志审计实例的空闲的数据盘大小。 GB 是 5分钟 数据盘利用率 该指标用于统计日志审计实例的数据盘利用率。 系统盘利用率 100% （剩余数据盘大小/数据盘大小） % 是 5分钟

本章节主要介绍ALM14011 DataNode数据目录配置不合理的告警。 告警解释 DataNode的配置参数“dfs.datanode.data.dir”指定了DataNode的数据目录。当所配置的目录路径无法创建、与系统关键目录使用同一磁盘或多个目录使用同一磁盘时，系统即刻产生此告警。 当修改DataNode的数据目录合理后，重启该DataNode，告警清除。 告警属性 告警ID 告警级别 是否自动清除 14011 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果将DataNode数据目录挂载在根目录等系统关键目录，长时间运行后会将根目录写满，导致系统故障。 不合理的DataNode数据目录配置，会造成HDFS的性能下降。 可能原因 DataNode数据目录创建失败。 DataNode数据目录与系统关键目录（“/”或“/boot”）使用同一磁盘。 DataNode数据目录中多个目录使用同一磁盘。 处理步骤 查看告警原因和产生告警的DataNode节点信息 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，在 2.通过“定位信息”的“主机名”，获取告警产生的DataNode节点的主机名。

相比于传统的集中式数据库，分布式数据被分散存储在多个物理位置（多台服务器或数据中心）上，并将这些分散的存储资源构成一个虚拟的存储设备。这种存储方式不仅实现在线扩容能力，同时也提升了数据的检索能力。而且分布式数据库利用SQL语言进行分布式查询和处理，使其性能和扩展性得到显著提升。 分布式数据存储原理 分布式存储架构通常由三个部分组成：客户端、元数据服务器（协调节点）和数据服务器（数据节点）。其主要流程是：客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器（协调节点）管理元数据和处理客户端的请求。数据服务器（数据节点）存放文件数据，保证数据的可用性和完整性。分布式存储主要通过以下几种方式实现： 数据分片‌：在分布式存储系统中，数据被分成多个部分，每个部分存储在不同的数据节点上，以实现数据的分布式存储和管理。这种分片通常使用哈希函数或一致性哈希算法来实现。 主备复制‌：为了提高数据的可靠性和可用性，分布式存储系统通常分为主备节点。每个数据都存储在不同的数据节点上，以确保即使某些节点出现故障，仍然可以从其他节点中恢复数据。 数据一致性‌：确保数据在不同节点之间的一致性是分布式存储系统的关键。为了实现数据同步和管理，分布式存储系统使用数据同步和管理机制，如Paxos算法、Raft算法或ZooKeeper等分布式协调服务。 数据访问‌：在分布式存储系统中，数据可以并行地从多个节点中读取和写入，以提高读写性能和吞吐量。数据访问使用负载均衡机制实现，如分布式哈希表、分布式缓存或分布式文件系统等技术。 通过这种存储方式可实现TeleDB在线扩容能力，在业务无感知的情况下，在线弹性伸缩，提升系统容量和处理能力，以便满足大规模存储应用的需求。

类型 限制项 默认配额 备注 数据查询 最大查询时间范围 11000 暂不支持调整 数据查询 单次接口查询超时时间 30秒 暂不支持调整 数据查询 单次查询最多扫描时间线数量 2万 可提交工单申请扩容，扩容不会对之前上报数据生效。 数据查询 单次查询扫描最大数据量 1000万 暂不支持调整 数据查询 单次查询返回的最大数据量 100万 暂不支持调整 数据查询 最大查询QPS 50QPS 暂不支持调整 数据采集和上报 每个数据点最大支持大小 2kB，超过会解析失败 暂不支持调整 数据采集和上报 每个用户最大时间线数量 实际上系统会在到达限额之前为您自动做相关的扩容，因此您无需关注该限制。 数据采集和上报 每次上报请求总数据量大小 不超过1MB（最多一次上报1024个指标，因此理论上不会超过） 不支持调整，超过1 MB数据会被全部丢弃。 数据采集和上报 单指标Label长度限制 Label Key或者Label Value字符串长度不超过256个字符。 不支持调整，超限会被调换为MAXTAGVALUELIMITED 数据采集和上报 单个指标的标签数限制 64个 超出可能会造成数据丢失 数据采集和上报 默认数据保存时长 Prometheus实例 for 云服务默认保存30天，其他类型实例默认保存15天。 您可在控制台自行调整数据存储时长。 数据采集和上报 Agent单副本默认配置（3核4 G）一次最多能采集的数据点数 350万 建议您扩容副本 数据采集和上报 Agent单副本默认配置（3核4 G）最大采集Target数 1000个 建议您扩容副本 数据采集和上报 1个Target 30秒内可以最大可采集的数据点数 60万 建议您扩容副本 数据采集和上报 Agent HPA最大副本数 20 若超限，您可在控制台手动增加副本数。 数据采集和上报 Agent 支持的ACK集群版本 待测 建议您升级Kubernetes版本 告警 告警规则查询返回结果数 500 其他 单集群Recording Rules数量上限 100 超限不限制使用，但是计算可能会有延迟 其他 共享版Grafana每个租户最多能创建的Folder数量 10

增量过程中 请勿修改源库和目标库的端口号。 请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿在源库执行DDL，本链路暂不支持同步源库增量结构变更。 请勿修改源数据库表的主键或者唯一键，否则可能导致增量数据不一致或任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 请定期关注CDC保留时间、源库日志空间、DTS增量延迟和目标库写入性能。 数据稽核 建议在源库业务低峰期进行数据比对，防止误报不一致数据，并减少对源库和DTS任务的冲击。 增量迁移过程中做数据比对时，若源库存在持续写入，则比对结果可能短时间不一致。 割接前建议至少完成一次全量数据稽核和一次增量追平后的最终稽核。 操作步骤 1、购买DTS数据迁移实例。 在管理控制台点击"创建实例"进入订购页面，"实例类型"选择"数据迁移"，“源数据库”选择“SQL Server”，"目标数据库"选择“PostgreSQL”，选择实例或输入IP地址、端口，完成其他信息的填写并完成购买。 2、进入实例配置页面。 DTS实例购买成功后，进入【数据迁移】实例列表页面，上一步骤购买成功的实例在实例列表中显示状态为“待配置”，进入实例配置页面的操作分两种情况： 当源库或目标库的网络接入类型为“公网EIP”时，请在实例列表的“IP地址列”点击“绑定弹性IP”按钮为DTS实例完成公网弹性IP的绑定，然后点击该实例操作列的“实例配置”按钮。 当源库和目标库的网络接入类型不是“公网EIP”时，请直接点击该实例操作列的“实例配置”按钮。

本页重点介绍通过天翼云官网门户退订数据迁移实例的过程。 操作步骤 1、登入天翼云门户。 登录天翼云 2、进入数据传输服务DTS控制台。 在天翼云门户首页顶部菜单栏，点击“控制中心”进入【控制中心】页面。 在【控制中心】页面顶部的资源池下拉列表框中选择相应资源池（目前仅支持上海36/华东1/西南1 ），找到页面中的“数据库”服务列表，选择“数据传输服务DTS”，进入DTS控制台。 在控制台左侧菜单栏点击“数据迁移”，进入【数据迁移】实例列表页面。 3、在实例列表，选择目标实例，点击“更多”>“退订”。 在【数据迁移】实例列表页面中，点击需要退订的迁移实例的操作列中的“更多”下拉菜单，点击“退订”，跳转到【退订】页面。 注意 当实例状态为“开通中”和“续订中”时，退订菜单不能点击。 当实例为其他状态时“退订”菜单可点击。 4、点击确认，完成退订。 在【退订】页面，点击“确认”按钮，页面提示退订中。 过程需要消耗一段时间，退订成功后，原有实例将被“冻结”，退订后底层数据保留固定时间（以天为单位）。

您需要查看Proxy集群内各个存储节点的数据存储统计信息，当集群中各存储节点的数据存储分布不均匀时，您可对实例进行扩容或者清理数据。 当前仅Redis 3.0 Proxy集群实例支持查看数据存储统计信息，其他实例类型如主备只有一个存储节点，可在实例的基本信息中的已用内存查看，所以不支持。 说明 Cluster集群实例不止有一个存储节点，查看其数据存储统计信息可通过监控中的数据节点监控。 操作步骤 步骤 1 登录分布式缓存服务管理控制台。 步骤 2 在管理控制台左上角单击，选择区域和项目。 步骤 3 单击左侧菜单栏的“缓存管理”。进入缓存管理页面。 “缓存管理”页面支持通过搜索栏筛选对应的缓存实例。 步骤 4 实例类型选择Proxy集群，单击实例的名称，进入该实例的基本信息页面。 步骤 5 单击“节点管理”页签。 界面显示集群实例中各个节点的数据量信息。 当集群的节点数据存储容量满时，需要对实例进行扩容，具体扩容操作，请参考变更规格。

名称 类型 描述 path String HBlock数据目录。 storagePool String 数据目录所属存储池（仅集群版支持）。 totalCapacity Long 当前HBlock数据目录对应分区的总容量，单位是bytes。 usedCapacity Long 服务器上HBlock数据目录对应分区的已用容量，单位是bytes。 usedCapacityQuota Long HBlock在该数据目录的已写入量，即已用容量配额。单位是bytes。 capacityQuota Long 数据目录的容量配额。单位是bytes。 0表示禁止写入。不输出，表示没有限制。 managementStatus String 数据目录管理状态： Added：数据目录已添加至系统中。 Removing：数据目录正在移除中。 subStatus.stage String 移除数据目录所处的阶段： Reconfiguration：重置中。 CheckingData：检查数据。在该阶段，会同时显示下列字段的信息totalFD、healthyFD、warningFD、errorFD、safeData、reconstructionWaitData、availFDWaitData、singleCopyLUNData、corruptedData、具体告警信息（availFDWaitWarning、singleCopyLUNWarning或者corruptedWarning）。 Executing：执行移除数据目录 subStatus.totalFD Integer 总的故障域个数。 subStatus.healthyFD Integer 状态为Healthy的故障域个数。 subStatus.warningFD Integer 状态为Warning的故障域个数。 subStatus.errorFD Integer 状态为Error的故障域个数。 subStatus.safeData Double 安全数据百分比，单位是%。 subStatus.reconstructionWaitData Double 需要重建的数据百分比，单位是%。 subStatus.availFDWaitData Double 移除磁盘或者服务器时，数据重建需要的故障域个数不足，因此引发的无法重建的数据百分比。 subStatus.singleCopyLUNData Double 单副本数据百分比，单位是%。 subStatus.corruptedData Double 已经损坏的数据百分比，单位是%。 subStatus.availFDWaitWarning String 告警信息。 根据状态不同，显示的告警信息不同： availFDWaitWarning：移除磁盘或者服务器时，数据重建需要的故障域个数不足。 singleCopyLUNWarning：单副本卷数据所在磁盘或者服务器被移除。 corruptedWarning：故障域异常导致数据损坏。 subStatus.singleCopyLUNWarning String 告警信息。 根据状态不同，显示的告警信息不同： availFDWaitWarning：移除磁盘或者服务器时，数据重建需要的故障域个数不足。 singleCopyLUNWarning：单副本卷数据所在磁盘或者服务器被移除。 corruptedWarning：故障域异常导致数据损坏。 subStatus.corruptedWarning String 告警信息。 根据状态不同，显示的告警信息不同： availFDWaitWarning：移除磁盘或者服务器时，数据重建需要的故障域个数不足。 singleCopyLUNWarning：单副本卷数据所在磁盘或者服务器被移除。 corruptedWarning：故障域异常导致数据损坏。 healthStatus String 数据目录健康状态： Healthy：数据目录处于健康状态，可正常读写，且数据目录所在磁盘使用率未超过阈值（系统默认值为95%）。 Warning：数据目录处于警告状态，可读，但存在以下情况的任意一种：慢盘；数据目录所在磁盘使用率超过阈值（系统默认值为95%）；磁盘剩余空间不足1GiB；HBlock对这个目录停写；数据目录配额使用率超过阈值（系统默认值为95%）；数据目录配额为0。 Error：数据目录错误状态，无法访问，原因可能是：所在磁盘出现I/O错误导致无法读写，数据目录未正确挂载等。 healthDetail Array of string 数据目录健康状态详情： 如果健康状态为Healthy，此字段为空。 如果健康状态为Warning或Error，显示警告或错误的详细信息。 dsId String 数据目录对应的ds进程（仅集群版支持）。 说明 数据目录加入存储池后才会展示ds进程。

合理分片键的判断依据 判断依据 说明 片键基数 片键基数是指划分数据块的能力。例如，要记录某个学校的学生信息，由于学生的年龄比较集中，如果选择年龄作为分片键，同一个数据段中将存储很多同龄学生的数据，影响集群的性能以及可管理性。由于学生的学号唯一，如果选择学号作为分片键，分片基数较大，有利于数据的均匀分布。 写分布 若用户业务在同一时间段有大量写操作，则希望这些写操作能够均匀分布到各个分片上。如果数据分布策略为范围分片，并以一个单调递增的值作为分片键，此时，大量写入的数据同样是片键字段递增，数据将写入同一个分片。 读分发 若用户业务在同一时间段有大量读操作，则希望这些读操作能够均匀分布到各个分片上，以充分利用各分片节点的计算性能。 定向读 mongos查询路由器可以执行定向查询（只查询一个分片）或scatter/gather查询（查询所有分片）。只有查询中存在分片键，mongos才能定位到单一分片，因此，您需要选择在业务运行时可用于普遍查询的分片键。如果您选择合成的分片键，将无法在定向查询中使用该片键，所有的查询方式将变成scatter/gather查询，从而限制扩展读数据的能力。 选择合适的数据分布策略 分片集群支持将单个集合的数据分散存储在多个分片上，用户可以根据集合内文档的分片键来分布数据。 目前，主要支持两种数据分布策略，即范围分片（Range based sharding）和Hash分片（Hash based sharding），设置方式请参见步骤4。 下面分别介绍这两种数据分布策略以及各自的优缺点。 范围分片 基于范围进行分片，即集群按照分片键的范围把数据分成不同部分。假设有一个数字分片键，为一条从负无穷到正无穷的直线，每一个片键的值均在直线上进行标记。可以理解为将该直线划分为更短的不重叠的片段，并称之为数据块，每个数据块包含了分片键在一定的范围内的数据。 图 数据分布示意图 如上图所示，x表示范围分片的片键，x的取值范围为[minKey,maxKey]，且为整型。将整个取值范围划分为多个chunk，每个chunk（通常配置为64MB）包含其中一小段的数据。其中，chunk1包含x值在[minKey, 75]中的所有文档，每个chunk的数据都存储在同一个分片上，每个分片可以存储多个chunk，并且chunk存储在分片中的数据会存储在config服务器中，mongos也会根据各分片上的chunk的数据自动执行负载均衡。 范围分片能够很好的满足范围查询的需求，例如，查询x的取值在[60,20]中的文档，仅需mongos将请求路由到chunk2。 范围分片的缺点在于，如果分片键有明显递增（或递减）趋势，新插入的文档很大程度上会分布到同一个chunk，从而无法扩展写的能力。例如，使用“id”作为分片键，集群自动生成id的高位值将是递增的时间戳。 Hash分片 根据用户的分片键值计算出Hash值（长度64bit且为整型），再按照范围分片策略，根据Hash值将文档分布到不同的chunk中。基于Hash分片主要的优势为保证数据在各节点上分布基本均匀，具有“相近”片键的文档很可能不会存储在同一个数据块中，数据的分离性更高。 图 数据分布示意图 Hash分片与范围分片互补，能将文档随机分散到各个chunk，充分扩展写能力，弥补范围分片的不足。但所有的范围查询要分发到后端所有的分片，才能获取满足条件的文档，查询效率低。

名称 数据类型 默认值 说明 ctyundtsisdeleted Int 0 数据是否被删除。 Insert：记录为0。 Update：记录为0。 Delete：记录为1。 ctyundtsversion Bigint 0 全量同步的数据：记录为0。 增量同步的数据：源库Binlog中对应的时间戳（秒级）。 ctyundtsrecordid Bigint 0 全量同步数据：记录为0。 增量同步数据：增量日志的记录ID，为该日志的唯一标识。当ctyundtsversion一致时，可通过该字段去重。

应用架构 支持的功能模块 应用双活 管控通道 注册配置中心RCC 应用双活 接入层 云原生网关CGW 应用双活 服务层 SpringCloud 应用双活 服务层 Dubbo 应用双活 数据层 关系型数据库MySQL版 应用双活 数据层 关系型数据库PostgreSQL版 应用双活 消息层 分布式消息服务RocketMQ 数据双活 管控通道 注册配置中心RCC 数据双活 接入层 云原生网关CGW 数据双活 服务层 SpringCloud 数据双活 服务层 Dubbo 数据双活 数据层 关系型数据库MySQL版 数据双活 数据层 关系型数据库PostgreSQL版 数据双活 消息层 分布式消息服务RocketMQ

本章节主要介绍配置FTP/SFTP源端参数。 作业中源连接为配置FTP/SFTP连接时，源端作业参数如下表所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件（最多50个），默认以“l"分隔，也可以自定义文件分隔符。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 /ftp/a.csvl/ftp/b.txt 基本参数 文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 CSV格式 基本参数 JSON类型 当“文件格式”选择为“JSON格式”时，才有该参数。JSON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 基本参数 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时，才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 高级属性 使用包围符 选择“是”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 否 高级属性 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段，当选择“是”时，“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时，才有该参数。 是 高级属性 正则表达式 分隔字段的正则表达式。 ^(d.d) (w ) [(.)] ([w.] ) (w.). 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 是 高级属性 编码类型 文件编码类型，例如：“UTF8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 UTF8 高级属性 压缩格式 当“文件格式”为“CSV格式”或“JSON格式”时该参数才显示。选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 高级属性 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则则保持原样传输。当输入或为空时，所有文件都会被解压。 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式： 不处理。 重命名：作业执行成功后将源文件重命名，添加用户名和时间戳的后缀。 删除：作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 是 高级属性 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 高级属性 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。 等待时间设置为0时，当源端路径下不存在标识文件，任务会立即失败。 单位：秒。 10 高级属性 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为 。 高级属性 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。 无 高级属性 目录过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 input,out 高级属性 文件过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 .csv 高级属性 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))}表示：只迁移最近90天内的文件。 20190701 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示：只迁移修改时间为当前时间以前的文件。 20190730 00:00:00 高级属性 加密方式 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 高级属性 忽略不存在原路径/文件 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。 否 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致。 .md5

本章主要介绍翼MapReduce的恢复Kafka元数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Kafka元数据，建议手动备份最新Kafka元数据后，再执行恢复操作。否则会丢失从备份时刻到恢复时刻之间的Kafka元数据信息。 对系统的影响 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，Kafka的消费者在ZooKeeper上保存的offset信息将会回退，可能导致重复消费。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 先停止Kafka服务，待恢复完成后，再启动Kafka服务。 登录FusionInsight Manager，请参见登录管理系统。

本文为您介绍使用OpenSearch客户端导入数据至天翼云云搜索服务OpenSearch实例的方法。 OpenSearch提供官方的客户端库，支持多种编程语言，如 Java、Python、JavaScript 等。 适用场景 编程场景：当你有自定义应用程序，需要通过代码直接与OpenSearch交互时，OpenSearch客户端提供了灵活的 API 进行复杂查询和批量导入数据。 批量数据导入：通过客户端库可以实现大规模数据的分块导入，并发写入，适用于处理大数据量的场景。 动态数据处理：如果数据在导入前需要复杂的逻辑处理，可以通过编程语言和客户端实现定制的数据流。 前提条件 已经开通天翼云云搜索OpenSearch实例。 能够通过HTTP访问OpenSearch实例。 客户端使用实例 这里以Python和Java客户端为例。 使用Python客户端 (opensearchpy) Python客户端opensearchpy是一个与OpenSearch交互的轻量级库。使用它，你可以通过index方法将数据导入到指定索引中。 python from opensearchpy import OpenSearch 创建OpenSearch客户端 osclient OpenSearch(" 要导入的数据 data { "title": "OpenSearch入门", "content": "OpenSearch是一款分布式搜索引擎，用于高效搜索和分析大量数据。", "date": "20240823" } 将数据导入到名为"articles"的索引 response osclient.index(index"articles", bodydata) print(response) 使用Java客户端 Java 是 OpenSearch 的主要编程语言之一，其官方客户端提供了丰富的功能。以下示例展示了如何使用 Java 客户端导入数据： java import org.opensearch.client.RestClient; import org.opensearch.client.RestHighLevelClient; import org.opensearch.client.RequestOptions; import org.opensearch.action.index.IndexRequest; import org.opensearch.action.index.IndexResponse; import org.opensearch.common.xcontent.XContentType; public class DataImporter { public static void main(String[] args) throws Exception { RestHighLevelClient client new RestHighLevelClient( RestClient.builder(new HttpHost("ip", 9200, "http")) ); String jsonString "{" + ""title":"OpenSearch入门"," + ""content":"OpenSearch是一款分布式搜索引擎..."," + ""date":"20240823"" + "}"; IndexRequest request new IndexRequest("articles"); request.source(jsonString, XContentType.JSON); IndexResponse response client.index(request, RequestOptions.DEFAULT); System.out.println(response.getId()); client.close(); } }

在实例元数据页管理敏感列权限 具体操作流程如下： 1. 登录数据管理服务DMS。 2. 进入数据权限管理页面。在左侧菜单栏依次点击数据资产 >实例管理 ，选择某个实例，点击更多>数据权限管理按钮进入数据权限管理页面。 3. 选择需要授权的敏感列。切换到敏感列授权 页面，点击添加授权按钮进入授权页面，在左侧”请选择“框内勾选想要授权的敏感列的复选框，然后点击中间的”>“按钮，即可将当前页选中的敏感列加入到右侧”已选择“框内。 4. 选择需要授权的用户。从用户名下拉列表中选择至少一个用户。 5. 选择权限的类型。 6. 选择权限的有效期。权限有效期默认为1个月，根据用户需要，可以选择3个月、半年或者1年，也可以点击时间栏，直接指定权限的到期时间。 7. 确定信息无误后，点击页面右下角的确认授权按钮即可完成授权。 在用户管理页管理敏感列权限 具体操作流程如下： 1. 登录数据管理服务DMS。 2. 进入数据授权页面。在左侧菜单栏依次点击安全协作>用户与角色 ，选择某个用户，点击数据授权 按钮进入数据授权页面；或者在左侧菜单栏依次点击安全协作>团队管理 ，切换到团队成员管理 页面，选择某个团队成员，点击数据授权按钮进入数据授权页面。 3. 搜索需要授权的敏感列。切换到敏感列授权页面，先输入库/模式/实例关键字搜索指定库/模式，然后输入列名、表名关键字搜索敏感列，再点击查询。也可以选择指定的团队、数据库类型、敏感等级对敏感列进行筛选。 4. 选择需要授权的敏感列。在左侧”请选择“框内勾选想要授权的敏感列的复选框，然后点击中间的”>“按钮，即可将当前页选中的敏感列加入到右侧”已选择“框内。 5. 选择权限的类型。 6. 选择权限的有效期。权限有效期默认为1个月，根据用户需要，可以选择3个月、半年或者1年，也可以点击时间栏，直接指定权限的到期时间。 7. 确定信息无误后，点击页面右下角的确认授权按钮即可完成授权。

本节主要介绍准备RDA依赖资源 概述 在使用RDA之前，您需要提前准备相关依赖资源，包括天翼云测试账号，账号可创建弹性云主机、虚拟私有云（Virtual Private Cloud，以下简称VPC）、子网和安全组，并配置安全组策略。 准备依赖资源 迁移源端测试账号： 天翼云目的端测试账号： 购买一台windows弹性云主机用于安装RDA软件工具； 购买一台或者多台linux弹性云主机用于对象存储迁移agent安装 说明 （RDA控制机和oms agent工具机迁移完成后均可释放） 获取天翼云测试账号AK/SK：天翼云官网控制台账号我的凭证管理访问秘钥，点击新增访问秘钥，在弹窗生成的excel表中获取对应AK/SK。

本章节为您介绍如何快速启用数据加密网关。 基于透明化服务理念，业务应用无需改造即可实现数据库中敏感数据的保护，支持国密算法，保证存储过程的机密性和完整性，满足应用和数据安全的合规要求。 启用流程 数据加密网关启用流程大致可参考下图： 步骤一：创建数据库代理 1. 使用运维账号登录数据加密网关。 2. 在左侧导航栏选择“数据库管理 > 数据库列表”，进入“数据库列表”页面。 3. 单击页面左上角的“新增”按钮，进入“新增代理实例”页面。 4. 填写数据库实例代理相关内容，填写完成后单击“提交”，即可完成数据库代理配置。 步骤二：添加数据库实例 1. 使用运维账号登录数据加密网关。 2. 在左侧导航栏选择“数据库管理 > 数据库列表”，进入“数据库列表”页面。 3. 单击“操作”列的“新增实例”按钮，跳转至“新增实例”页面。 4. 填写相关参数，将实例纳管至数据库代理中。 步骤三：配置加密规则 1. 选择需要配置加密规则的数据库，单击“操作”列的“配置加密”。 2. 在“表名”下拉框中选择需要配置加密规则的数据库表。 3. 单击“加密配置”，选择需要加密的字段开始配置。 步骤四：启用数据加密服务 配置完成后，单击对应数据库实例的“加密洗数”即可开始使用数据加密服务。

参数 说明 数据源 目前数据存储所用的源端云厂商，如阿里云、腾讯云、华为云等。 Access key/Secret sccess key 访问源端云厂商数据所用提供的AK/SK。 EndPoint 访问源端数据的EndPoint。 BucketName 待迁移数据的源Bucket名称。

备份类型 备份对象 适用场景 区别和优势 备份方法 恢复方法 云主机备份 弹性云主机中的所有云硬盘（系统盘和数据盘） 云主机受到攻击或病毒入侵 通过云主机备份，可立即恢复到最近一次没有受黑客攻击或病毒入侵的备份时间点。 数据被误删 通过云主机备份，可立即恢复到删除前的备份时间点，找回被删除的数据 应用程序更新出错 通过云主机备份，可立即恢复到应用程序更新前的备份时间点，使系统正常运行。 云主机宕机 通过云主机备份，可立即恢复到宕机之前的备份时间点，使云主机能再次正常启动 备份的同一个云主机下的所有云硬盘数据具有一致性，即同时对所有云硬盘进行备份，不存在因备份创建时间差带来的数据不一致问题。 且云备份支持根据备份策略自动备份。 创建云主机备份 使用云主机备份恢复数据（恢复至原服务器） 使用云主机备份恢复数据（创建新的云主机） 云硬盘备份 指定的单个或多个云硬盘（系统盘或数据盘） 系统盘没有个人数据，因而只需要对部分的数据盘进行备份 当云硬盘出现故障或云硬盘中的数据发生逻辑错误时（如误删数据、遭遇黑客攻击或病毒危害等），可快速恢复数据。 备份作为基线数据 设置备份策略，根据策略自动对云硬盘进行数据备份，通过定期创建的备份作为基线数据，用来创建新的云硬盘或者恢复数据到云硬盘。 备份数据则存储在对象存储 (OBS)中，可以实现在云硬盘存储损坏情况下的数据恢复 保证数据安全的同时降低备份成本 创建云硬盘备份 使用云硬盘备份恢复数据（恢复至原磁盘） 使用云硬盘备份恢复数据（创建新的磁盘） 快照 指定的单个或多个云硬盘（系统盘或数据盘） 日常备份数据 通过对云硬盘定期创建快照，实现数据的日常备份，可以应对由于误操作、病毒以及黑客攻击等导致数据丢失或不一致的情况 快速恢复数据 应用软件升级或业务数据迁移等重大操作前，您可以创建一份或多份快照，一旦升级或迁移过程中出现问题，可以通过快照及时将业务恢复到快照创建点的数据状态。 例如，当由于云主机 A的系统盘 A发生故障而无法正常开机时，此时您可以使用系统盘 A已有的快照新创建一块云硬盘 B并挂载至正常运行的云主机 B上，从而云主机 B能够通过云硬盘 B读取原系统盘 A的数据。 快速部署多个业务 通过同一个快照可以快速创建出多个具有相同数据的云硬盘，从而可以同时为多种业务提供数据资源。 例如数据挖掘、报表查询和开发测试等业务。这种方式既保护了原始数据，又能通过快照创建的新云硬盘快速部署其他业务，满足企业对业务数据的多元化需求。 说明 只支持回滚快照数据至原云硬盘，不支持快照回滚到其它云硬盘。 重装操作系统或切换操作系统后，系统盘快照会自动删除；数据盘快照不受影响，可以照常使用。 快照数据与云硬盘数据存储在一起，可以支持快速备份和恢复 快速保存指定时刻云硬盘的数据，同时还可以通过快照创建新的云硬盘，这样云硬盘在初始状态就具有快照中的数据 创建快照 使用快照回滚数据 系统盘镜像 系统盘 快速恢复系统 更换操作系统、应用软件升级或业务数据迁移等重大操作前，将系统盘创建成系统盘镜像，一旦迁移过程中出现问题，可以通过系统盘镜像切换操作系统，或重新创建新的云主机。 快速部署多个业务 通过同一个系统盘镜像可以快速创建出多个具有相同操作系统的云主机，从而快速部署多个业务。 系统盘镜像可以实现在云主机操作系统损坏情况下快速切换至损坏前的操作系统。 创建系统盘镜像 使用系统盘镜像切换故障云主机的操作系统 使用系统盘镜像创建新的云主机 数据盘镜像 指定的数据盘 快速复制数据 通过同一个数据盘镜像可以快速创建出多个具有相同数据的云硬盘，再将新创建的云硬盘挂载到其他服务器上，从而可以同时为多种业务提供数据资源。 数据盘镜像可以复制全盘的数据并创建新的云硬盘挂载到其他服务器上，实现云主机数据盘的复制和共享。 创建数据盘镜像 使用数据盘镜像创建数据盘 整机镜像 弹性云主机中的所有云硬盘（系统盘和数据盘） 快速恢复系统 更换操作系统、应用软件升级或业务数据迁移等重大操作前，将云主机的系统盘和数据盘创建成整机镜像，一旦迁移过程中出现问题，可以通过整机镜像切换操作系统，或重新创建新的云主机。 快速部署多个业务 通过同一个整机镜像可以快速创建出多个具有相同操作系统和数据的云主机，从而快速部署多个业务。 通过整机镜像实现业务的整理迁移。 创建整机镜像 使用整机镜像创建新的云主机

本节为您介绍数据安全中心提供的功能。 功能特性 说明 数据安全总览 展示数据安全全生命周期各个阶段的状态，包括云服务全景图（资产地图）、数据采集安全、数据传输/存储安全和数据交换/删除安全，实时呈现了用户资产的具体情况。 资产地图 通过可视化方式，从资产概况、分类分级、权限配置、数据存储、敏感数据等多个维度查看资产的安全状态，可快速发现风险资产并进行快速风险处理。 资产管理 资产列表：支持管理OBS、数据库、大数据和MRS数据资产。 数据目录：可查看不同业务域或不同类型数据的统计信息。 数据探索：查看当前已添加的所有数据资产详细信息，并对数据库、数据表以及数据视图等添加描述、标签、密级和分类操作，从而实现数据资产分级分类管理。 元数据任务：采集原数据。 数据管理：对现有数据进行分组管理。 敏感数据识别 数据自动分级分类：在AI和专家知识库的双重加权下，精确识别敏感数据和文件，覆盖结构化（RDS）和非结构化（OBS）两种数据类型，实现云上全场景覆盖。 文件类型：支持近200种非结构化文件。 数据类型：支持数十种个人隐私数据类型，包含中英文。 图片类型：支持识别（png、jpeg、xportablepixmap、tiff、bmp、gif、jpx、jp2总共8种类型）图片中的敏感文字，包含中英文。 合规模板：多种内置合规知识库，如GDPR，PCI DSS，HIPAA等。 自动识别敏感数据： 自动识别敏感数据及个人隐私数据。 支持自定义规则，场景适配不同行业。 提供可视化识别结果。 DSC服务敏感数据的识别时长将由您所扫描数据源的数据量、扫描规则数、扫描模式决定。 数据风险检测 用户异常行为分析：基于深度行为识别技术，建立用户行为基线，实现基线外异常操作实时告警，行为操作实时查询，行为轨迹可视化，风险事件关联识别，针对风险事件关联用户操作，完善溯源审计链条。 通常情况下，以下行为均被视为异常事件： 非法用户在未经授权的情况下对敏感数据进行了访问、下载。 合法用户对敏感数据进行了访问、下载、修改、权限更改、权限删除。 合法用户对敏感数据的桶进行权限更改、权限删除。 访问敏感数据的用户登录终端异常等情况。 数据脱敏 DSC的数据脱敏支持静态脱敏和动态脱敏。 DSC的数据脱敏特点： 不影响用户数据：从原始数据库读取数据，通过精确的脱敏引擎，对用户的敏感数据实施静态脱敏，脱敏结果另行存放，不会影响原始的用户数据。 支持云上各类场景：支持RDS，ECS自建数据库，大数据合规。 满足多种脱敏需求：用户可以通过20+种预置脱敏规则，或自定义脱敏规则来对指定数据库表进行脱敏。 实现一键合规：基于扫描结果自动提供脱敏合规建议，一键配置脱敏规则。 DSC通过内置和自定义脱敏算法，实现对RDS、Elasticsearch数据进行脱敏。 数据水印 针对PDF、PPT、Word、Excel格式的文件提供了添加和提取水印的功能。 版权证明：嵌入数据拥有者的信息，保证资产唯一归属，实现版权保护。 追踪溯源：嵌入数据使用者的信息，在发生数据泄露事件时，追踪其泄露源头。 同时，DSC提供了数据动态添加水印和提取数据水印的API接口供您使用。 告警通知 通过设置告警通知，当敏感数据检测完成后或异常事件处理监测到异常事件时，数据安全中心会将其检测结果通过用户设置的接收通知方式发送给用户。

沉默时间是什么？ 在自定义告警规则时，如在”重复告警“下拉选择”1次/2次/3次“，则需要设定沉默时间。沉默时间指告警发生后，如果未恢复正常，间隔多久重复发送一次告警通知。如”重复告警“选择”不重复“，则无需设定沉默时间。 云监控服务支持哪些聚合方法？ 云监控服务支持的聚合方法有以下四种： ● 平均值 聚合周期内指标数据的平均值。 ● 最大值 聚合周期内指标数据的最大值。 ● 最小值 聚合周期内指标数据的最小值。 ● 方差 聚合周期内指标数据的方差。 云监控数据保留多长时间？ 云监控指标数据分为原始指标数据和聚合指标数据。 ● 原始指标数据是指原始采样指标数据，原始指标数据承诺保留15天，最长31天。 ● 聚合指标数据是指将原始指标数据经过聚合处理后的指标数据，聚合指标数据（1小时粒度）承诺保留31天，最长180天。 ● 上述原始指标数据及聚合指标数据，不同区域因存储因素影响，保留时长存在差异。 云监控服务哪些资源支持企业项目？ 目前，云监控服务的主机监控与云服务监控列表、告警规则支持按企业项目分权分域。另外，云监控服务所覆盖的产品列表是否支持企业项目，与产品保持一致，您可在对应产品控制台查看。

section8d423a096bed9377)开启Proxy集群多DB设置。 如果是单机/主备等多DB的源端实例迁移到Cluster集群实例，Cluster集群不支持多DB，仅有一个DB0，请先确保源端实例DB0以外的DB是否有数据，如果有，请将数据转存到DB0，否则会出现迁移失败，将数据转存到DB0的操作请参考使用Rump在线迁移。 已获取准备迁移的源Redis实例的IP地址和端口。 如果您还没有目标Redis，请先创建目标Redis，具体操作请参考创建实例。 如果您已有目标Redis，则不需要重复创建，为了对比迁移前后数据及预留足够的内存空间，建议在数据迁移之前清空目标实例数据，清空操作请参考清空实例数据。如果没有清空实例数据，数据迁移后，目标Redis与源Redis实例重复的数据迁移后会被覆盖，源Redis没有、目标Redis有的数据会保留。 创建在线迁移任务 步骤 1 请使用DCS目标Redis所在的账号登录分布式缓存服务控制台。 步骤 2 在管理控制台左上角单击 ，选择DCS目标Redis所在的区域。 步骤 3 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。 步骤 4 单击右上角的“创建在线迁移任务”。 步骤 5 设置迁移任务名称和描述。 任务名称请以字母开头，长度不小于4位且不超过64位。任务名称只能包含字母、数字、中划线、下划线。 步骤 6 配置在线迁移任务虚拟机资源的VPC、子网和安全组。 请选择与目标Redis相同的VPC，确保迁移资源能访问目标Redis实例。 创建的在线迁移任务会占用一个租户侧IP，即控制台上迁移任务对应的“迁移IP”。如果源端Redis或目标端Redis配置了白名单，需确保配置了迁移IP或关闭白名单限制。 迁移任务所选安全组的“出方向规则”需放通源端Redis和目标端Redis的IP和端口（安全组默认情况下为全部放通，则无需单独放通），以便迁移任务的虚拟机资源能访问源Redis和目标Redis。 结束

项目 描述 根结点 拓扑图的根节点，与存储池名称相同。点击右键，可以选择添加存储池节点或移除存储池节点。 机房类型节点 以选择添加节点到存储池或移除存储池内的节点。 将鼠标放至节点上，可以查看下列信息： 机房类型节点 名称 节点名称。 机房类型节点 类型 节点类型：机房。 机房类型节点 健康状态 节点健康状态： 健康：可正常读写。 警告：可读。 错误：无法访问。 机房类型节点 描述信息 节点描述信息。 机架类型节点 可以选择添加节点到存储池或移除存储池内的节点。 将鼠标放至节点上，可以查看下列信息： 机架类型节点 名称 节点名称。 机架类型节点 类型 节点类型：机架。 机架类型节点 健康状态 节点健康状态： 健康：可正常读写。 警告：可读。 错误：无法访问。 机架类型节点 描述信息 节点描述信息。 服务器节点 以选择添加节点到存储池或移除存储池内的节点。 将鼠标放至节点上，可以查看下列信息： 服务器节点 名称 节点名称。 服务器节点 服务器ID 服务器ID。 服务器节点 类型 节点类型：服务器。 服务器节点 健康状态 数据服务的健康状态： 健康：故障域下面的所有数据服务全部都是健康状态。 警告：故障域下面的数据服务部分是警告或错误状态。 错误：故障域下面的所有数据服务全部都是错误状态。 服务器节点 服务器ID 服务器ID。 服务器节点 业务IP 业务IP。 服务器节点 集群IP 集群IP。 服务器节点 数据目录容量 服务器上所有数据目录所在磁盘使用率的平均值。 服务器节点 数据目录已用容量 服务器上所有数据目录所在磁盘的总容量。 服务器节点 服务器状态 服务器状态： 已连接。 未连接。 移除中。 服务器节点 描述信息 节点描述信息。 数据目录节点 可以移除存储池内的节点。 将鼠标放至节点上，可以查看下列信息： 数据目录节点 名称 节点名称，即数据目录路径。 数据目录节点 类型 节点类型：数据目录。 数据目录节点 服务器ID 数据目录所属的服务器ID。 数据目录节点 数据目录容量 数据目录所在磁盘的容量。 数据目录节点 数据目录已用容量 数据目录所在磁盘已用容量。 数据目录节点 容量配额 HBlock的容量配额。 数据目录节点 已用容量配额 HBlock已使用的容量配额。 数据目录节点 健康状态 数据目录的健康状态： 健康：数据目录可正常读写，且数据目录所在磁盘使用率未超过阈值（系统默认值为95%）。 警告：数据目录可读，但存在以下情况的任意一种：慢盘；数据目录所在磁盘使用率超过阈值（系统默认值为95%）；磁盘剩余空间不足1GiB；HBlock对这个目录停写；数据目录配额使用率超过阈值（系统默认值为95%）；数据目录配额为0。 错误：数据目录无法访问，原因可能是：所在磁盘出现I/O错误导致无法读写，数据目录未正确挂载等。 数据目录节点 管理状态 数据目录管理状态： 已添加。 移除中。 数据目录节点 管理子状态 如果数据目录正在移除中，会显示移除详情，包括故障域信息（健康、警告、错误的个数）、数据状态（安全、待重建、故障域个数不足、单副本及损坏的数据比例）及相应告警信息。 数据目录节点 健康详情 数据目录的健康详情： 如果“健康状态”为“健康”，此列为空。 如果“健康状态”为“警告”或“错误”，显示警告或错误的详细信息。

数据保护手段 简要说明 传输中的数据保护 日志数据采用安全协议HTTPS传输到日志服务，防止数据被窃取；用户的配置数据传输采用安全协议HTTPS，防止数据被窃取。 配置数据完整性 CFW会和配置管理中心检验配置一致性，实时确保配置的准确性和完整性。 数据销毁机制 考虑到残留数据导致的用户信息泄露问题，保留期到期仍未续订或充值，存储在云服务中的数据将被删除，云服务资源将被释放。CFW会清除用户数据，避免用户数据残留造成信息泄露。 数据存储安全 对静态数据进行透明加密，可以保护数据免受可以访问底层文件系统的攻击者的影响。

本章节介绍详细的操作步骤关于如何通过常用工具Navicat连接PostgreSQL。 创建PostgreSQL 操作场景 本文将介绍在云数据库RDS服务的管理控制台上创建实例的过程。 目前，RDS for PostgreSQL支持“包年/包月”和“按需计费”购买，您可以根据业务需要定制相应计算能力和存储空间的RDS实例。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角区域选项，选择区域和项目。 3、在页面左上角单击 ，选择“数据库 > 关系型数据库PostgreSQL”。进入云数据库 RDS信息页面。 4、在“实例管理”页面，单击“购买数据库实例”。 5、在“服务选型”页面，选择计费模式，填写并选择实例相关信息后，单击“立即购买”。 图 购买PostgreSQL数据库 登录主机下载Navicat 操作步骤 1、通过windows远程登录页面登录ECS 2、登录Navicat官网下载对应的数据库客户端 通过Navicat连接PostgreSQL 操作步骤 1、打开Navicat点击新建连接 2、编辑PostgreSQL登录信息 3、创建数据库 4、右击”表“，选择新建 5、编辑数据表的字段信息 6、编写测试数据 7、查询测试数据

本节主要介绍数据加工 数据复制服务支持对同步的对象进行加工，即可以为选择的对象添加规则。各链路支持的加工规则不一样，具体操作方法可参考对应的内容。 添加附加列 步骤 1 在“数据加工”页面选择“附加列”，对于需要加工的表对象，单击“操作”列的添加。 步骤 2 在弹出的“添加”对话框中，填选列名、操作类型、字段类型等信息，选择的操作类型不同，需要填写的信息也不同。完成后单击“确定”。 说明 多对一映射场景下，需要使用数据加工的附加列操作来避免数据冲突。 支持的操作类型有以下几种 “默认值”：使用输入的默认值填充新加的列。 “以createtime为列”和“以updatetime为列”操作会分别使用数据产生时间和修改时间填充新加的列。 “表达式”：需手动输入的表达式，使用表达式填充新加的列。 “以serverName@database@table为列”：使用@符号分别拼接serverName、源库的库名、表名填充新加的列，其中serverName为手动输入。 “填充值”：选择填充值为新加的列，比如同步时间戳。 支持“批量设置”，将第一个可编辑表的附加列信息应用到此任务中所有可编辑的表。 MySQL>GaussDB(for MySQL)主备版同步，单表的列数超过500时， 对该表添加附加列可能会超过列数上限，会导致任务失败 步骤 3 检查无误后，单击“下一步”，进入下一步操作。 数据过滤 数据过滤规则添加后，在源库执行更新操作的处理原则，以数据一致为首要目标。即： 更新前不符合过滤条件，更新后符合。继续同步，在目标库执行相同的更新操作，如果匹配不到数据，则会忽略，会导致数据不一致。 更新前符合过滤条件，更新后不符合。继续同步，在目标库执行相同的更新操作。 步骤 1 在“数据加工”页面选择“数据过滤”。 步骤 2 在“对象选择”区域选择需要加工的表对象。 步骤 3 在过滤条件区域，填写过滤条件（只需填写SQL语句的WHERE之后部分，例如id1）后，单击“校验”。 说明 每张表仅支持添加一个校验规则。 数据过滤每次最多支持500张表。 过滤表达式不支持使用某种数据库引擎特有的package、函数、变量、常量等写法，须使用通用SQL标准。请直接输入SQL语句中WHERE之后的部分（不包含WHERE和分号，例如：sid 3 and sname like "G %"），最多支持输入512个字符。 不支持对LOB字段设置过滤条件，如CLOB、BLOB、BYTEA等大字段类型。 建议不要对非精确类型字段设置过滤条件，如FLOAT、DECIMAL、DOUBLE等。 建议不要对带有特殊字符的字段设置过滤条件。 不建议使用非幂等表达式或函数作为数据加工条件，如SYSTIMESTAMP，SYSDATE等，因其每次调用返回的结果可能会有差异，导致达不到预期。 步骤 4 校验通过后，单击“生成加工规则”，即可在加工规则表格中看到该规则。 步骤 5 检查无误后，单击“下一步”，进入下一步操作。

本页介绍天翼云TeleDB数据库中全密态加密。 全密态加密是一种数据加密技术，‌旨在确保数据在整个生命周期（‌包括传输、‌运算和存储）‌中始终保持加密状态，‌从而保护数据隐私。‌这种加密技术不仅涉及到数据的存储加密，‌还包括数据在处理过程中的加密，‌确保即使在数据传输和计算过程中，‌攻击者也无法获取有效的数据信息。‌全密态加密技术的实现依赖于特定的密钥管理机制，‌包括客户端主密钥（‌CMK）‌和数据加密密钥（‌CEK）‌的使用，‌其中CMK用于加密CEK，‌而CEK则用于加密用户数据，‌从而形成一个完整的数据加密体系。 全密态加密方案 全密态加密的实现原理是用户发起查询任务指令，在客户端按照与数据相同的加密策略(加密算法，加密密钥等)完成加密。参数加密完成后整个查询任务被变更成⼀个加密的查询任务并发到数据库服务端。查询得到的结果仍然为密⽂，并最终返回客户端进⾏解密。其核心在用户自己持有数据加解密密钥且数据加解密过程仅在客⼾侧完成，数据以密⽂形态存在于数据库服务侧的整个生命周期过程中，并在数据库服务端完成查询运算。 开启全密态加密 您可参考如下操作开启全密态加密。 管控侧操作： 1. 以用户名和密码登录TeleDBDCP管理控制台。 2. 进入TeleDBDCP控制台管理页面，开通实例。您可参考《安装部署》中实例服务初始化及实例开通章节开通实例。 3. 在实例开通页面，填写基本信息页面，打开KMS开关，选择KMS机器。 说明 KMS开启后无法关闭，选择后无法更改。 数据库侧操作： 1. 在安装⽬录下新建 etc/localkms ⽬录⽤于存储CMK⽂件。 2. psql使⽤C开启全密态。 psql dxxx pxxx hxxx C 3. 创建主密钥CMK。 CREATE CLIENT MASTER KEY cmk1 WITH (KEYSTORE LOCALKMS , KEYPATH "kms1", ALGORITHM SM2); 4. 创建数据密钥CEK。 CREATE COLUMN ENCRYPTION KEY CEK1 WITH VALUES (CLIENTMASTERKEY cmk1,ALGORITHM SM4SM3); 5. 创建加密表，指定加密列。 CREATE TABLE creditcardinfo ( idnumber int,name text encrypted with (columnsencryptionkey cek1, encryptiontype DETERMINISTIC), creditcard varchar(19) encrypted with (columnsencryptionkey cek1,encryptiontype DETERMINISTIC)); 6. 执⾏SQL（仅⽀持SELECT、UPDATE、INSERT、DELETE）。 使用示例 创建CMK主秘钥 CREATE CLIENT MASTER KEY cmk12 WITH (KEYSTORE localkms, KEYPATH "localkms1" , ALGORITHM SM2);CREATE CLIENT MASTER KEY cmk2 WITH (KEYSTORE localkms, KEYPATH "localkms1" , ALGORITHM SM2); 创建CEK数据秘钥 CREATE COLUMN ENCRYPTION KEY cek1 WITH VALUES (CLIENTMASTERKEY cmk1, ALGORITHM SM4SM3);CREATE COLUMN ENCRYPTION KEY cek2 WITH VALUES (CLIENTMASTERKEY cmk2, ALGORITHM SM4SM3);DROP CLIENT MASTER KEY cmk1 CASCADE 创建加密表，col1未加密，col2使⽤cek1加密，col3和col4使⽤cek2加密 CREATE TABLE IF NOT EXISTS tbl1 (col1 INT,col2 INT ENCRYPTED WITH (COLUMNSENCRYPTIONKEY cek1, ENCRYPTIONTYPE DETERMINISTIC),col3 TEXT ENCRYPTED WITH (COLUMNSENCRYPTIONKEY cek2, ENCRYPTIONTYPE DETERMINISTIC),col4 VARCHAR(20) ENCRYPTED WITH (COLUMNSENCRYPTIONKEY cek2, ENCRYPTIONTYPE DETERMINISTIC));

本节介绍专属加密服务的功能特性。 专属加密（Dedicated Hardware Security Module，Dedicated HSM）是一种云上数据加密的服务，可处理加解密、签名、验签、产生密钥和密钥安全存储等操作。 Dedicated HSM为您提供的加密硬件，帮助您保护弹性云服务器上数据的安全性与完整性，满足FIPS 1402安全要求。同时，您能够对专属加密实例生成的密钥进行安全可靠的管理，也能使用多种加密算法来对数据进行可靠的加解密运算。 功能介绍 Dedicated HSM提供以下功能： 生成、存储、导入、导出和管理加密密钥（包括对称密钥和非对称密钥） 使用对称和非对称算法加密和解密数据 使用加密哈希函数计算消息摘要和基于哈希的消息身份验证代码 对数据进行加密签名（包括代码签名）并验证签名 以加密方式生成安全随机数据 Dedicated HSM支持的密码算法 支持国际通用密码算法，满足用户各种加密算法需求。 Dedicated HSM支持的密码算法 加密算法分类 通用密码算法 国密算法 对称密码算法 AES SM1、SM4、SM7 非对称密码算法 RSA（10244096） SM2 摘要算法 SHA1、SHA256、SHA384 SM3 Dedicated HSM支持的密码机类型 密码机类型 功能 适用场景 服务器加密机 数据加密/解密、数据签名/验签、数据摘要、支持MAC的生成和验证 满足各种行业应用中的基础密码运算需求，比如身份认证、数据保护、SSL密钥和运算卸载等。 金融加密机 支持PIN码的生成/加密/转换/验证 支持MAC生成及验证 支持CVV生成及验证 支持TAC生成及验证 支持常用Racal指令集 支持PBOC3.0常用指令集 满足金融领域密码运算需求，比如发卡系统、POS系统等。 签名服务器 签名/验签、编码/解码数字信封、编码/解码带签名的数字信封、证书验证 满足签名业务相关需求，比如CA系统、证书验证、大量数据的加密传输和身份认证。

本章节为您介绍如何快速使用数据脱敏能力。 第一步：新增数据源 1.使用系统管理员账号登录数据脱敏实例。 2.在左侧目标栏选择“数据资产管理 > 数据源/目标”，进入“数据源/目标”管理页面。 3.单击页面左上角的“新增”按钮，在右侧的窗口中数据需要新增数据源的相关信息。 注意 不同的数据源类型会存在不同的参数填写情况。 若您选择的数据源类型为StructFile下的LOCAL/FTP/SFTP，且文件类型为csv/txt/del，则可以在高级属性中填写表头行数：若表头行数为0，将自动填充表头；若行数大于1，则仅保留最后一行作为新表头，此配置可以使数据扫描更加准确。 4.填写完成后，单击窗口左下角的“测试连接”按钮，测试数据源的连通性。 5.连接成功后，若需要再新增目标请单击“保存并新增数据目标”重复上述操作，否则请单击“保存”按钮。 第二步：配置脱敏任务 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“脱敏/水印任务 > 结构化任务 ”，进入“结构化任务”页面。 3.单击页面左上角的“新增”按钮，进入“任务新增”界面。 4.填写完成后，单击“下一步”即可完成脱敏规则的基础配置。 第三步：配置脱敏规则 在完成基础配置后，会开始脱敏规则的创建。 配置数据脱敏任务时，您可以选择手动配置所需字段对应的脱敏规则，或者一键选择数据安全专区提供的脱敏模板。 若您希望创建自己的脱敏模板，可单击“管理”按钮，进入对应配置页面配置自定义脱敏模板，单击“保存”后单击“刷新” ，即可在下拉框中选择新创建的自定义模板。如下图所示。

名称 功能说明 Where条件 您可通过where查询，快速获取查询信息。 复制行 双击选择行，单击“复制行”，即可复制所选行数据信息。 删除行 双击选择行，单击“删除行”，即可删除所选行数据信息。 复制列 在列下拉框中选择所需复制的列，即可复制列信息。 列设置 您可通过“列设置”筛选出需显示的列信息。 16进制显示Binary类型 列内容以Binary类型显示时，需要勾选此选项，否则显示乱码。 新增 向表内添加数据。 刷新 支持对表数据进行手动更新。 提交编辑 支持对数据进行二次编辑。 单行详情 显示指定数据行详细信息。

检索数据 首先，我们进行基本的全文检索，不设置匹配条件，可以得到所有数据。 检索语句如下： plaintext GET /productsfruits/search { "query": { "matchall": {} } } 同样，我们可以设置检索条件、指定分词器、指定评分等多种条件根据Rest API的语法对检索的匹配数据进行筛选，得到我们希望的数据。 聚合数据 同样，OpenSearch也可以提供数据聚合，我们按照价格区间将商品进行聚合，返回的结果如下： 这里的聚合语句如下： plaintext GET /productsfruits/search { "size": 0, "aggs": { "priceranges": { "range": { "field": "price", "ranges": [ { "from": 0, "to": 10 }, { "from": 10, "to": 20 }, { "from": 20, "to": 30 } ] } } } } 数据排序 同样，数据结果排序，也是OpenSearch一个重要的用途，我们这里按照价格排序将结果检索出来，右侧边栏按照价格降序进行输出，如下： 排序语句如下： plaintext GET /productsfruits/search { "query": { "matchall": {} } , "sort": [ { "price": { "order": "desc" } } ] }