本文为您展示星辰MaaS模型服务平台公共数据集模块相关操作。 星辰MaaS模型服务平台包括公共数据集模块，可以实现共享数据集，支持数据集的检索、预览与创建，为用户提供便捷的数据资源，支撑模型训练与调优。 操作步骤 1. 登录星辰MaaS模型服务平台。 2. 在左侧导航栏选择“公共数据集”。 3. 点击“创建数据集”，可新增数据集。 4. 在搜索框输入数据集名称，可以查找数据集，或通过数据集集市分类，快速筛选数据集。 操作流程 数据集查询 操作说明：可点击数据集的二级分类如：图片分类，也可在输入框输入数据集的名称，列表可筛选出符合条件的数据集。 数据集详情 操作说明：点击单个数据集进入，数据集介绍时展示文件的名称、大小、数据集类型、数据集状态和修改时间。 操作说明：点击进入文件夹，可以查看数据集名称、大小、类型、上传状态和修改时间，并支持下载数据集。

删除脱敏算法 用户可以删除无关联敏感列的自定义脱敏算法。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择脱敏算法页签，进入脱敏算法页面。 4. 在脱敏算法页面，点击指定脱敏算法操作列的删除按钮，即可删除该脱敏算法。 类似创建脱敏算法 用户可以基于已有的脱敏算法，快速创建出类似的新脱敏算法。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择脱敏算法页签，进入脱敏算法页面。 4. 在脱敏算法页面，点击指定脱敏算法操作列的类似创建按钮，弹出新增算法侧边栏，即可基于已有的脱敏算法配置，创建新的脱敏算法。 系统内置脱敏算法 算法名称 说明 原始数据 脱敏效果 默认全遮盖 任何数据均脱敏为 123456789 MD5COMMON 使用不带盐值的MD5算法将敏感列数据脱敏为长度为32个字符的散列值。 abc 900150983CD24FB0D6963F7D28E17F72 数字取整 保留小数点后几位。 13.03 13.0 日期取整（按照日取整） 按照日将日期取整。 20240102 13:21:31 20240102 00:00:00 日期取整（按照月取整） 按照月将日期取整。 20240802 13:21:31 20240801 00:00:00 日期取整（按照年取整） 按照年将日期取整。 20240202 13:21:31 20240101 00:00:00 手机号码星号遮盖中间4位 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(4,7)，遮盖字符为。 13303739965 1339965 银行联行号遮盖 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(4,11)，遮盖字符为。 196378547294 1964 固定电话遮盖 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(6,10)，遮盖字符为。 0206666666 02066 身份证遮盖 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(4,14)，遮盖字符为。 11010519800101001X 110001X 中国香港身份证遮盖 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖位置为(2,7)，遮盖字符为。 T770829(3) T(3) 港澳通行证遮盖 对设置该脱敏算法的敏感列的数据的固定位置保留，保留前1位后2位，剩余位置进行遮盖，遮盖字符为。 H1100110010 H10 SIM卡号遮盖 对设置该脱敏算法的敏感列的数据的固定位置保留，保留前5位后2位，剩余位置进行遮盖，遮盖字符为。 73721111266664444888 7372188 邮箱名称遮盖 对设置该脱敏算法的敏感列的数据的第一个@字符之前的位置遮盖，特殊字符为@，遮盖字符为。 test@company.com @company MD5SALT 使用盐值为yanzhi666的MD5算法将敏感列数据脱敏为长度为32个字符的散列值。 abc c6e36d3fb0b5fca40f233c04f3460002 遮盖前1后1 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖前1位后1位，遮盖字符为。 实验中学 验中 遮盖前3后3 对设置该脱敏算法的敏感列的数据的固定位置遮盖，遮盖前3位后3位，遮盖字符为。 abcdedfg de

本章节主要介绍脚本开发功能。 数据中台将不同类型引擎任务封装为不同脚本任务，通过创建脚本来生成数据开发任务。同时，数据开发支持使用资源和函数开发任务。 脚本开发功能提供如下能力： 提供在线脚本编辑器，支持Python脚本、Shell脚本、MySQL脚本、DM（达梦数据库）脚本、Hive脚本、Spark脚本、PySpark脚本、Postgre SQL脚本、Gauss DB脚本、SQLserver脚本、Kingbase脚本、Clickhouse脚本、Oracle脚本等在线代码开发和调测。 支持导入和导出脚本。 支持使用变量和函数。 支持脚本的版本管理能力，支持生成保存版本和提交版本。 脚本开发支持细粒度权限管控，对数据开发脚本目录权限管控策略进行配置。 前提条件 需要完成数据源接入和数据建模，才能进行数据开发操作。 使用限制 已拥有开发角色权限。 已拥有所需数据源和数据表权限。 开发流程 新建脚本：新建相应类型的脚本。 开发脚本：基于新建的脚本，进行脚本的在线开发、调试和执行。。 （可选）管理脚本：脚本开发完成后，您可以根据需要，进行脚本管理。 编排脚本：将脚本按照依赖关系进行编排，同时配置任务调度参数。 发布脚本：将测试通过的脚本发布上线到生产环境。

当服务器中的磁盘发生故障、或者由于人为误操作导致服务器数据丢失时，可以使用已经创建成功的备份恢复服务器。 当云主机中的磁盘发生故障、或者由于人为误操作导致云主机数据丢失时，可以使用已经创建成功的备份恢复原云主机。恢复云主机的过程中会关闭云主机，请在业务空闲时操作。 如果希望将数据恢复至其他云主机上，可以使用云主机备份创建镜像后，再创建一台新的云主机。 背景信息 备份的数据盘的数据，不能恢复到系统盘中。 不支持恢复到状态处于“故障”的云主机。 暂不支持批量恢复数据操作。 前提条件 需要恢复的云主机中的磁盘运行状态正常。 需要恢复的云主机至少存在一个备份，并且需要恢复的云主机的备份的“备份状态”为“可用”。 操作步骤 1. 登录云服务备份管理控制台。 a. 登录管理控制台。 b. 单击管理控制台左上角的，选择区域。 c. 单击“”，选择“存储 > 云服务备份”。选择对应的备份目录。 2. 选择“备份副本”页签，找到存储库和云主机所对应的备份。 3. 单击备份所在行的“恢复数据”，如下图所示。恢复云主机数据之后将导致备份时间点的数据覆盖云主机数据，一旦执行，无法回退，请提前知晓。 图 恢复云主机 4. （可选）取消勾选“恢复后立即启动云主机”。如果取消勾选“恢复后立即启动云主机”，则恢复云主机操作执行完成后，需要手动启动云主机。恢复云主机的过程中会关闭云主机，请在业务空闲时操作。 5. 在指定的磁盘下拉菜单中选择备份需要恢复到的磁盘。 说明 如果云主机只有一个磁盘，则默认恢复到该磁盘。 如果云主机存在多个磁盘，默认将备份恢复到原来的磁盘。也可以通过在“指定的磁盘”下拉菜单中重新选择磁盘的操作将备份恢复到备份云主机中的其他磁盘中。但是指定的磁盘容量不能小于之前的磁盘容量。 备份的数据盘的数据，不能恢复到系统盘中。 注意 如果当前恢复的云主机磁盘数量大于备份时刻的磁盘数量时，需要考虑数据的一致性问题，谨慎执行恢复操作。 例如，Oracle应用的数据分散在被恢复及未被恢复的目标磁盘上，在恢复后可能导致数据不一致（被恢复的磁盘还原到历史数据，未被恢复的磁盘仍保留当前数据），甚至导致应用无法启动。 6. 单击“确定”，并确认备份恢复是否成功。 您可以在备份列表中，查看备份恢复的执行状态。直到备份的“备份状态”恢复为“可用”，并且“任务状态”中没有新增失败的恢复任务时，表示恢复成功。恢复成功的资源数据将于备份时间点保持一致。 查看恢复失败的任务请参见处理任务。 注意 当您使用云主机备份恢复逻辑卷组（LVM）时，恢复完成后需手动重新挂载。 当您恢复的云主机为Windows操作系统时，由于操作系统自身原因，恢复完成后可能无法显示数据盘。如果您遇到此情况，需要手动将数据盘置为联机状态。具体操作，请参见

脱敏授权 当用户需要授权其他用户查询敏感列的明文信息时，可以进行脱敏授权操作。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择敏感实例页签，进入敏感实例页面。 4. 在敏感实例列表中，点击指定实例操作列的脱敏授权按钮即可跳转到该实例的数据权限管理页面。 5. 在数据权限管理页面，用户可以查看、添加、回收该实例下所有敏感列的权限。 关闭保护 当实例不再需要敏感数据保护功能时，可以通过关闭保护操作，移除该实例的敏感数据保护功能。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择敏感实例页签，进入敏感实例页面。 4. 在敏感实例列表中，点击指定实例操作列的关闭保护按钮即可。 5. 需要注意的是，关闭保护后，会同步删除对应实例的所有敏感列、历史识别任务、敏感列权限。

本节介绍了 使用DAS的导出和导入功能迁移RDS for SQL Server数据的相关内容。 操作场景 当进行数据备份或迁移时，支持使用数据管理服务的数据导出功能，获取完整的数据信息，再将数据从本地或者从OBS桶导入目标数据表。 约束限制 只支持导入一个文件，该文件最大可达1GB。 暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。 RDS for SQL Server实例表数量超过1万时，使用DAS的“导出数据库”功能会报错表数量过多，无法导出数据。此时请使用“导出SQL结果集”功能。 导出数据 步骤 1 登录管理控制台。 步骤 2 单击管理控制台左上角的 ，选择区域和项目。 步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 步骤 4 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务实例登录界面。 步骤 5 正确输入数据库用户名和密码，单击“登录”，即可进入您的数据库并进行管理。 步骤 6 在顶部菜单栏选择“导入·导出”>“导出”。 步骤 7 在导出页面，单击左上角“新建任务”，您可根据需要选择“导出数据库”或“导出SQL结果集”。下文以导出数据库为例，导出SQL集同理。 您也可通过单击“快速导出”，创建快速导出任务导出指定数据库信息，选择存储位置，并单击“确定”。 步骤 8 在导出数据库弹出页面，您可按需选填“基本信息”及“高级选项”，并在页面右侧选择需要导出的表。 步骤 9 设置完导出任务信息，单击弹出页面下部“确定”，创建导出任务。 步骤 10 在导出任务列表页面，您可查看任务ID、任务类型、任务状态、进度等信息。 步骤 11 您可在列表操作栏，单击“查看详情”，在任务详情弹出页面，查看本次导出任务执行的详情信息。 结束

数据盘扩容 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要变更规格的桌面所在行，点击“管理”，点击“数据盘扩容”操作； 4.根据需求选择扩容的规格； 5.点击“立即创建”，即完成桌面的数据盘扩容。 注意 1、通过资源包开通的桌面，数据盘扩容会直接扣取资源包资源；通过单实例开通的桌面，数据盘扩容需要付费才能完成扩容。 2、数据盘扩容，系统将自动重启以完成配置。 添加数据盘 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要添加数据盘的桌面所在行，点击“管理”，点击“添加数据盘”操作； 4.根据需求选择添加数据盘的规格； 5.点击“立即创建”，即完成添加数据盘。 注意 1、通过资源包开通的桌面，添加数据盘会直接扣取资源包资源；通过单实例开通的桌面，需要付费才能完成添加数据盘。 2、添加数据盘，系统将自动重启以完成配置。 退订/删除数据盘 通过单实例开通的桌面添加数据盘后是支持退订操作，通过资源包开通的桌面添加数据盘后是支持删除操作。 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要退订/删除数据盘的桌面所在行，点击“管理”，点击“退订数据盘”或“删除数据盘”操作； 4.根据需求选择需退订/删除的数据盘； 5.点击“确定”，即完成数据盘的退订/删除。 注意 由于退订/删除操作会导致数据盘清理，数据盘数据将无法恢复，因此，在退订/删除前请您做好数据备份工作。 通过资源包开通的数据盘，进行删除数据盘会直接将存储资源释放回资源包； 通过单实例开通的数据盘，进行退订数据盘将根据使用时长扣除已消费金额，余额将原路返还到您的付款账户； 通过其他渠道开通的数据盘，如需退订数据盘请咨询对应受理渠道。

本章节主要介绍数据治理中心的配置Oracle数据库连接功能。 连接Oracle数据库时，详见下表： Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 oraclelink 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口：1521 数据库连接类型 选择Oracle数据库连接类型： Service Name：通过SERVICENAME连接Oracle数据库。 SID：通过SID连接Oracle数据库。 SID 实例名称 配置Oracle实例ID，用于实例区分各个数据库。“数据库连接类型”选择“SID”时才有该参数。 dbname 数据库名称 配置为要连接的数据库名称。“数据库连接类型”选择“Service Name”时才有该参数。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户密码。 使用Agent 是否选择通过Agent从源端提取数据。 是 Agent 单击“选择”，选择管理Agent中已创建的Agent。 Oracle版本 创建Oracle连接时才有该参数，根据您Oracle数据库的版本来选择。当出现“java.sql.SQLException: Protocol violation异常”时，可以尝试更换版本号。 高于12.1 一次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 Oracle到DWS迁移时，可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“一次请求行数”参数值的设置。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 说明 CDM作业默认打开了useCursorFetch开关，即JDBC连接器与关系型数据库的通信使用二进制协议。 开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 阿里云AnalyticDB(ADB)数据库对useCursorFetch参数有兼容问题，在配置与ADB连接时需要关闭useCursorFetch开关，即添加连接属性“useCursorFetch”，对应属性值设置为“false”。如不进行此设置，会出现日期转换出错的情况。 sslmoderequire 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 '

本章节介绍详细的操作步骤关于如何通过常用工具Navicat连接PostgreSQL。 创建PostgreSQL 操作场景 本文将介绍在云数据库RDS服务的管理控制台上创建实例的过程。 目前，RDS for PostgreSQL支持“包年/包月”和“按需计费”购买，您可以根据业务需要定制相应计算能力和存储空间的RDS实例。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角区域选项，选择区域和项目。 3、在页面左上角单击 ，选择“数据库 > 关系型数据库PostgreSQL”。进入云数据库 RDS信息页面。 4、在“实例管理”页面，单击“购买数据库实例”。 5、在“服务选型”页面，选择计费模式，填写并选择实例相关信息后，单击“立即购买”。 图 购买PostgreSQL数据库 登录主机下载Navicat 操作步骤 1、通过windows远程登录页面登录ECS 2、登录Navicat官网下载对应的数据库客户端 通过Navicat连接PostgreSQL 操作步骤 1、打开Navicat点击新建连接 2、编辑PostgreSQL登录信息 3、创建数据库 4、右击”表“，选择新建 5、编辑数据表的字段信息 6、编写测试数据 7、查询测试数据

合理分片键的判断依据 判断依据 说明 片键基数 片键基数是指划分数据块的能力。例如，要记录某个学校的学生信息，由于学生的年龄比较集中，如果选择年龄作为分片键，同一个数据段中将存储很多同龄学生的数据，影响集群的性能以及可管理性。由于学生的学号唯一，如果选择学号作为分片键，分片基数较大，有利于数据的均匀分布。 写分布 若用户业务在同一时间段有大量写操作，则希望这些写操作能够均匀分布到各个分片上。如果数据分布策略为范围分片，并以一个单调递增的值作为分片键，此时，大量写入的数据同样是片键字段递增，数据将写入同一个分片。 读分发 若用户业务在同一时间段有大量读操作，则希望这些读操作能够均匀分布到各个分片上，以充分利用各分片节点的计算性能。 定向读 mongos查询路由器可以执行定向查询（只查询一个分片）或scatter/gather查询（查询所有分片）。只有查询中存在分片键，mongos才能定位到单一分片，因此，您需要选择在业务运行时可用于普遍查询的分片键。如果您选择合成的分片键，将无法在定向查询中使用该片键，所有的查询方式将变成scatter/gather查询，从而限制扩展读数据的能力。 选择合适的数据分布策略 分片集群支持将单个集合的数据分散存储在多个分片上，用户可以根据集合内文档的分片键来分布数据。 目前，主要支持两种数据分布策略，即范围分片（Range based sharding）和Hash分片（Hash based sharding），设置方式请参见步骤4。 下面分别介绍这两种数据分布策略以及各自的优缺点。 范围分片 基于范围进行分片，即集群按照分片键的范围把数据分成不同部分。假设有一个数字分片键，为一条从负无穷到正无穷的直线，每一个片键的值均在直线上进行标记。可以理解为将该直线划分为更短的不重叠的片段，并称之为数据块，每个数据块包含了分片键在一定的范围内的数据。 图 数据分布示意图 如上图所示，x表示范围分片的片键，x的取值范围为[minKey,maxKey]，且为整型。将整个取值范围划分为多个chunk，每个chunk（通常配置为64MB）包含其中一小段的数据。其中，chunk1包含x值在[minKey, 75]中的所有文档，每个chunk的数据都存储在同一个分片上，每个分片可以存储多个chunk，并且chunk存储在分片中的数据会存储在config服务器中，mongos也会根据各分片上的chunk的数据自动执行负载均衡。 范围分片能够很好的满足范围查询的需求，例如，查询x的取值在[60,20]中的文档，仅需mongos将请求路由到chunk2。 范围分片的缺点在于，如果分片键有明显递增（或递减）趋势，新插入的文档很大程度上会分布到同一个chunk，从而无法扩展写的能力。例如，使用“id”作为分片键，集群自动生成id的高位值将是递增的时间戳。 Hash分片 根据用户的分片键值计算出Hash值（长度64bit且为整型），再按照范围分片策略，根据Hash值将文档分布到不同的chunk中。基于Hash分片主要的优势为保证数据在各节点上分布基本均匀，具有“相近”片键的文档很可能不会存储在同一个数据块中，数据的分离性更高。 图 数据分布示意图 Hash分片与范围分片互补，能将文档随机分散到各个chunk，充分扩展写能力，弥补范围分片的不足。但所有的范围查询要分发到后端所有的分片，才能获取满足条件的文档，查询效率低。

查看迁移详情 在DTS的实例管理 页面，单击目标实例名称，进入实例详情页面。然后在左侧菜单栏选择迁移详情 ，进入迁移详情页面。您可以查看结构迁移、全量数据迁移和增量数据迁移的具体信息。 结构迁移 单击结构迁移 ，查看当前数据迁移实例的结构迁移详情，包括迁移的Tables、Views、Functions、Procedures的对象名称、源库、目标库、状态等信息。 单击列表右方操作 列的查看创建语法 ，可以查看迁移对象的创建语句。 全量数据迁移 单击全量数据迁移 ，查看当前数据迁移实例的全量部分的迁移详情，包括对象名称、源库与目标库的库表信息、已完成行数、耗时、状态等信息。 增量数据迁移 单击增量数据迁移 ，查看当前数据迁移任务增量部分的迁移详情，包括源库、目标库、当前的数据传输模块拉取位点和源库最新位点、是否延迟等状态信息。 编辑迁移任务 只有在任务未启动前，才可以编辑任务。 编辑迁移任务需要先暂停实例任务，然后单击编辑迁移按钮，进行迁移对象的动态增加或减少。 动态增加迁移对象 然后依次单击 下一步 ，完成迁移对象的动态增加、减少。

操作名称 资源类型 事件名称 创建密钥 cmk createKey 创建数据密钥 cmk createDataKey 创建不含明文数据密钥 cmk createDataKeyWithoutPlaintext 启用密钥 cmk enableKey 禁用密钥 cmk disableKey 加密数据密钥 cmk encryptDatakey 解密数据密钥 cmk decryptDatakey 计划删除密钥 cmk scheduleKeyDeletion 取消计划删除密钥 cmk cancelKeyDeletion 创建随机数 rng genRandom 修改密钥别名 cmk updateKeyAlias 修改密钥描述 cmk updateKeyDescription 密钥删除风险提示 cmk deleteKeyRiskTips 导入密钥材料 cmk importKeyMaterial 删除密钥材料 cmk deleteImportedKeyMaterial 加密数据 cmk encryptData 解密数据 cmk decryptData 添加标签 cmk createKeyTag 删除标签 cmk deleteKeyTag 批量添加标签 cmk batchCreateKeyTags 批量删除标签 cmk batchDeleteKeyTags 开启密钥轮换 cmk enableKeyRotation 修改密钥轮换周期 cmk updateKeyRotationInterval 关闭密钥轮换 cmk disableKeyRotation

查看对比任务 步骤 1 在“实时迁移管理”页面，选择指定的实时迁移任务，单击“操作”列的“查看对比”。 步骤 2 在“迁移对比”页签，可查看数据对比结果。 结束 数据修复 当静态内容对比结果中存在不一致数据时，可在对比报表的明细页中选取不一致的表进行数据修复。数据修复结果为可在目标库执行的修复SQL。修复完成后可在对比报表的修复进度明细页查看不一致行的修复SQL生成详情，也可导出和下载针对本次对比所有已生成的不一致SQL，并结合实际情况在目标库手动执行修复SQL。数据修复具有如下约束。 1. 数据修复功能为受限使用阶段，当前仅支持MYSQLMYSQL链路。 2. 对于修复SQL为INSERT或UPDATE语句的场景，修复SQL中将展示不一致行的所有列内容，列值为对应列在源库的当前值。 3. 历史的比对任务可能由于缺少修复信息而修复失败，需要重新比对后再进行修复。 4. 每个迁移任务仅保留最新一次数据修复的修复进度明细信息页面。 5. 单个不一致行的数据大小最大支持4M，超过时对应的修复SQL将生成失败。 6. DRS生成的修复SQL中，时间类型字段的内容是基于UTC时间的，如果表中存在时间字段，目标库执行修复SQL前需先将会话时区设置为0时区。各数据库类型对应的会话时区设置SQL示例如下表。 7. 请谨慎执行修复SQL中的DELETE语句。 8. 数据修复功能无法使用在无主键表的对比结果中。 表 各数据库类型设置会话时区为0时区的SQL示例 数据库类型 时区设置SQL MYSQL SET session timezone'+00:00';

增量过程中 请勿修改源库和目标库的端口号。 请勿修改、删除源库和目标库连接用户的密码、权限，否则可能导致任务失败。 请勿在源库执行DDL，本链路暂不支持同步源库增量结构变更。 请勿修改源数据库表的主键或者唯一键，否则可能导致增量数据不一致或任务失败。 请勿在目标库做写入操作，否则可能导致数据不一致。 请定期关注CDC保留时间、源库日志空间、DTS增量延迟和目标库写入性能。 数据稽核 建议在源库业务低峰期进行数据比对，防止误报不一致数据，并减少对源库和DTS任务的冲击。 增量迁移过程中做数据比对时，若源库存在持续写入，则比对结果可能短时间不一致。 割接前建议至少完成一次全量数据稽核和一次增量追平后的最终稽核。 操作步骤 1、购买DTS数据迁移实例。 在管理控制台点击"创建实例"进入订购页面，"实例类型"选择"数据迁移"，“源数据库”选择“SQL Server”，"目标数据库"选择“PostgreSQL”，选择实例或输入IP地址、端口，完成其他信息的填写并完成购买。 2、进入实例配置页面。 DTS实例购买成功后，进入【数据迁移】实例列表页面，上一步骤购买成功的实例在实例列表中显示状态为“待配置”，进入实例配置页面的操作分两种情况： 当源库或目标库的网络接入类型为“公网EIP”时，请在实例列表的“IP地址列”点击“绑定弹性IP”按钮为DTS实例完成公网弹性IP的绑定，然后点击该实例操作列的“实例配置”按钮。 当源库和目标库的网络接入类型不是“公网EIP”时，请直接点击该实例操作列的“实例配置”按钮。

导出质量作业 系统支持批量导出质量作业，一次最多可导出200个质量作业。 1. 选择“数据质量监控 > 质量作业”，选择要导出的质量作业。 2. 单击“导出”，弹出“导出质量作业”对话框。 3. 单击“导出”，切换到“导出记录”页签。 4. 在导出文件列表中，单击最新导出文件对应的“下载”，可将质量作业的Excel表格下载到本地。 导入质量作业 系统支持批量导入质量作业，一次最大可导入1M数据的文件，并且最多200个质量作业。 1. 选择“数据质量监控 > 质量作业”，单击“导入”，弹出“导入质量作业”对话框。 2. 在“导入配置”页签，选择模板名称重名策略。 终止：如果质量作业名称有重复，则全部导入失败。 跳过：如果质量作业名称有重复，会忽略后继续导入。 覆盖：如果质量作业名称有重复，会覆盖现有同名作业。 3. 单击“上传文件”，选择准备好的数据文件。 说明 可通过如下两种方式填写数据文件： (推荐使用)通过“导出”功能，可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”，将数据填写好，再导入至系统中。 4. 分别配置数据连接、集群、目录、主题的映射资源信息。 数据连接：选择导入后的数据连接类型。 集群：如果数据连接类型是DLI，需要选择对应的队列。 目录：选择导入后的质量作业存储目录。 主题：如果配置了消息通知，需要选择主题。 5. 单击“导入”，将填好的Excel表格模板导入到系统。 6. 单击“导入记录”页签，可查看对应的导入记录。

天翼云数据传输服务DTS(TeleDB DTS)是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库、NoSQL数据库间的数据传输,致力于解决远距离、毫秒级异步数据传输难题。

本节介绍了什么是三副本技术、三副本技术怎样确保数据一致性、三副本技术怎样实现数据快速重建、三副本技术和云硬盘备份、快照有什么区别。 什么是三副本技术 云硬盘的存储系统采用三副本机制来保证数据的可靠性，即针对某份数据，默认将数据分为1 MB大小的数据块，每一个数据块被复制为3个副本，然后按照一定的分布式存储算法将这些副本保存在集群中的不同节点上，数据可靠性高达9个9。 云硬盘三副本技术的主要特点如下： ● 存储系统自动确保3个数据副本分布在不同服务器的不同物理磁盘上，单个硬件设备的故障不会影响业务。 ● 存储系统确保3个数据副本之间的数据强一致性。 例如，对于服务器A的物理磁盘A上的数据块P1，系统将它的数据备份为服务器B的物理磁盘B上的P1''和服务器C的物理磁盘C上的P1'，P1、P1'和P1''共同构成了同一个数据块的三个副本。若P1所在的物理磁盘发生故障，则P1'和P1''可以继续提供存储服务，确保业务不受影响。 图 数据块存储示意图 三副本技术怎样确保数据一致性？ 数据一致性表示当应用成功写入一份数据到存储系统时，存储系统中的3个数据副本必须一致。当应用无论通过哪个副本再次读取这些数据时，该副本上的数据和之前写入的数据都是一致的。 云硬盘三副本技术主要通过以下机制确保数据一致性： ● 写入数据时，同时在3个副本执行写入操作 当应用写入数据时，存储系统会同步对3个副本执行写入数据的操作，并且只有当多个副本的数据都写入完成时，才会向应用返回数据写入成功的响应。 ● 读取数据失败时，自动修复损坏的副本 当应用读数据失败时，存储系统会判断错误类型。如果是物理磁盘扇区读取错误，则存储系统会自动从其他节点保存的副本中读取数据，然后在物理磁盘扇区错误的节点上重新写入数据，从而保证数据副本总数不减少以及副本数据一致性。

本文主要介绍探针监控 本章节介绍APM采集的探针监控指标的类别、名称、含义等信息。 表探针监控指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 ::::::: 探针数据（detail，探针数据指标集。） type 数据类型 探针上报的数据类型 ENUM LAST 探针数据（detail，探针数据指标集。） discardBytes 丢弃字节数 该数据类型的丢弃字节数 Byte INT SUM 探针数据（detail，探针数据指标集。） discardCount 丢弃次数 该数据类型的丢弃次数 INT SUM 探针数据（detail，探针数据指标集。） errorBytes 发送失败字节数 该数据类型的发送失败字节数 Byte INT SUM 探针数据（detail，探针数据指标集。） errorCount 发送失败次数 该数据类型的发送失败次数 INT SUM 探针数据（detail，探针数据指标集。） maxBytes 最大字节数 该数据类型的最大发送字节数 Byte INT MAX 探针数据（detail，探针数据指标集。） maxQueueSize 队列最大长度 该数据类型发送队列最大长度 INT MAX 探针数据（detail，探针数据指标集。） sendBytes 发送成功字节数 该数据类型发送成功字节数 Byte INT SUM 探针数据（detail，探针数据指标集。） sendCount 发送成功次数 该数据类型发送成功次数 INT SUM 探针数据（detail，探针数据指标集。） sendTotalTime 总发送时间 该数据类型的总发送时间 ms INT SUM 探针数据（detail，探针数据指标集。） slowTime 最慢发送时间 该数据类型最慢发送时间 ms INT MAX 异常（exception，异常指标集。） causeType 异常类 异常发生类 ENUM LAST 异常（exception，异常指标集。） type 类型 异常类型 ENUM LAST 异常（exception，异常指标集。） count 次数 异常次数 INT SUM 异常（exception，异常指标集。） message 消息 异常消息 STRING LAST 异常（exception，异常指标集。） stackTrace 堆栈 异常堆栈 CLOB LAST 服务端连接监控（transfer，服务端连接监控指标集。） host 主机 主机信息 ENUM LAST 服务端连接监控（transfer，服务端连接监控指标集。） connectIp 连接ip 连接ip STRING LAST 服务端连接监控（transfer，服务端连接监控指标集。） ipList ip列表 所有ip列表 STRING LAST 服务端连接监控（transfer，服务端连接监控指标集。） isConnected 是否连接 是否连接 INT LAST 服务端连接监控（transfer，服务端连接监控指标集。） rt 响应时间 响应时间 INT AVG 队列监控（repository，队列监控指标集。） monitorQueueSize 监控数据队列大小 监控数据队列大小 INT SUM 队列监控（repository，队列监控指标集。） monitorObjectSize 监控数据内存大小 监控数据内存大小 INT SUM 队列监控（repository，队列监控指标集。） traceQueueSize 调用链数据队列大小 调用链数据队列大小 INT SUM 队列监控（repository，队列监控指标集。） traceObjectSize 调用链数据内存大小 调用链数据内存大小 INT SUM

本章主要介绍翼MapReduce的恢复Kafka元数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Kafka元数据，建议手动备份最新Kafka元数据后，再执行恢复操作。否则会丢失从备份时刻到恢复时刻之间的Kafka元数据信息。 对系统的影响 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，Kafka的消费者在ZooKeeper上保存的offset信息将会回退，可能导致重复消费。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 先停止Kafka服务，待恢复完成后，再启动Kafka服务。 登录FusionInsight Manager，请参见登录管理系统。

本页介绍天翼云TeleDB数据库中全密态加密。 全密态加密是一种数据加密技术，‌旨在确保数据在整个生命周期（‌包括传输、‌运算和存储）‌中始终保持加密状态，‌从而保护数据隐私。‌这种加密技术不仅涉及到数据的存储加密，‌还包括数据在处理过程中的加密，‌确保即使在数据传输和计算过程中，‌攻击者也无法获取有效的数据信息。‌全密态加密技术的实现依赖于特定的密钥管理机制，‌包括客户端主密钥（‌CMK）‌和数据加密密钥（‌CEK）‌的使用，‌其中CMK用于加密CEK，‌而CEK则用于加密用户数据，‌从而形成一个完整的数据加密体系。 全密态加密方案 全密态加密的实现原理是用户发起查询任务指令，在客户端按照与数据相同的加密策略(加密算法，加密密钥等)完成加密。参数加密完成后整个查询任务被变更成⼀个加密的查询任务并发到数据库服务端。查询得到的结果仍然为密⽂，并最终返回客户端进⾏解密。其核心在用户自己持有数据加解密密钥且数据加解密过程仅在客⼾侧完成，数据以密⽂形态存在于数据库服务侧的整个生命周期过程中，并在数据库服务端完成查询运算。 开启全密态加密 您可参考如下操作开启全密态加密。 管控侧操作： 1. 以用户名和密码登录TeleDBDCP管理控制台。 2. 进入TeleDBDCP控制台管理页面，开通实例。您可参考《安装部署》中实例服务初始化及实例开通章节开通实例。 3. 在实例开通页面，填写基本信息页面，打开KMS开关，选择KMS机器。 说明 KMS开启后无法关闭，选择后无法更改。 数据库侧操作： 1. 在安装⽬录下新建 etc/localkms ⽬录⽤于存储CMK⽂件。 2. psql使⽤C开启全密态。 psql dxxx pxxx hxxx C 3. 创建主密钥CMK。 CREATE CLIENT MASTER KEY cmk1 WITH (KEYSTORE LOCALKMS , KEYPATH "kms1", ALGORITHM SM2); 4. 创建数据密钥CEK。 CREATE COLUMN ENCRYPTION KEY CEK1 WITH VALUES (CLIENTMASTERKEY cmk1,ALGORITHM SM4SM3); 5. 创建加密表，指定加密列。 CREATE TABLE creditcardinfo ( idnumber int,name text encrypted with (columnsencryptionkey cek1, encryptiontype DETERMINISTIC), creditcard varchar(19) encrypted with (columnsencryptionkey cek1,encryptiontype DETERMINISTIC)); 6. 执⾏SQL（仅⽀持SELECT、UPDATE、INSERT、DELETE）。 使用示例 创建CMK主秘钥 CREATE CLIENT MASTER KEY cmk12 WITH (KEYSTORE localkms, KEYPATH "localkms1" , ALGORITHM SM2);CREATE CLIENT MASTER KEY cmk2 WITH (KEYSTORE localkms, KEYPATH "localkms1" , ALGORITHM SM2); 创建CEK数据秘钥 CREATE COLUMN ENCRYPTION KEY cek1 WITH VALUES (CLIENTMASTERKEY cmk1, ALGORITHM SM4SM3);CREATE COLUMN ENCRYPTION KEY cek2 WITH VALUES (CLIENTMASTERKEY cmk2, ALGORITHM SM4SM3);DROP CLIENT MASTER KEY cmk1 CASCADE 创建加密表，col1未加密，col2使⽤cek1加密，col3和col4使⽤cek2加密 CREATE TABLE IF NOT EXISTS tbl1 (col1 INT,col2 INT ENCRYPTED WITH (COLUMNSENCRYPTIONKEY cek1, ENCRYPTIONTYPE DETERMINISTIC),col3 TEXT ENCRYPTED WITH (COLUMNSENCRYPTIONKEY cek2, ENCRYPTIONTYPE DETERMINISTIC),col4 VARCHAR(20) ENCRYPTED WITH (COLUMNSENCRYPTIONKEY cek2, ENCRYPTIONTYPE DETERMINISTIC));

与表格存储服务的关系 表格存储服务（CloudTable Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从CloudTable中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到CloudTable表中。 与关系型数据库服务（RDS）的关系 关系型数据库（Relational Database Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从RDS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到RDS表中。 与数据仓库服务的关系 数据仓库服务（Data Warehouse Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从数据仓库中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到数据仓库服务表中。 与云搜索服务的关系 云搜索服务（Cloud Search Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从云搜索服务中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到云搜索服务表中。

本章节为您介绍如何快速启用数据加密网关。 基于透明化服务理念，业务应用无需改造即可实现数据库中敏感数据的保护，支持国密算法，保证存储过程的机密性和完整性，满足应用和数据安全的合规要求。 启用流程 数据加密网关启用流程大致可参考下图： 步骤一：创建数据库代理 1. 使用运维账号登录数据加密网关。 2. 在左侧导航栏选择“数据库管理 > 数据库列表”，进入“数据库列表”页面。 3. 单击页面左上角的“新增”按钮，进入“新增代理实例”页面。 4. 填写数据库实例代理相关内容，填写完成后单击“提交”，即可完成数据库代理配置。 步骤二：添加数据库实例 1. 使用运维账号登录数据加密网关。 2. 在左侧导航栏选择“数据库管理 > 数据库列表”，进入“数据库列表”页面。 3. 单击“操作”列的“新增实例”按钮，跳转至“新增实例”页面。 4. 填写相关参数，将实例纳管至数据库代理中。 步骤三：配置加密规则 1. 选择需要配置加密规则的数据库，单击“操作”列的“配置加密”。 2. 在“表名”下拉框中选择需要配置加密规则的数据库表。 3. 单击“加密配置”，选择需要加密的字段开始配置。 步骤四：启用数据加密服务 配置完成后，单击对应数据库实例的“加密洗数”即可开始使用数据加密服务。

监控指标 指标说明 单位 是否支持告警 监控周期 CPU利用率 该指标用于统计日志审计实例的CPU利用率。 % 是 5分钟 内存总大小 该指标用于统计日志审计实例的实际内存大小。 GB 是 5分钟 剩余内存大小 该指标用于统计日志审计实例的空闲的内存大小。 GB 是 5分钟 内存利用率 该指标用于统计日志审计实例的内存利用率。 内存利用率 100% （剩余内存大小/内存总大小） % 是 5分钟 系统盘大小 该指标用于统计日志审计实例的实际系统盘大小。 GB 是 5分钟 剩余系统盘大小 该指标用于统计日志审计实例的空闲的系统盘大小。 GB 是 5分钟 系统盘利用率 该指标用于统计日志审计实例的系统盘利用率。 系统盘利用率 100% （剩余系统盘大小/系统盘大小） % 是 5分钟 数据盘大小 该指标用于统计日志审计实例的实际数据盘大小。 GB 是 5分钟 剩余数据盘大小 该指标用于统计日志审计实例的空闲的数据盘大小。 GB 是 5分钟 数据盘利用率 该指标用于统计日志审计实例的数据盘利用率。 系统盘利用率 100% （剩余数据盘大小/数据盘大小） % 是 5分钟

本章节主要介绍ALM14011 DataNode数据目录配置不合理的告警。 告警解释 DataNode的配置参数“dfs.datanode.data.dir”指定了DataNode的数据目录。当所配置的目录路径无法创建、与系统关键目录使用同一磁盘或多个目录使用同一磁盘时，系统即刻产生此告警。 当修改DataNode的数据目录合理后，重启该DataNode，告警清除。 告警属性 告警ID 告警级别 是否自动清除 14011 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果将DataNode数据目录挂载在根目录等系统关键目录，长时间运行后会将根目录写满，导致系统故障。 不合理的DataNode数据目录配置，会造成HDFS的性能下降。 可能原因 DataNode数据目录创建失败。 DataNode数据目录与系统关键目录（“/”或“/boot”）使用同一磁盘。 DataNode数据目录中多个目录使用同一磁盘。 处理步骤 查看告警原因和产生告警的DataNode节点信息 1.在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，在 2.通过“定位信息”的“主机名”，获取告警产生的DataNode节点的主机名。

本文主要介绍专属存储三副本技术 什么是三副本技术 专属云（存储独享型）的存储系统采用三副本机制来保证数据的可靠性，即针对某份数据，默认将数据分为1 MB大小的数据块，每一个数据块被复制为3个副本，然后按照一定的分布式存储算法将这些副本保存在集群中的不同节点上。 专属云（存储独享型）三副本技术的主要特点如下： 存储系统自动确保3个数据副本分布在不同服务器的不同物理磁盘上，单个硬件设备的故障不会影响业务。 存储系统确保3个数据副本之间的数据强一致性。 例如，对于服务器A的物理磁盘A上的数据块P1，系统将它的数据备份为服务器B的物理磁盘B上的P1''和服务器C的物理磁盘C上的P1'，P1、P1'和P1''共同构成了同一个数据块的三个副本。若P1所在的物理磁盘发生故障，则P1'和P1''可以继续提供存储服务，确保业务不受影响。 图 数据块存储示意图 三副本技术怎样确保数据一致性 数据一致性表示当应用成功写入一份数据到存储系统时，存储系统中的3个数据副本必须一致。当应用无论通过哪个副本再次读取这些数据时，该副本上的数据和之前写入的数据都是一致的。 专属存储三副本技术主要通过以下机制确保数据一致性： 写入数据时，同时在3个副本执行写入操作 当应用写入数据时，存储系统会同步对3个副本执行写入数据的操作，并且只有当多个副本的数据都写入完成时，才会向应用返回数据写入成功的响应。 读取数据失败时，自动修复损坏的副本 当应用读数据失败时，存储系统会判断错误类型。如果是物理磁盘扇区读取错误，则存储系统会自动从其他节点保存的副本中读取数据，然后在物理磁盘扇区错误的节点上重新写入数据，从而保证数据副本总数不减少以及副本数据一致性。

创建关系数据库MySQL版实例后，可以通过登录数据库管理服务DMS对数据库实例进行数据管理、用户授权、SQL审计、数据可视化等管理操作。本文为您介绍如何通过数据库管理服务DMS登录关系数据库MySQL版实例。 注意 仅西南1、华东1、华南2、华北2等II类型资源池支持该功能，I类型资源池不支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见使用限制或者功能概览。 背景信息 数据管理服务（Data Management Service，DMS）是异构数据库（支持MySQL、PostgreSQL、SQLServer、DRDS、MongoDB、DDS等数据库类型）的一站式、全生命周期管理平台，为企业提供统一数据资产视图、统一数据库开发规范、统一数据安全策略、统一变更管控标准，让数据库的使用更高效、更安全、更规范。更多DMS信息，请参见DMS产品定义。 前提条件 已快速创建关系数据库MySQL版实例。 已创建数据库用户。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择产品 > 数据库 > 关系型数据库 > 关系数据库MySQL版 ，进入关系数据库MySQL产品页面。然后单击管理控制台 ，进入概览页面。 2. 在左侧导航栏，选择MySQL > 实例管理，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 选择如下一种方式，进入数据库管理服务DMS。 方法一：在实例列表上方，单击进入数据管理服务，进入到DMS管理控制台，然后填写登录数据库的数据库账号和密码，即可登录DMS。 方法二：在实例列表中，找到目标实例，单击实例名称，进入实例基本信息 页签，然后在右上角单击登录数据库，即可进入该实例的DMS登录页面。 方法三：在实例列表中，找到目标实例，选择操作 列的更多 > 登录数据库，即可进入该实例的DMS登录页面。

云容器引擎通过将Kubernetes网络和VPC深度集成，提供了稳定高性能的容器网络，能够满足多种复杂场景下工作负载间的互相访问。 约束与限制 每个命名空间下，创建的服务数量不能超过6000个。此处的服务对应kubernetes的service资源，即工作负载所添加的服务。 容器开启hostPort或hostNetwork网络模式后，若需对外提供服务，则需要给容器所在节点开启对应端口的安全组(containerPort)。 Service基本概念 Kubernetes中每一个工作负载会有一个或多个实例（Pod），每个实例（Pod）的IP地址由网络插件动态随机分配（Pod重启后IP地址会改变）。为屏蔽这些后端实例的动态变化和对多实例的负载均衡，引入了Service这个资源对象。 Service是一种资源，提供了我们访问单个或多个容器应用的能力。每个服务在其生命周期内，都拥有一个固定的IP地址和端口。每个服务对应了后台的一个或多个Pod，通过这种方式，客户端就不需要关心Pod所在的位置，方便后端进行方便的Pod扩容、缩容等操作。 用户在Kubernetes中可以部署各种容器，其中一部分是通过HTTP、HTTPS协议对外提供七层网络服务，另一部分是通过TCP、UDP协议提供四层网络服务。而Kubernetes定义的Service资源就是用来管理集群中四层网络的服务访问。 根据创建Service的type类型不同，可分成如下模式： ClusterIP ：默认类型，为服务分配集群虚拟IP，此时集群内部的pod可以通过服务名称寻址到服务的集群虚拟IP地址，集群外无效。 NodePort ：在每个节点上为服务分配静态端口号，此时如果在集群外部访问任何一个节点的IP地址加指定的端口号，kubeproxy会将流量转发到服务的集群虚拟IP，再由虚拟IP寻址到Pod。 LoadBalancer ：通过云服务供应商提供的load balancer向外部暴露服务，由指定的load balancer负责对NodePort与ClusterIP服务的路由。 ClusterIP和NodePort类型的Service，在不同云服务商或是自建集群中的行为表现通常情况下相同。而LoadBalancer类型的Service，由于使用了云服务商的负载均衡进行服务暴露，云服务商会围绕其负载均衡的能力提供不同的额外功能。例如，控制负载均衡的网络类型，后端绑定的权重调节等，详情请参见本章相关文档。 服务访问方式 在CCE中，支持以下类型的互联互通： 集群内访问（ClusterIP ） 工作负载暴露给同一集群内其他工作负载访问的方式，可以通过“集群内部域名”访问。集群内部域名格式为“ . .svc.cluster.local”，例如“nginx.default.svc.cluster.local”。详细请参见集群内访问(ClusterIP)。 节点访问（NodePort ） 节点访问 ( NodePort）是指在每个节点的IP上开放一个静态端口，通过静态端口对外暴露服务。节点访问 ( NodePort )会路由到ClusterIP服务，这个ClusterIP服务会自动创建。通过请求 : ，可以从集群的外部访问一个NodePort服务。详细请参见节点访问(NodePort)。 负载均衡 ( LoadBalancer ) 通过弹性负载均衡从公网访问工作负载，与弹性IP方式相比提供了高可靠的保障，一般用于系统中需要暴露到公网的服务。访问方式由公网弹性负载均衡ELB服务地址以及设置的访问端口组成，例如“10.117.117.117:80”。详细请参见负载均衡(LoadBalancer)。 七层负载均衡（Ingress） 通常情况下，service和pod的IP仅可在集群内部访问。集群外部的请求需要通过负载均衡转发到service在Node上暴露的NodePort上，然后再由kubeproxy通过边缘路由器 (edge router) 将其转发给相关的Pod或者丢弃，而Ingress就是为进入集群的请求提供路由规则的集合。 Ingress可以给service提供集群外部访问的URL、负载均衡、SSL终止、HTTP路由等。为了配置这些Ingress规则，集群管理员需要部署一个Ingress controller，它监听Ingress和service的变化，并根据规则配置负载均衡并提供访问入口。 Ingress的组成部分： Nginx：实现负载均衡到pod的集合。 Ingress Controller：从集群api获取services对应pod的ip到nginx配置文件中。 Ingress：为nginx创建虚拟主机。 Ingress的创建与管理请参见Ingress概述。 网络策略（NetworkPolicy） 网络策略（NetworkPolicy）是一种关于pod间及pod与其他网络端点间所允许的通信规则的规范。 NetworkPolicy资源使用标签选择pod，并定义选定pod所允许的通信规则，详细请参见NetworkPolicy。 网络底层基础设施 VPC 虚拟私有云（Virtual Private Cloud，以下简称VPC），是基于创建的自定义私有网络，不同的专有网络之间彻底逻辑隔离。可以为云服务器、云数据库和负载均衡等构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云上资源的安全性，简化用户的网络部署。 您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络，进行安全、快捷的网络变更。同时，用户可以自定义安全组内与组间弹性云主机的访问规则，加强弹性云主机的安全保护。 ELB 弹性负载均衡（Elastic Load Balance，简称ELB）是将访问流量根据转发策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 弹性负载均衡支持经典型、共享型两种负载均衡： − 经典型负载均衡：适用于访问量较小，应用模型简单的web业务。 − 共享型负载均衡：适用于访问量较大的web业务，提供基于域名和URL的路由均衡能力，实现更加灵活的业务转发。

本章节为您介绍如何快速使用数据脱敏能力。 第一步：新增数据源 1.使用系统管理员账号登录数据脱敏实例。 2.在左侧目标栏选择“数据资产管理 > 数据源/目标”，进入“数据源/目标”管理页面。 3.单击页面左上角的“新增”按钮，在右侧的窗口中数据需要新增数据源的相关信息。 注意 不同的数据源类型会存在不同的参数填写情况。 若您选择的数据源类型为StructFile下的LOCAL/FTP/SFTP，且文件类型为csv/txt/del，则可以在高级属性中填写表头行数：若表头行数为0，将自动填充表头；若行数大于1，则仅保留最后一行作为新表头，此配置可以使数据扫描更加准确。 4.填写完成后，单击窗口左下角的“测试连接”按钮，测试数据源的连通性。 5.连接成功后，若需要再新增目标请单击“保存并新增数据目标”重复上述操作，否则请单击“保存”按钮。 第二步：配置脱敏任务 1.使用系统管理员登录数据脱敏实例。 2.在左侧导航栏选择“脱敏/水印任务 > 结构化任务 ”，进入“结构化任务”页面。 3.单击页面左上角的“新增”按钮，进入“任务新增”界面。 4.填写完成后，单击“下一步”即可完成脱敏规则的基础配置。 第三步：配置脱敏规则 在完成基础配置后，会开始脱敏规则的创建。 配置数据脱敏任务时，您可以选择手动配置所需字段对应的脱敏规则，或者一键选择数据安全专区提供的脱敏模板。 若您希望创建自己的脱敏模板，可单击“管理”按钮，进入对应配置页面配置自定义脱敏模板，单击“保存”后单击“刷新” ，即可在下拉框中选择新创建的自定义模板。如下图所示。

本文为您介绍使用OpenSearch客户端导入数据至天翼云云搜索服务OpenSearch实例的方法。 OpenSearch提供官方的客户端库，支持多种编程语言，如 Java、Python、JavaScript 等。 适用场景 编程场景：当你有自定义应用程序，需要通过代码直接与OpenSearch交互时，OpenSearch客户端提供了灵活的 API 进行复杂查询和批量导入数据。 批量数据导入：通过客户端库可以实现大规模数据的分块导入，并发写入，适用于处理大数据量的场景。 动态数据处理：如果数据在导入前需要复杂的逻辑处理，可以通过编程语言和客户端实现定制的数据流。 前提条件 已经开通天翼云云搜索OpenSearch实例。 能够通过HTTP访问OpenSearch实例。 客户端使用实例 这里以Python和Java客户端为例。 使用Python客户端 (opensearchpy) Python客户端opensearchpy是一个与OpenSearch交互的轻量级库。使用它，你可以通过index方法将数据导入到指定索引中。 python from opensearchpy import OpenSearch 创建OpenSearch客户端 osclient OpenSearch(" 要导入的数据 data { "title": "OpenSearch入门", "content": "OpenSearch是一款分布式搜索引擎，用于高效搜索和分析大量数据。", "date": "20240823" } 将数据导入到名为"articles"的索引 response osclient.index(index"articles", bodydata) print(response) 使用Java客户端 Java 是 OpenSearch 的主要编程语言之一，其官方客户端提供了丰富的功能。以下示例展示了如何使用 Java 客户端导入数据： java import org.opensearch.client.RestClient; import org.opensearch.client.RestHighLevelClient; import org.opensearch.client.RequestOptions; import org.opensearch.action.index.IndexRequest; import org.opensearch.action.index.IndexResponse; import org.opensearch.common.xcontent.XContentType; public class DataImporter { public static void main(String[] args) throws Exception { RestHighLevelClient client new RestHighLevelClient( RestClient.builder(new HttpHost("ip", 9200, "http")) ); String jsonString "{" + ""title":"OpenSearch入门"," + ""content":"OpenSearch是一款分布式搜索引擎..."," + ""date":"20240823"" + "}"; IndexRequest request new IndexRequest("articles"); request.source(jsonString, XContentType.JSON); IndexResponse response client.index(request, RequestOptions.DEFAULT); System.out.println(response.getId()); client.close(); } }

在实例元数据页管理敏感列权限 具体操作流程如下： 1. 登录数据管理服务DMS。 2. 进入数据权限管理页面。在左侧菜单栏依次点击数据资产 >实例管理 ，选择某个实例，点击更多>数据权限管理按钮进入数据权限管理页面。 3. 选择需要授权的敏感列。切换到敏感列授权 页面，点击添加授权按钮进入授权页面，在左侧”请选择“框内勾选想要授权的敏感列的复选框，然后点击中间的”>“按钮，即可将当前页选中的敏感列加入到右侧”已选择“框内。 4. 选择需要授权的用户。从用户名下拉列表中选择至少一个用户。 5. 选择权限的类型。 6. 选择权限的有效期。权限有效期默认为1个月，根据用户需要，可以选择3个月、半年或者1年，也可以点击时间栏，直接指定权限的到期时间。 7. 确定信息无误后，点击页面右下角的确认授权按钮即可完成授权。 在用户管理页管理敏感列权限 具体操作流程如下： 1. 登录数据管理服务DMS。 2. 进入数据授权页面。在左侧菜单栏依次点击安全协作>用户与角色 ，选择某个用户，点击数据授权 按钮进入数据授权页面；或者在左侧菜单栏依次点击安全协作>团队管理 ，切换到团队成员管理 页面，选择某个团队成员，点击数据授权按钮进入数据授权页面。 3. 搜索需要授权的敏感列。切换到敏感列授权页面，先输入库/模式/实例关键字搜索指定库/模式，然后输入列名、表名关键字搜索敏感列，再点击查询。也可以选择指定的团队、数据库类型、敏感等级对敏感列进行筛选。 4. 选择需要授权的敏感列。在左侧”请选择“框内勾选想要授权的敏感列的复选框，然后点击中间的”>“按钮，即可将当前页选中的敏感列加入到右侧”已选择“框内。 5. 选择权限的类型。 6. 选择权限的有效期。权限有效期默认为1个月，根据用户需要，可以选择3个月、半年或者1年，也可以点击时间栏，直接指定权限的到期时间。 7. 确定信息无误后，点击页面右下角的确认授权按钮即可完成授权。

本节主要介绍归档数据直读。 您可以在创建桶时开启归档数据直读，也可以在已创建的桶中根据需要开启归档数据直读，详细操作步骤如下。 操作步骤 步骤 1 在OBS管理控制台桶列表中，单击待操作的桶，进入“对象”页面。 步骤 2 在左侧导航栏，单击“概览”，进入“概览”页面。 步骤 3 在“基础配置”区域下，单击“归档数据直读”卡片，系统弹出“归档数据直读”对话框。 步骤 4 选择“开启”。 步骤 5 单击“确定”。

本页重点介绍通过天翼云官网门户退订数据迁移实例的过程。 操作步骤 1、登入天翼云门户。 登录天翼云 2、进入数据传输服务DTS控制台。 在天翼云门户首页顶部菜单栏，点击“控制中心”进入【控制中心】页面。 在【控制中心】页面顶部的资源池下拉列表框中选择相应资源池（目前仅支持上海36/华东1/西南1 ），找到页面中的“数据库”服务列表，选择“数据传输服务DTS”，进入DTS控制台。 在控制台左侧菜单栏点击“数据迁移”，进入【数据迁移】实例列表页面。 3、在实例列表，选择目标实例，点击“更多”>“退订”。 在【数据迁移】实例列表页面中，点击需要退订的迁移实例的操作列中的“更多”下拉菜单，点击“退订”，跳转到【退订】页面。 注意 当实例状态为“开通中”和“续订中”时，退订菜单不能点击。 当实例为其他状态时“退订”菜单可点击。 4、点击确认，完成退订。 在【退订】页面，点击“确认”按钮，页面提示退订中。 过程需要消耗一段时间，退订成功后，原有实例将被“冻结”，退订后底层数据保留固定时间（以天为单位）。