本文将介绍导入任务提交界面,以及如何提交导入任务。数据管理服务支持多种格式和多种数据库类型的数据导入。 前提条件 操作用户拥有目标数据库/模式的导入权限。 当前组织处于基础版时，需要目标实例已是登录状态（若未登录则选择目标库/模式时会弹出登录窗口）。 注意事项 导入任务当前只支持对单实例单个数据库/模式或单表进行数据变更操作，暂不支持同时对多实例多个数据库/模式或单表进行相同文件的批量导入。 导入时SQL将分批执行，默认每批1000行，不保证事务。导入工单结束后，可到实例元数据功能查看库/模式或查询窗口查看表数据，查看表数据操作请查阅 打开表。 如果选择导入的文件类型为SQL，则以库/模式为目标导入，无法选择“目标表”和“导入方式”。如果选择导入的文件类型为CSV、TXT、EXCEL，且上传文件类型为zip，系统默认会自动识别匹配的表名（表名识别规则根据文件名格式，如： 数据导出表名yymmddhhmmss序号.csv），此时用户也可以手动选择导入单表。 MongoDB、DDS数据源，都需要选择目标集合导入。 MySQL、PostgreSQL数据源，选择的导入类型为TXT、CSV、EXCEL文件且上传非压缩文件时，可以选择“导入行为”是“新建表”，支持导入前自动建表。 导入工单的SQL规则审核结果保留最多7天（从工单执行开始算起） 操作步骤 1. 登录DMS控制台。 2. 在左侧导航栏，单击开发空间>数据导入 ，进入数据导入管理页面。 3. 单击数据导入 按钮，弹出数据导入工单填写弹窗，工单需要选择或输入的内容说明见下表1。 4. 填写完数据导入工单后，单击提交按钮，即完成工单的提交。 5. 当前组织处于基础版时，数据导入工单进入任务执行阶段。 6. 当前组织处于企业版时，数据导入工单依次进入预检查、审批流程、任务执行阶段。 7. 数据导入任务的工单状态，可在导入列表页面查看，如果导入失败，可点击详情 查看原因。更多详细操作请查看数据导入工单列表。 表1 工单输入内容说明 输入内容 说明 数据库类型 选择导入的数据库类型，支持MySQL、PostgreSQL、SQLServer、DRDS、MongoDB、DDS、ClickHouse、Oracle、MariaDB、OpenGauss、Doris。 目标数据库 选择数据导入的数据库/模式，数据来源于在DMS控制台中添加的数据库实例，其中MySQL、SQLServer、DRDS、MongoDB、DDS、ClickHouse、Oracle、MariaDB、OpenGauss、Doris可选择到库级别，PostgreSQL可选择到模式级别。当前仅支持单选一个目标库/模式。 注意 如果未登录目标库/模式对应的实例，则选中目标库/模式后会弹出该实例的登录窗口。 导入文件类型 选择导入数据的上传文件类型： SQL：目前支持DDL和DML语句，请每条SQL语句以英文分号 （;）收尾，并做好换行。 选择该文件类型则无法指定“目标表 ”和“写入方式”。 CSV：CSV文件中的分隔符为英文逗号，且文件第一行为表的列名称。 TXT：TXT文件格式与CSV类似，文件中的分隔符为英文逗号，且文件第一行为表的列名称。 JSON：仅支持MongoDB和DDS数据源。 EXCEL：支持.xls和.xlsx格式，当前支持选择某个sheet的内容导入。详见下方“导入Sheet”介绍。 以上文件类型支持打包上传.zip格式。 导入Sheet 当导入文件类型选择EXCEL以及上传文件格式为.xls和.xlsx时，可选择导入Sheet，默认选中第一个Sheet。 导入模式 当导入文件类型选择“SQL”时，可选择“导入模式”。 极速模式：不进行文件的扫描，只对数据源进行权限校验。 安全模式：整个SQL文件的扫描，安全性高但性能较差。 选择“安全模式”的工单，会在预检查阶段进行SQL风险和SQL规范检查（SQL风险和规范支持的数据库类型，详见SQL风险和SQL规范） 目标表 针对非MongoDB和DDS数据源，在选择目标数据库下，筛选导入的目标表。如果先上传zip文件，会出现“根据压缩包内文件名判断”字样，此时用户可手动选择仅导入到单表。 仅支持CSV/TXT/EXCEL格式导入。 文件编码 选择导入文件的编码类型： UTF8：默认选中。适用于大部分英文文本。 GBK：适用于文件中带有中文的情况。 自动识别：如果不能确定文件编码类型，可选该选项。 导入行为 针对MySQL和PostgreSQL数据源，在选择文件类型为CSV/TXT/EXCEL后，支持选择“新建表”，其余数据源类型默认为“现有表”。 选择“新建表”，系统会根据导入文件中的相关字段猜测您所需的建表结构，可点击新建表的表名称打开表结构编辑页面。 注意 当前“新建表”的表结构编辑，暂不支持数据库的自定义类型作为表字段类型。新建表字段类型与导入文件是否成功密切相关，如选择“新建表”请认真检查表结构是否符合需求。 写入方式 针对非MongoDB和DDS数据源，选择导入文件的写入方式： INSERT INTO：插入数据，数据库会检查主键（PrimaryKey），如果出现重复会报错。 INSERT IGNORE INTO：插入数据，数据库会检查主键（PrimaryKey），如果表中已经存在相同的记录，则忽略当前新数据。 REPLACE INTO：插入替换数据，数据库会检查主键（PrimaryKey），如果数据库已经存在数据，则用新数据替换，如果没有数据效果则和INSERT INTO一样。 注意 为保证导入文件时数据库的性能，请尽可能选择INSERT操作。 目前MySQL数据库类型支持INSERT INTO，INSERT IGNORE INTO，REPLACE INTO这3种导入方式，PostgreSQL数据库类型支持INSERT INTO的导入方式，SQLServer数据库类型支持INSERT INTO的导入方式。 数据位置 当选择文件类型为CSV/TXT/EXCEL时，可选择文件首行属性是列名或者数据。 目标集合 针对MongoDB和DDS数据源，在选择目标数据库下，筛选导入的目标集合。如果先上传zip文件，会出现“根据压缩包内文件名判断”字样，此时用户可手动选择仅导入到单集合。仅支持JSON和CSV导入。 附件上传 单击上传文件，上传选中文件类型对应的文件。 注意 支持SQL，CSV，TXT，JSON，EXCEL五种文件格式，上传前请检查文件名后缀是否符合要求。 仅支持上传单个文件，且不可超过5GB（ZIP内单个文件解压后，也不可超过5GB）。 当导入文件类型选择EXCEL以及上传文件格式为.xls和.xlsx时，可选择导入Sheet，默认选中第一个Sheet。 工单说明 描述工单备注内容。该内容将展示在工单详情弹窗页。

空间分析可以直观地查看数据库实例的空间使用概况、空间剩余可用天数,以及数据库中Top表的空间使用情况、空间碎片、Top库空间使用情况、空间异常诊断等,可以根据分析内容进行判断磁盘是否需要扩容以及碎片整理、索引的合理性等。 前提条件 仅限来源为天翼云RDS的MySQL数据库。 仅支持西南1、华东1、上海36、华北2、长沙42、华南2、青岛20、南昌5、西安7、杭州7资源池。 已录入DMS中，且实例状态正常的数据库实例。 操作步骤 1. 登录数据管理服务。 2. 在左侧导航栏中，单击 智能运维 > 空间分析，进入空间分析界面。 注意事项 实例纳管至DMS后，默认开启空间分析数据采集，默认采集频率为6小时。 支持用户关闭空间分析数据采集，关闭后，将无法查看最新的空间分析数据。 空间分析数据采集频率支持更改为15分钟、30分钟、1小时、6小时、12小时、24小时。 功能介绍 空间分析可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中Top表的空间使用情况、空间碎片、Top库空间使用情况、空间异常诊断等。 磁盘空间概况：磁盘剩余量、使用量、近一周日均增长量、预计可用天数。 磁盘空间变化趋势：数据空间变化趋势、磁盘使用量变化趋势，最大可支持查看近30天磁盘空间变化。 Top表分析：Top20表总占用空间、数据空间、索引空间、碎片空间、碎片率、行数、平均行长度，支持下载、以及查看数据变化趋势。 Top库分析：Top20总占用空间、库数据空间、索引空间分析，支持下载、以及查看数据变化趋势。 问题分析：分析存在多列索引、未使用索引、冗余索引、未分区大表等异常情况的表。 表检索：可实时查看指定库下的表空间信息。

参数名 参数说明（导入DLI/POSTGRESQL/DWS/MRSHIVE类型的表） 所属主题 需填写已有的主题的编码路径，以/分隔。如果您未新建主题信息，请参见 逻辑实体名称 表名称，只能包含中文、英文字母、数字、左右括号、中划线和下划线，且以中文和英文字母开头。 表名称 表英文名称，只能包含英文字母、数字、下划线、$、{、}，且不能以数字开头。 表别名 用户在配置中心打开了“表别名”时显示此项，名称别名。 表级标签 给表添加的标签，请输入已有的标签或新的标签名称。您也可以先前往DataArts Studio数据目录模块的“标签管理”页面添加标签，然后再回到此处设置相应的标签。添加标签的具体操作，请参见 描述 表的描述信息。 资产责任人 需输入DataArts Studio实例当前工作空间中的用户名。只有工作空间管理员或开发者、运维者角色的用户才可以设置为责任人。 数据连接类型 支持以下连接类型：DLI、POSTGRESQL、DWS、MRSHIVE。 表类型 DLI模型的表支持以下表类型： Managed：数据存储位置为DLI的表。 External：数据存储位置为OBS的表。当“表类型”设置为External时，需设置“OBS路径””参数。 DLIVIEW：该类型只支持导入，不支持在控制台页面创建。 DWS模型的表支持以下表类型： DWSROW：行类型。 DWSCOLUMN：列类型。 DWSVIEW：视图类型。 MRSHIVE模型的表不支持该参数。 OBS路径 DLI模型的表类型为DLIEXTERNAL时，需填写与表相关联的存放源数据的OBS路径。OBS路径格式如：bucketname/filepath。 数据格式 该参数仅DLI模型的表有效。 表类型为DLIMANAGED的表支持的数据格式有： Parquet、Carbon。 表类型为DLIEXTERNAL的表支持的数据格式有： Parquet、Carbon、CSV、ORC、JSON、Avro。 表所属的数据连接 输入已创建的数据连接名称。 表所属的数据库 输入已创建的数据库名称。 数据连接扩展信息 连接类型为DLI时，输入DLI队列名称。连接类型为DWS或POSTGRESQL时，输入Schema名称。 属性名称（CHN） 表中的属性字段的中文名称。只能包含中文、英文字母、数字、左右括号、中划线和下划线，且以中文或英文字母开头。 属性名称（ENG） 表中的属性字段的英文名称。只能包含英文字母、数字和下划线，且以英文字母开头。 顺序 属性字段在表中的顺序，从1开始。可以不填，不填时属性字段默认按模板中的顺序在表中排列。 属性描述 属性字段的描述信息。 数据类型 不同的数据连接类型支持的数据类型不一样，请参见 数据长度 对于不定长的数据类型，如果所指定的数据连接类型支持对其指定数据长度，请指定数据长度。 例如，DWS连接类型，如果字段类型为CHAR(10)，需要在“数据类型”中填写“CHAR”，在“数据长度”中填写“10”。 是否分区 填写“Y”表示该字段为分区字段，填写“N”表示不是分区字段。 是否主键 填写“Y”表示该字段为主键，填写“N”表示不是主键。 不为空 填写“Y”表示该字段不为空，填写“N”表示字段允许为空。 引用的数据标准编码 填写需要引用的数据标准的编码，也可以不填。如果未创建数据标准，请参见 属性标签 为属性字段添加的标签，请输入已有的标签或新的标签名称。您也可以先前往DataArts Studio数据目录模块的“标签管理”页面添加标签，然后再回到此处设置相应的标签。添加标签的具体操作，请参见 其他配置 为JSON格式，用于存放表额外配置信息。格式如下：{"optionname1": "value","optionname2": "value"……}例如：{"a1": "100","a2": "30"} 版本号 可选参数。

操作场景 如果云硬盘的数据发生错误或者损坏，可以回滚快照数据至创建该快照的云硬盘，从而恢复数据。 注意 回滚云硬盘后，所有在该快照之后做的更改都会丢失。 约束与限制 只支持回滚快照数据至源云硬盘，不支持快照回滚到其它云硬盘。 当快照在创建中时，不支持使用快照回滚数据至云硬盘。 开头为“autobksnapshotvbs”、“manualbksnapshotvbs”、“autobksnapshotcsbs”、“manualbksnapshotcsbs”的快照，是创建备份时系统自动生成的快照。该快照仅支持查看详细信息，无法用于回滚数据。 前提条件 回滚云硬盘前，已为云硬盘创建云硬盘快照。 当源云硬盘状态为“可用”（即未挂载给云服务器，如果云硬盘已挂载至云服务器，需要先卸载云硬盘）或者“回滚数据失败”时，才可以执行该操作。 使用快照回滚数据至云硬盘 1. 登录管理控制台。 2. 单击页面左上角“”，选择“存储 > 云硬盘”。进入云硬盘页面。 3. 在左侧导航栏，选择“云硬盘 > 快照”。进入“快照”页面。 4. 在快照列表中，找到目标快照并单击快照所在行的“操作”列下的“回滚数据”。 5. 在弹出的对话框中，只有当快照的状态为“可用”，并且源云硬盘状态为“可用”或者“回滚数据失败”时，才可以单击“确定”。返回快照列表页面，当快照状态由“正在回滚”变为“可用”时，表示回滚数据成功。

本章节主要介绍如何使用Logstash导入数据到Elasticsearch。 云搜索服务支持使用Logstash将其收集的数据迁移到Elasticsearch中，方便用户通过Elasticsearch搜索引擎高效管理和获取数据。数据文件支持JSON、CSV等格式。 Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到Elasticsearch中。 数据导入分为如下2种场景： Logstash部署在外网时导入数据。 Logstash部署在弹性云主机上时导入数据。 前提条件 为方便操作，建议采用Linux操作系统的机器部署Logstash。 说明 Logstash要求使用OSS版本，选择和ES一致版本。 安装完Logstash后，再根据如下步骤导入数据。安装Logstash的操作指导，请参见： 安装Logstash之前，需要先安装JDK。在Linux操作系统中，您可以执行yum y install java1.8.0命令直接安装1.8.0版本JDK。在Windows操作系统中，您可以访问JDK官网： ，下载符合操作系统版本的JDK，并根据指导安装。 在“ Logstash部署在弹性云主机上时导入数据 ”场景中，请确保此弹性云主机与接入的Elasticsearch集群在同一个VPC下。 Logstash部署在外网时导入数据 当Logstash部署在外网时，导入数据的流程说明如下图所示。 Logstash部署在外网时导入数据示意图 1.创建一个跳转主机，并按如下要求进行配置。 跳转主机为一台Linux操作系统的弹性云主机，且已绑定弹性IP。 跳转主机与ES集群在同一虚拟私有云下。 已开放跳转主机的本地端口，用于SSH转发，能够从本地端口转发至ES集群某一节点的9200端口。 关于跳转主机的本地端口转发配置，请参见SSH官方文档。 2.使用PuTTY，通过弹性IP登录已创建的跳转主机。 3.执行如下命令进行端口映射，将发往跳转主机对外开放端口的请求转发到待导入数据的集群中。 ssh g L N f root@ 说明 跳转主机的本地端口> ：为步骤 1 中的端口 。 节点的内网访问地址和端口号> ：为集群中某一节点的内网访问地址和端口号。当该节点出现故障时，将导致命令执行失败。如果集群包含多个节点，可以将 替换为集群中另一节点的内网访问地址和端口号；如果集群只包含一个节点，则需要将该节点修复之后再次执行命令进行端口映射 。 跳转主机的私网IP 地址 >：打开弹性云主机管理控制台，从“IP地址”列中获取标有“私网”对应的IP地址 。 例如：跳转主机对外开放的端口号为9200，节点的内网访问地址和端口号为192.168.0.81:9200，跳转主机的私网IP地址为192.168.0.227，需要执行如下命令进行端口映射。 ssh g L 9200:192.168.0.81:9200 N f root@192.168.0.227 4.登录部署了Logstash的服务器，将需要进行操作的数据文件存储至此服务器中。 例如，需要导入的数据文件“access20181029log”，文件存储路径为“/tmp/accesslog/”，此数据文件中包含的数据如下所示： All Heap used for segments 18.6403 MB All Heap used for doc values 0.119289 MB All Heap used for terms 17.4095 MB All Heap used for norms 0.0767822 MB All Heap used for points 0.225246 MB All Heap used for stored fields 0.809448 MB All Segment count 101 All Min Throughput indexappend 66232.6 docs/s All Median Throughput indexappend 66735.3 docs/s All Max Throughput indexappend 67745.6 docs/s All 50th percentile latency indexappend 510.261 ms 5.在部署Logstash的服务器中，执行如下命令在Logstash的安装目录下新建配置文件logstashsimple.conf。 cd / / vi logstashsimple.conf 6.在配置文件logstashsimple.conf中输入如下内容。 input { 数据所在的位置 } filter { 数据的相关处理 } output { elasticsearch { hosts > " : " } } input：指明了数据的来源。实际请根据用户的具体情况来设置。 filter：指定对数据进行处理的方式。例如，对日志进行了提取和处理，将非结构化信息转换为结构化信息。 output：指明了数据的目的地址。 请从弹性云主机管理控制台的“IP地址”列中获取标有“弹性公网”对应的IP地址。 即为步骤1中的端口，例如：9200。 以步骤4中“/tmp/accesslog/”的数据文件为例，输入数据文件从首行开始，且过滤条件保持为空，即不做任何数据处理操作。跳转主机的公网IP和端口号为“192.168.0.227:9200”。导入数据的索引名称为“myindex”。配置文件的示例如下所示，配置文件按实际数据情况修改完成后，输入“:wq”保存。 input { file{ path > "/tmp/accesslog/" startposition > "beginning" } } filter { } output { elasticsearch { hosts > "192.168.0.227:9200" index > "myindex" documenttype > "mytype" } } 说明 如果在使用中出现license相关的报错，可以尝试设置ilmenabled>false 。 如果集群开启了安全模式，则需要先下载证书。 a. 在集群基本信息页面下载证书。 详见下图：下载证书 b. 将下载的证书存放到部署logstash服务器中。 c. 修改配置文件logstashsimple.conf。 以步骤4中“/tmp/accesslog/”的数据文件为例，输入数据文件从首行开始，且过滤条件保持为空，即不做任何数据处理操作。跳转主机的公网IP和端口号为“192.168.0.227:9200”。导入数据的索引名称为“myindex”，证书存放路径为“/logstash/logstash6.8/config/CloudSearchService.cer”。配置文件的示例如下所示，配置文件按实际数据情况修改完成后，输入“:wq”保存。 input{ file { path > "/tmp/accesslog/" startposition > "beginning" } } filter { } output{ elasticsearch{ hosts > [" index > "myindex" user > "admin" password > "" cacert > "/logstash/logstash6.8/config/CloudSearchService.cer" } } 说明 password：登录安全集群的密码。 7.执行如下命令将Logstash收集的数据导入到集群中。 ./bin/logstash f logstashsimple.conf 8.登录云搜索服务管理控制台。 9.在左侧导航栏中，选择“集群管理”，进入集群列表页面。 10.在集群列表页面中，单击待导入数据的集群“操作”列的“Kibana”。 11.在Kibana的左侧导航中选择“Dev Tools”，单击“Get to work”，进入Console界面。 12.在已打开的Kibana的Console界面，通过搜索获取已导入的数据。在Kibana控制台，输入如下命令，搜索数据。查看搜索结果，如果数据与导入数据一致，表示数据文件的数据已导入成功。 GET myindex/search

本节介绍为什么WAF、HSS中的数据和SA中的数据不一致。 由于SA中汇聚WAF和HSS上报的所有历史告警数据，而WAF和HSS中展示的是实时告警数据，导致存在SA与WAF、HSS中数据不一致的情况。 因此，建议您前往对应服务（WAF或HSS）进行查看并处理。

本章节主要介绍如何使用Kibana或API导入数据到Elasticsearch。 云搜索服务支持使用Kibana或者API将数据导入到Elasticsearch中，数据文件支持JSON、CSV等格式。 使用Kibana导入数据 在导入数据之前，您可以使用Kibana接入集群。如下操作步骤介绍如何使用POST命令导入数据。 1.登录Kibana Console页面，详细操作请参见接入集群章节中的 在管理控制台通过Kibana接入集群。 首次登录时，需要在Kibana的左侧导航中选择“Dev Tools”，单击“Get to work”，进入Console界面。非首次登录可单击“Dev Tools”直接进入Kibana Console页面。 2.（可选）在Console界面，执行命令创建待存储数据的索引，并指定自定义映射来定义数据类型。 如果待导入数据的集群已存在可用的索引，则不需要再创建索引；如果待导入数据的集群不存在可用的索引，则需要参考如下示例创建索引。 例如：在Console界面，执行如下命令，创建索引“mystore”，并指定自定义映射来定义数据类型。 7.x之前版本 PUT/mystore { "settings": { "numberofshards": 1 }, "mappings": { "products": { "properties": { "productName":{ "type":"text" }, "size": { "type":"keyword" } } } } } 7.x之后版本 PUT/mystore { "settings": { "numberofshards": 1 }, "mappings": { "properties": { "productName": { "type":"text" }, "size": { "type":"keyword" } } } } 3.在Console界面的右侧文本框中输入要导入数据的POST命令，以导入一条数据为例，执行如下命令。 7.x之前版本 POST/mystore/products/bulk {"index":{}} {"productName":"Latest art shirts for women in 2017 autumn","size":"L"} 7.x之后版本 POST/mystore/bulk {"index":{}} {"productName":"Latest art shirts for women in 2017 autumn","size":"L"} 返回结果如下图所示，当返回结果信息中“errors”字段的值为“false”时，表示导入数据成功。 详见下图：返回消息

本节包含使用DAS的导出和导入功能迁移RDS for PostgreSQL数据的相关内容。 操作场景 当进行数据备份或迁移时，支持使用数据管理服务的数据导出功能，获取完整的数据信息，再将数据从本地或者从OBS桶导入目标数据表。 约束限制 导出或导入数据时，请谨慎，避免因操作不当导致实例或业务异常。 导入单文件大小最大可达1GB。 暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。 RDS for PostgreSQL实例表数量超过10万时，使用DAS的“导出数据库”功能会报错表数量过多，无法导出数据。此时请使用“导出SQL结果集”功能。 导出数据 步骤 1 登录管理控制台。 步骤 2 单击管理控制台左上角的 ，选择区域。 步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 步骤 4 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务实例登录界面。 步骤 5 正确输入数据库用户名和密码，单击“登录”，即可进入您的数据库并进行管理。 步骤 6 在顶部菜单栏选择“导入·导出”>“导出”。 步骤 7 在导出页面，单击左上角“新建任务”，您可根据需要选择“导出数据库”或“导出SQL结果集”。下文以导出数据库为例，导出SQL集同理。 您也可通过单击“快速导出”，选择目标数据库，在创建快速导出任务弹窗中选择存储位置，并单击“确定”。 步骤 8 在导出数据库弹出页面，您可按需选填“基本信息”及“高级选项”，并在页面右侧选择需要导出的表。 说明 SQL结果集导出任务中，执行SQL的最大限制是5M。 数据库分用户库和系统库，系统库不支持导出功能。如需导出，您需把创建用户数据库，业务部署到用户库，然后再执行导出操作。 DAS在执行导出操作时，会连接到您的备库进行导出，可以有效规避导出时对主库的性能影响，但当备库复制延迟较大时，会存在“导出的数据不是最新数据“的可能性。 步骤 9 设置完导出任务信息，单击弹出页面下部“确定”，创建导出任务。 步骤 10 在导出任务列表页面，您可查看任务ID、任务类型、任务状态、进度等信息。 步骤 11 您可在列表操作栏，单击“查看详情”，在任务详情弹出页面，查看本次导出任务执行的详情信息。 结束

DSC的数据脱敏支持静态脱敏和动态脱敏。 数据安全中心DSC的数据脱敏不仅支持静态脱敏，还支持动态脱敏。您可以对指定数据配置脱敏规则实现敏感数据静态脱敏，您还也可以使用数据动态脱敏的API接口实现数据的动态脱敏，确保敏感信息不被泄露。 静态脱敏是一种一次性完成大批量数据的变形转换处理的方式，通常用于将生产环境中的敏感数据交付至开发、测试或外发环境等情况下。它适用于开发测试、数据分享、数据研究等场景。您可以通过DSC控制台创建脱敏任务，快速实现数据库和大数据的脱敏。 脱敏算法 脱敏算法 脱敏方式说明 使用场景 Hash脱敏 使用Hash函数对敏感数据进行脱敏。支持SHA256和SHA512。 SHA256 将数据库表中字符串类型字段的内容用其SHA256的摘要值代替。 该算法执行完后，结果的长度可能超过原表中列允许的最大长度。该算法按照SHA256输出长度调整列的长度。 SHA512 将数据库表中字符串类型字段的内容用其SHA512的摘要值代替。 该算法执行完后，结果的长度可能超过原表中列允许的最大长度。该算法按照SHA512输出长度调整列的长度。 敏感类型：密钥类 适用场景：数据存储 加密脱敏 通过加密算法和加密主密钥生成一种加密配置，达到数据脱敏的效果。加密脱敏的结果中，初始向量IV为加密字符串的前16个字节，剩余部分是加密的密文。 DSC支持AES128、AES192和AES256三种加密算法。 敏感类型： 个人敏感 企业敏感 适用场景：数据存储 字符掩盖 使用指定字符或随机字符（随机字符包含随机数字、随机字母、随机数字字母三种类型）方式遮盖部分内容。 支持以下六种脱敏方式：保留前n后m、保留自x至y、遮盖前n后m、遮盖自x至y、特殊字符前遮盖、特殊字符后遮盖。 说明 敏感数据保护服务中已预置多种字符脱敏模板。 敏感类型：个人敏感 适用场景： 数据使用 数据分享 关键字替换 在指定列中查找关键词并替换。 例如，目标字符串为“张三在家吃饭”，算法执行完后映射为“张先生在家吃饭”，其中指定将“张三”替换为“张先生”。 该算法执行完后，结果的长度可能超过数据库允许的最大长度。该算法将超出部分截断后插入数据库。 敏感类型： 个人敏感 企业敏感 设备敏感 适用场景： 数据存储 数据分享 删除脱敏 将指定字段设置为Null或空值进行脱敏。 Null脱敏 将任意类型字段设置为NULL。 对于列属性设置为“NOT NULL”的字段，该算法在拷贝时将该列属性修改为“NULL”。 空值脱敏 将指定字段内容设置为空值。 具体来说，将字符型的字段设置为空串，数值类的字段设置为0，日期类的字段设置为1970，时间类的字段设置为零点。 敏感类型： 个人敏感 企业敏感 设备敏感 适用场景： 数据存储 数据分享 取整脱敏 针对日期或数字特定参数进行取整运算。 日期取整 年之后字段全部取整。示例：“20190512 > 20190101”或“20190512 08:08:08 > 20190101 00:00:00” 月之后字段全部取整。示例：“20190512 > 20190501”或“20190512 08:08:08 > 20190501 00:00:00” 日之后字段全部取整。示例：“20190512 > 20190512”或“20190512 08:08:08 > 20190512 00:00:00” 小时之后字段全部取整。示例：“08:08:08 > 08:00:00”或“20190512 08:08:08 > 20190512 08:00:00” 分钟之后字段全部取整。示例：“08:08:08 > 08:08:00”或“20190512 08:08:08 > 20190512 08:08:00” 秒之后字段全部取整。示例：“08:08:08.123 > 08:08:08.000”或“1575612731312 > 1575612731000” 数字取整 针对指定数字进行取整运算。 敏感类型：通用敏感 适用场景： 数据存储 数据使用

本章节为您介绍数据识别相关内容。 数据识别模块包含数据标签和敏感数据两个子模块。主要功能是将 API 响应体解析后 ，根据标签对敏感数据进行识别，并展示识别到的敏感数据。 数据识别 API安全网关系统内置25个敏感数据标签，可识别身份证、手机号、邮箱、银行卡等敏感数据，并且支持用户自定义添加标签和识别规则。 新增标签 1.登录API安全网关。 2.在左侧导航栏选择“数据识别 > 数据标签”，进入数据标签页面，即可查看系统内现有的标签。 说明 列表默认展示标签名称、分类、分级、来源、描述。 来源为“系统内置”的标签不允许删除和编辑识别规则。 3.单击页面左上角的“新增”按钮，即可开始新增标签。 字段 说明 标签名称 自定义标签名称，名称不可重复。 启用状态 默认启用，可禁用；禁用后不识别该标签。 分类 默认未分类，可下拉选择内置分类。 分级 默认未分级，可下拉选择内置分级。 描述 自定义描述说明。 识别规则—正则表达式 填写正则表达式，系统可根据正则表达式识别标签。 4.填写完成后单击“保存”即可完成标签新增。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

操作 KMS Administrator KMS CMKFullAccess 创建密钥 √ √ 启用密钥 √ √ 禁用密钥 √ √ 计划删除密钥 √ √ 取消计划删除密钥 √ √ 修改密钥别名 √ √ 修改密钥描述 √ √ 创建随机数 √ √ 创建数据密钥 √ √ 创建不含明文数据密钥 √ √ 加密数据密钥 √ √ 解密数据密钥 √ √ 获取密钥导入参数 √ √ 导入密钥材料 √ √ 删除密钥材料 √ √ 创建授权 √ √ 撤销授权 √ √ 退役授权 √ √ 查询授权列表 √ √ 查询可退役授权列表 √ √ 加密数据 √ √ 解密数据 √ √ 查询密钥实例 √ √ 查询密钥标签 √ √ 查询项目标签 √ √ 批量添加删除密钥标签 √ √ 添加密钥标签 √ √ 删除密钥标签 √ √ 查询密钥列表 √ √ 查询密钥信息 √ √ 查询实例数 √ √ 查询配额 √ √

参数名称 说明 字段名称 只能包含中文、英文字母、数字、左右括号、中划线和下划线，且以中文和英文字母开头。 维度属性的字段会自动显示所添加的维度的代理键名称，一般不需要修改。 字段英文名称 只能以英文字母开头，支持英文字母、数字、下划线。 数据类型 显示该维度的数据类型。 主键 选中时表示该字段为主键。 分区 选中时表示该字段为分区字段。 不为空 是否限制该字段不为空。 关联数据标准 如果您已创建数据标准，在“数据标准”列，单击按钮 可以选择一个数据标准与字段相关联。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下，将字段关联数据标准后，表发布上线后，就会自动生成一个质量作业，每个关联了数据标准的字段会生成一个质量规则，基于数据标准对字段进行质量监控，您可以前往DataArts Studio数据质量模块的“质量作业”页面进行查看。 如果您还未创建数据标准，请参见 关联维度 只有维度属性的字段需要绑定维度，度量属性的字段不需要进行此操作。 显示当前关联的维度名称。单击 可以更换关联的维度。 角色 只有维度属性的字段被添加多次时需要设置角色区分，度量属性的字段不需要进行此操作。 当同一个维度被添加多次时，需要设置不同的角色来加以区分。 描述 描述信息。

态势感知的数据来源。 态势感知（专业版）基于云上威胁数据和云服务采集的威胁数据，通过大数据挖掘和机器学习，分析并呈现威胁态势，并提供防护建议。 一方面采集全网流量数据，以及安全防护设备日志等信息，通过大数据智能AI分析采集的信息，呈现资产的安全状况，并生成相应的威胁告警。 另一方面汇聚企业主机安全（Host Security Service，HSS）、Web应用防火墙（Web Application Firewall，WAF）等安全防护服务上报的告警数据，从中获取必要的安全事件记录，进行大数据挖掘和机器学习，智能AI分析并识别出攻击和入侵，帮助用户了解攻击和入侵过程，并提供相关的防护措施建议。 态势感知（专业版）通过对多方面的安全数据的分析，为安全事件的处置决策提供依据，实时呈现完整的全网攻击态势。

本文介绍数据导入工单列表页相关操作。数据导入工单列表支持查看导入任务的工单状态与结果。 前提条件 DMS用户拥有进入数据导入管理页面的菜单权限。 注意事项 数据导入工单列表页仅展示自己提交的工单。 操作步骤 1. 登录数据管理服务DMS。 2. 在左侧导航栏，点击开发空间>数据导入 ，进入数据导入工单列表页。 数据导入工单列表页功能介绍 工单查询 输入查询条件后点击查询按钮，执行查询操作。 支持的查询条件： 工单状态：下拉列表选择工单状态。 时间范围：某一时间段创建或执行的导入工单。 关键词：可输入工单号/库名/创建人相关关键字。 数据导入 点击数据导入按钮可添加新的数据导入任务，详见提交导入任务。 重试 针对异常的工单，可以根据异常原因，进行选择是否需要重试，点击重试按钮即可进行重试。 注意 重试操作并不会更改配置，请考虑重试是否可能成功后再点击按钮。 详情 在工单列表找到目标工单，点击工单号或在操作列点击详情按钮，在打开的工单详情页面可查看目标工单的详细信息。 数据导入工单详情页面，包含基础信息、任务状态、预检查、审批流程四个部分。 基础信息 以下表格为基础信息部分的说明： 内容 说明 工单类型 展示工单是导入或导出类型。 创建人 导入任务的创建用户。 工单状态 展示工单当前状态。 工单号 系统生成的工单唯一id。 创建时间 工单保存到系统的时间。 最后操作时间 工单状态最后更新时间。 库/模式信息 导入任务对应的目标库/模式信息。 导入文件类型 导入的文件格式类型，可在创建工单任务时选择。 写入方式 导入任务的写入方式，可在创建工单任务时选择。 工单说明 备注信息，可在创建工单任务时填写。

本章节介绍如何使用ZooKeeper导入和导出数据 概述 ZooKeeper提供通过快照（Snapshot）导入数据，同时支持导出快照（Snapshot）和事务日志（Transaction log）文件。本文介绍如何使用ZooKeeper导入和导出数据。 前提条件 已开通微服务引擎MSE，参考章节：创建ZooKeeper引擎 开通ZooKeeper实例并且状态正常。 操作步骤 1. 登录微服务引擎MSE注册配置中心管理控制台，选择资源池。 2. 在左侧导航栏，选择注册配置中心 > 实例列表。 3. 在实例列表页面，单击目标实例ID、实例名称或者目标行“管理”按钮均可跳转至实例基础信息页面。 4. 在左侧导航栏，选择数据管理> Znode管理 > 数据导入导出。 数据导出 在Znode管理中，点击数据导出按钮，选择导出的数据类型，目前仅支持导出最新的快照文件和最新的3个事务日志文件。导出过程预计需要2到5分钟，导出完毕后可以在下载列表获取文件。 点击下载按钮，即可下载相关文件的压缩包。如果导出失败，请按照报错信息及提示重新操作导出。 数据导入 单击导入后，选中要导入的快照文件进行导入，目前仅支持Snapshot格式的快照文件导入，请注意导入文件格式。考虑容量安全问题，数据导入功能目前限制导入的文件大小为200M。 导入文件会导致集群短暂不可用，原本集群的数据将被重置，集群将重新选主。

指标分类 指标名称 指标说明 磁盘占用率 实例数据磁盘使用量 该指标用于统计测量对象的实例数据磁盘已使用大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘总量 该指标用于统计测量对象的实例数据磁盘总大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘使用率 该指标用于统计测量对象的实例数据磁盘已使用百分比，该值为实时值。 (单位：%) 负载 死锁次数 该指标用于统计数据库发生事务死锁的次数，取该时间段的增量值。 (单位：次) 负载 80% SQL的响应时间 该指标用于统计数据库80% SQL的响应时间，该值为实时值。 (单位：us) 负载 95% SQL的响应时间 该指标用于统计数据库95% SQL的响应时间，该值为实时值。 (单位：us) 内核资源 buffer命中率 该指标用于统计数据库buffer命中率。 (单位：%)

态势感知的数据来源。 态势感知基于云上威胁数据和云服务采集的威胁数据，通过大数据挖掘和机器学习，分析并呈现威胁态势，并提供防护建议。 一方面采集全网流量数据，以及安全防护设备日志等信息，通过大数据智能AI分析采集的信息，呈现资产的安全状况，并生成相应的威胁告警。 另一方面汇聚企业主机安全（Host Security Service，HSS）等安全防护服务上报的告警数据，从中获取必要的安全事件记录，进行大数据挖掘和机器学习，智能AI分析并识别出攻击和入侵，帮助用户了解攻击和入侵过程，并提供相关的防护措施建议。 态势感知通过对多方面的安全数据的分析，为安全事件的处置决策提供依据，实时呈现完整的全网攻击态势。

标准快照容量计算原理 云硬盘的快照总容量以快照链（一块云硬盘中所有快照组成的关系链）为单位进行统计，统计当前云硬盘所有快照的数据块占用的存储空间。云硬盘的单个快照容量不会超过云硬盘容量，但是随着快照的增加，快照链容量可能会大于云硬盘容量。 快照链增加快照容量计算 以下图中的场景为例，假设快照的数据块为固定大小2MiB，那么快照链增加快照后的容量计算如下： 创建快照1时，云硬盘的快照链中仅有快照1，快照链容量 快照1容量 数据块A容量 + 数据块B容量 + 数据块C容量 6MiB 创建快照2时，云硬盘的快照链中有快照1、快照2，快照链容量 快照1容量 + 快照2容量 6MiB + （数据块A1容量 + 数据块B1容量 + 数据块D容量） 12MiB 创建快照3时，云硬盘的快照链中有快照1、快照2、快照3，快照链容量 快照1容量 + 快照2容量 + 快照3容量 6MiB + 6MiB +（数据块A2容量 + 数据块C1容量 + 数据块E容量） 18MiB 快照链删除快照容量计算 删除快照时，会遍历快照元数据文件中的所有数据块信息，如下图所示，遵循以下删除原则： 数据块被下一个快照继承，该数据块不能删除。 数据块没有被下一个快照继承： 继承数据块：如果上一个快照未被删除，那么该继承数据块不能删除；否则可以删除。 修改数据块：可以删除。 新增数据块：可以删除。 以下通过举例说明删除快照后快照链容量计算。 以图65中的场景为例，在14:00删除快照2，在15:00删除快照3，那么快照链删除快照后的容量计算如下： 删除快照前，快照链容量 快照1容量 + 快照2容量 + 快照3容量 18MiB 14:00删除快照2，遍历快照2元数据文件中的所有数据块信息： 数据块A1：没有被快照3继承，且为快照1中的数据块A修改而来（修改数据块），因此数据块A1可以删除。 数据块B1：被快照3继承，数据块B1不能删除。 数据块C：没有被快照3继承，但继承于快照1（继承数据块）且快照1未被删除，因此数据块C不能删除。 数据块D：被快照3继承，因此数据块D不能删除。 删除快照2后，快照链容量 18MiB 数据块A1容量 16MiB 15:00删除快照3，遍历快照3元数据文件中的所有数据块信息： 数据块A2：没有被下一快照继承，且为快照2中的数据块A1修改而来（修改数据块），因此数据块A2可以删除。 数据块B1：没有被下一快照继承，但继承于快照2且快照2已被删除，因此数据块B1可以删除。 数据块C1：没有被下一快照继承，且为快照2中的数据块C修改而来，因此数据块C1可以删除。 数据块D：没有被下一快照继承，但继承于快照2且快照2已被删除，因此数据块D可以删除。 数据块E：没有被下一快照继承，且为快照3新增数据块，因此数据块E可以删除。 删除快照3后，快照链容量 16MiB 数据块A2容量 数据块B1容量 数据块C1容量 数据块D容量 数据块E容量 6MiB

本章节主要介绍数据治理中心的新建连接功能。 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。 不同类型的数据源，创建连接时的配置参数也不相同，本章节指导用户根据数据源类型创建对应的连接。 约束限制 当所连接的数据源发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 1. 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 2. 如果目标数据源为云上服务（如DWS、MRS及ECS等），则网络互通需满足如下条件： ①CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ②CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见《虚拟私有云》帮助文档中的“添加路由信息”章节，配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组 > 添加安全组规则”章节。 ③此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码，且该用户拥有数据导入、导出的操作权限。 使用Agent时需用主账户给子账户赋予CDM操作权限。

密钥类型 算法类型 密钥规格 说明 用途 对称密钥 AES AES256 AES对称密钥 小量数据的加解密或用于加解密数据密钥。 对称密钥 SM4 SM4 国密SM4对称密钥 小量数据的加解密或用于加解密数据密钥。 非对称密钥 RSA RSA204 8RSA3072 RSA4096 RSA非对称密钥 小量数据的加解密或数字签名。 非对称密钥 ECC ECP25 6ECP384 椭圆曲线密码，使用NIST推荐的椭圆曲线 数字签名。 非对称密钥 SM2 SM2 国密SM2非对称密钥 小量数据的加解密或数字签名。

密钥类型 算法类型 密钥规格 说明 用途 对称密钥 AES AES256 AES对称密钥 小量数据的加解密或用于加解密数据密钥。 对称密钥 SM4 SM4 国密SM4对称密钥 小量数据的加解密或用于加解密数据密钥。 非对称密钥 RSA RSA2048、RSA3072、RSA4096 RSA非对称密钥 小量数据的加解密或数字签名。 非对称密钥 ECC ECP256、ECP384 椭圆曲线密码，使用NIST推荐的椭圆曲线 数字签名 非对称密钥 SM2 SM2 国密SM2非对称密钥 小量数据的加解密或数字签名。

本文帮助您了解对象存储数据回源功能及其分类。 当用户访问的数据在对象存储（简称ZOS）存储桶中不存在时，会直接返回404错误。如果您配置了数据回源功能，则可以通过数据回源规则从源站访问到对应的数据。 数据回源分为镜像回源和重定向两类，区别如下： 镜像回源 当用户访问ZOS中不存在的资源时，ZOS会根据预先配置的回源规则，向指定的源站抓取对应的资源，并将其转发给客户端。同时在后台会生成回源任务，将源站数据保存至ZOS中。这样的机制使得用户在无感知的情况下可以将业务从源站无缝迁移到ZOS上，实现平稳过渡和高效迁移。回源规则的灵活配置为业务迁移和资源访问提供了便利，同时保证了数据的安全性和一致性。 重定向回源 当用户访问桶并发生指定错误时，ZOS会根据预先设定的回源规则生成新的URL，并将用户的请求重定向到该新的URL。客户端会根据重定向的URL重新发起访问请求，而ZOS本身并不存储源站数据。 这种机制允许ZOS在符合特定条件时将用户请求转发到指定的源站，实现资源重定向，以优化用户体验，并确保数据的完整性和一致性。

介绍备份存储桶的最佳操作。 对于存储在媒体存储对象存储的数据，本产品提供了数据迁移以及存储桶复制的备份能力。用户可根据不同场景的备份需求，选择对应的备份方式。 通过数据迁移备份 媒体存储提供在线迁移服务，用户可通过在线迁移服务实现以下数据迁移场景： 将同个账号的媒体存储的某个bucket数据迁移至另一个bucket。 跨不同的天翼云账号迁移媒体存储间的数据。 将第三方数据，如阿里云、AWS等数据迁移到媒体存储。 数据迁移会产生备份存储空间、请求次数等费用，具体可参考：计费说明。 支持通过控制台进行数据迁移的配置，具体配置方法可参考：创建迁移任务。 通过存储桶复制备份 存储桶复制是跨不同存储区域或同一存储区域的Bucket 自动、异步（近实时）复制对象（object），可根据配置，将源桶Object的创建、更新和删除等操作复制到目标Bucket。具体介绍及配置方法可参考：存储桶复制。 存储桶复制流程如下图：用户配置BucketA复制到BucketB的增改同步规则，当BucketA的创建对象时，会自动复制一份到BucketB，满足备份需求。用户可根据业务规划，切换写入或读取链路，保证业务不受影响。

本章节介绍详细的操作步骤关于如何通过常用工具Navicat连接PostgreSQL。 创建PostgreSQL 操作场景 本文将介绍在云数据库RDS服务的管理控制台上创建实例的过程。 目前，RDS for PostgreSQL支持“包年/包月”和“按需计费”购买，您可以根据业务需要定制相应计算能力和存储空间的RDS实例。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角区域选项，选择区域和项目。 3、在页面左上角单击 ，选择“数据库 > 关系型数据库PostgreSQL”。进入云数据库 RDS信息页面。 4、在“实例管理”页面，单击“购买数据库实例”。 5、在“服务选型”页面，选择计费模式，填写并选择实例相关信息后，单击“立即购买”。 图 购买PostgreSQL数据库 登录主机下载Navicat 操作步骤 1、通过windows远程登录页面登录ECS 2、登录Navicat官网下载对应的数据库客户端 通过Navicat连接PostgreSQL 操作步骤 1、打开Navicat点击新建连接 2、编辑PostgreSQL登录信息 3、创建数据库 4、右击”表“，选择新建 5、编辑数据表的字段信息 6、编写测试数据 7、查询测试数据

本页介绍天翼云TeleDB数据库元数据pgdatamaskmap的内容。 存储管理和配置数据脱敏策略。 名称 类型 定义 relid Oid 表的OID attnum int16 列号（属性编号） enable bool 是否启用数据掩码 option int32 数据掩码选项（见 DATAMASKKINDVALUE、DATAMASKKINDSTRPREFIX、DATAMASKKINDSTRPOSTFIX） datamask int64 数据掩码值 nspname NameData 模式的名称 tblname NameData 表的名称 maskfunc Oid 用户定义对象类型的数据掩码函数 defaultval text 默认值

云容器引擎通过将Kubernetes网络和VPC深度集成，提供了稳定高性能的容器网络，能够满足多种复杂场景下工作负载间的互相访问。 约束与限制 每个命名空间下，创建的服务数量不能超过6000个。此处的服务对应kubernetes的service资源，即工作负载所添加的服务。 容器开启hostPort或hostNetwork网络模式后，若需对外提供服务，则需要给容器所在节点开启对应端口的安全组(containerPort)。 Service基本概念 Kubernetes中每一个工作负载会有一个或多个实例（Pod），每个实例（Pod）的IP地址由网络插件动态随机分配（Pod重启后IP地址会改变）。为屏蔽这些后端实例的动态变化和对多实例的负载均衡，引入了Service这个资源对象。 Service是一种资源，提供了我们访问单个或多个容器应用的能力。每个服务在其生命周期内，都拥有一个固定的IP地址和端口。每个服务对应了后台的一个或多个Pod，通过这种方式，客户端就不需要关心Pod所在的位置，方便后端进行方便的Pod扩容、缩容等操作。 用户在Kubernetes中可以部署各种容器，其中一部分是通过HTTP、HTTPS协议对外提供七层网络服务，另一部分是通过TCP、UDP协议提供四层网络服务。而Kubernetes定义的Service资源就是用来管理集群中四层网络的服务访问。 根据创建Service的type类型不同，可分成如下模式： ClusterIP ：默认类型，为服务分配集群虚拟IP，此时集群内部的pod可以通过服务名称寻址到服务的集群虚拟IP地址，集群外无效。 NodePort ：在每个节点上为服务分配静态端口号，此时如果在集群外部访问任何一个节点的IP地址加指定的端口号，kubeproxy会将流量转发到服务的集群虚拟IP，再由虚拟IP寻址到Pod。 LoadBalancer ：通过云服务供应商提供的load balancer向外部暴露服务，由指定的load balancer负责对NodePort与ClusterIP服务的路由。 ClusterIP和NodePort类型的Service，在不同云服务商或是自建集群中的行为表现通常情况下相同。而LoadBalancer类型的Service，由于使用了云服务商的负载均衡进行服务暴露，云服务商会围绕其负载均衡的能力提供不同的额外功能。例如，控制负载均衡的网络类型，后端绑定的权重调节等，详情请参见本章相关文档。 服务访问方式 在CCE中，支持以下类型的互联互通： 集群内访问（ClusterIP ） 工作负载暴露给同一集群内其他工作负载访问的方式，可以通过“集群内部域名”访问。集群内部域名格式为“ . .svc.cluster.local”，例如“nginx.default.svc.cluster.local”。详细请参见集群内访问(ClusterIP)。 节点访问（NodePort ） 节点访问 ( NodePort）是指在每个节点的IP上开放一个静态端口，通过静态端口对外暴露服务。节点访问 ( NodePort )会路由到ClusterIP服务，这个ClusterIP服务会自动创建。通过请求 : ，可以从集群的外部访问一个NodePort服务。详细请参见节点访问(NodePort)。 负载均衡 ( LoadBalancer ) 通过弹性负载均衡从公网访问工作负载，与弹性IP方式相比提供了高可靠的保障，一般用于系统中需要暴露到公网的服务。访问方式由公网弹性负载均衡ELB服务地址以及设置的访问端口组成，例如“10.117.117.117:80”。详细请参见负载均衡(LoadBalancer)。 七层负载均衡（Ingress） 通常情况下，service和pod的IP仅可在集群内部访问。集群外部的请求需要通过负载均衡转发到service在Node上暴露的NodePort上，然后再由kubeproxy通过边缘路由器 (edge router) 将其转发给相关的Pod或者丢弃，而Ingress就是为进入集群的请求提供路由规则的集合。 Ingress可以给service提供集群外部访问的URL、负载均衡、SSL终止、HTTP路由等。为了配置这些Ingress规则，集群管理员需要部署一个Ingress controller，它监听Ingress和service的变化，并根据规则配置负载均衡并提供访问入口。 Ingress的组成部分： Nginx：实现负载均衡到pod的集合。 Ingress Controller：从集群api获取services对应pod的ip到nginx配置文件中。 Ingress：为nginx创建虚拟主机。 Ingress的创建与管理请参见Ingress概述。 网络策略（NetworkPolicy） 网络策略（NetworkPolicy）是一种关于pod间及pod与其他网络端点间所允许的通信规则的规范。 NetworkPolicy资源使用标签选择pod，并定义选定pod所允许的通信规则，详细请参见NetworkPolicy。 网络底层基础设施 VPC 虚拟私有云（Virtual Private Cloud，以下简称VPC），是基于创建的自定义私有网络，不同的专有网络之间彻底逻辑隔离。可以为云服务器、云数据库和负载均衡等构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云上资源的安全性，简化用户的网络部署。 您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络，进行安全、快捷的网络变更。同时，用户可以自定义安全组内与组间弹性云主机的访问规则，加强弹性云主机的安全保护。 ELB 弹性负载均衡（Elastic Load Balance，简称ELB）是将访问流量根据转发策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 弹性负载均衡支持经典型、共享型两种负载均衡： − 经典型负载均衡：适用于访问量较小，应用模型简单的web业务。 − 共享型负载均衡：适用于访问量较大的web业务，提供基于域名和URL的路由均衡能力，实现更加灵活的业务转发。

本页介绍天翼云TeleDB数据库在批量数据变更后，手动执行vacuum analyze收集统计信息的方法。 在批量数据变更后，由于autovacuum触发机制原因，或autovacuum任务繁忙原因，统计信息收集可能会一定的延时，此时统计信息是不准确的，会导致相关SQL的执行计划生成不准确，从而导致SQL执行变慢甚至执行卡死问题。 批量数据变更包括：批量导入数据、批量更新数据、批量删除数据、truncate表、truncate表+批量导入数据。 针对此问题，应在批量数据变更后，手动执行vacuum analyze收集统计信息。 在执行vacuum analyze前，可以适当调大maintenanceworkmem来提高效率，例如： set maintenanceworkmem to '8GB'; vacuum analyze 表名; 可能会因为账号权限要求，应用账号没有对该表的vacuum analyze权限，可创建函数解决此问题： create or replace function useranalyze (schemaname text,tablename text) returns int as $$ declare vsql text; begin vsql : 'vacuum analyze ' schemaname '.' tablename; execute vsql; return 1; end; $$ language plpgsql; select useranalyze('public','teledb1');

2、属性信息 属性信息部分包括数据类型（必填）和值域（必填）。 数据类型可以通过下拉菜单选择，可选择的数据类型包括数值型、字符型、日期型、日期时间型及布尔型。 数值型 若数据类型为数值型，则需要填写该字段的长度信息，精度信息为选填，值域信息包括自定义、引用参考数据、区间范围及无四种。 其中，自定义值域的方式为手动填写 引用参考数据的方式需点击下拉菜单，在右侧弹窗中选择想要引用的参考数据。支持选择参考数据的分类，支持参考数据的查询两种方式检索参考数据。点击【确认】完成参考数据的引用。 区间范围的方式为手动填写值域区间 若字段标准无值域，则不显示具体值域信息。 字符型 若数据类型为数值型，则需要填写该字段的长度信息，值域信息包括自定义、引用参考数据及无三种。 日期型、日期时间型 若数据类型为日期型和日期时间型，则需要选择该字段的格式，格式包括YYYYMMDD、YYYYMMDD、YYYY/MM/DD、YYYYMM、YYYYMM、YYYY/MM、YYYY、MM、DD几种，值域信息包括自定义、区间范围及无三种。 布尔型 若数据类型为布尔型，则仅需要选择数据类型。

本节介绍数据集存储。 存储概述 数据集当前支持对象存储和并行文件两种类型。 对象存储 因对象存储产品本身不支持容量管理，因此数据集也无法进行容量管理。 并行文件 纳管并行文件类型数据集，其数据集容量和并行文件实例保持一致，在购买并行文件实例时，可以选择其容量。

MySQL双向实时同步时，若源库和目标库同时变更同一个表的同一条数据，会怎么样？ 数据库双写问题是业界难题，DTS的双向同步无法完全解决数据双写引发的数据冲突问题。在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键或唯一键的记录只在双向同步的某个节点进行更新。 若短时间内业务对源库、目标库中同一条记录发生变更，DTS采用以下策略来保证数据的最终一致性： TaskFailed（遇到冲突，任务报错退出）。 当数据同步遇到冲突时，同步任务直接报错并退出，同步任务进入失败状态，需要您介入修复任务。 Ignore（遇到冲突，直接使用目标实例中的冲突记录）。 当数据同步遇到冲突时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。 Overwrite（遇到冲突，直接覆盖目标实例中的冲突记录）。 当数据同步遇到冲突时，直接覆盖目标库中的冲突记录。 正向和反向都可以选择以上一种冲突修复策略，DTS根据用户配置的冲突修复策略进行冲突的检测和处理。 PostgreSQL双向实时同步时，若源库和目标库同时变更同一个表的同一条数据，会怎么样？ 数据库双写问题是业界难题，DTS的双向同步无法完全解决数据双写引发的数据冲突问题。在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键或唯一键的记录只在双向同步的某个节点进行更新。 若短时间内业务对源库、目标库中同一条记录发生变更，DTS采用以下策略来保证数据的最终一致性： TaskFailed（遇到冲突，任务报错退出）。 当数据同步遇到冲突时，同步任务直接报错并退出，同步任务进入失败状态，需要您介入修复任务。 Ignore（遇到冲突，直接使用目标实例中的冲突记录）。 当数据同步遇到冲突时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。 Overwrite（遇到冲突，直接覆盖目标实例中的冲突记录）。 当数据同步遇到冲突时，直接覆盖目标库中的冲突记录。 正向和反向都可以选择以上一种冲突修复策略，DTS根据用户配置的冲突修复策略进行冲突的检测和处理。

ctyundtswriter ) IS NULL THEN UPDATE test SET num num 1 WHERE id 1; END IF; END; 增量迁移并开启增量DDL支持的场景下，当前暂不支持在结构迁移与全量迁移详情页面显示增量阶段新增的表。 如果只勾选增量迁移，请确保目标端已经存在源端库表和所需数据，数据同步可指定增量位点。 若源表使用了外键约束如FOREIGN KEY REFERENCES ON DELETE CASCADE或FOREIGN KEY REFERENCES ON UPDATE CASCADE时，当删除或更新父表的数据时，子表关联的数据会被自动删除或更新，但这些子表的删除或更新操作并不会记录到源库的二进制日志（Binlog）中，从而导致迁移后数据不一致的问题。为解决该问题，可在使用DTS迁移数据前在源库创建触发器实现关联子表的数据操作，确保所需执行的删除或更新都可以记录到Binlog中，从而保证迁移前后的数据一致性。 操作步骤 1、购买DTS数据同步实例。 在管理控制台点击“创建实例”进入订购页面，“实例类型”选择“数据同步”，“目标库实例”的“数据库类型”选择MySQL，选择实例，完成其他信息的填写并完成购买。 2、进入实例配置页面。 DTS实例购买成功后，进入【数据同步】实例列表页面，上一步骤购买成功的实例在实例列表中显示状态为“待配置”，进入实例配置页面的操作分两种情况： 当DTS实例的网络接入类型为“公网EIP”时，请先点击“绑定弹性IP”按钮完成公网弹性IP的绑定，然后点击该实例操作列的“实例配置”按钮。 当DTS实例网络接入类型为“VPC网络”时，直接点击该实例操作列的“实例配置”按钮。