预览SQL 1. 在数据架构控制台，单击左侧导航树的“技术指标”，然后选择“复合指标”页签，进入复合指标页面。 2. 在复合指标列表中，找到需要查看的复合指标，单击“更多 > 预览SQL”，弹出“预览SQL”对话框。 3. 在“预览SQL”中，您可以查看SQL语句，也可以复制SQL。 下线复合指标 对于已发布的复合指标，如果不在需要使用，可以将其下线。 说明 下线复合指标的前提是无依赖引用，即无汇总表引用。 1. 在数据架构控制台，单击左侧导航树的“技术指标”，然后选择“复合指标”页签，进入复合指标页面。 2. 在复合指标列表中，勾选需要下线的复合指标，单击“下线”按钮，弹出“批量下线”对话框。 3. 确认无误后，单击“确认提交”。 删除复合指标 说明 删除复合指标的前提是无依赖引用，即无汇总表引用。 1. 在数据架构控制台，单击左侧导航树的“技术指标”，然后选择“复合指标”页签，进入复合指标页面。 2. 在复合指标列表中，勾选需要删除的复合指标，单击列表上方的“更多 >删除”按钮，系统弹出“删除”对话框。 3. 单击“确定”。 导入复合指标 可通过导入的方式将复合指标批量快速的导入到系统中。 1. 在复合指标列表上方，单击“更多>导入”，进入“导入配置”页签。 2. 下载复合指标导入模板，编辑完成后保存至本地。 3. 选择是否更新已有数据。 说明 如果系统中已有的编码和模板中的编码相同，系统则认为是数据重复。 − 不更新：当数据重复时，不会替换系统中原有的数据。 − 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 4. 单击“添加文件”，选择编辑完成的导入模板。 5. 单击“上传文件”，上传完成后，自动跳转到“上次导入”页签，查看已导入的数据。 6. 单击“关闭”。

Prometheus监控服务支持将Prometheus实例的监控数据导出，以进行自定义业务处理。您可以根据业务需求，选择相应的投递目标。本文介绍如何创建Kafka数据投递任务。 前提条件 已接入Prometheus实例。 已部署目标的分布式消息服务Kafka实例，并创建Topic等资源。 开通事件总线EventBridge服务。 注意 1. 数据投递功能依赖事件总线EventBridge，事件总线EventBridge目前公测中，费用详情请参考计费说明。 2. 仅支持从创建任务开始后的实时数据导出，不支持历史数据的投递。 操作步骤 1. 登录应用性能监控控制台。在左侧菜单栏点击Prometheus监控 数据投递菜单。 2. 进入数据投递页面后，点击左上角【创建任务】按钮。 3. 在对话框中输入任务名称和任务描述后，单击确定。将自动跳转至任务编辑页面。 4. 在任务编辑页面，配置数据源和投递目标： 1. 点击【+ 添加数据源】按钮，配置以下参数，然后单击确定。 配置项 说明 示例 Prometheus实例 Prometheus数据源所在实例。 ccexxxxxx 数据过滤 设置需要过滤的指标标签，黑名单机制代表符合条件的指标将不会被投递。白名单机制代表符合条件的指标才会被投递。 支持正则表达式。多个条件需要换行，条件之间为且的关系。 plaintext name~xxxxx regionIdhuadong1 idixxxxxx 数据打标 设置需要新增的标签，设置后将在投递的指标数据增加对应的label。多个标签需要换行。 plaintext testkey1aaaaa testkey2bbbbb 2. 点击【添加目标】按钮，选择目标类型为分布式消息服务Kafka，并选择目标kafka实例与Topic，点击确定，即可完成任务的创建。 注意 在使用kafka数据投递前，需要先在对应kafka实例安全组中允许VPC内访问Kafka实例服务端口，具体操作请查看操作指引。 5. 投递任务启动后，数据经过2~5分钟的延迟即可到达投递目标。

本页介绍天翼云TeleDB数据库空间管理相关操作。 操作场景 您可按照百分比或分片形式对数据节点上的数据进行迁移。数据迁移需要实例集群内部至少有两个数据节点组。 操作步骤 1. 切换至TeleDB控制台 ，在左侧导航树上，单击数据空间管理 ，进入数据空间管理页面。 2. 数据迁移 注意 在进行数据迁移前，请确保所有表都已设置主键或设置表级别参数REPLICA IDENTITY为FULL，否则数据将无法完成迁移。 1. 选择数据迁移 页签，单击 创建任务 ，出现创建迁移任务对话框。 2. 在创建迁移任务对话框，输入 任务名称 、 源节点 、目标节点 和 迁移类型 。 任务名称：根据自己的需求填写，可自定义。 源节点：根据实际情况选择。 目标节点：根据自己的实际情况选择。 迁移类型：分为shard迁移 和百分比迁移 。 Shard迁移：按照分片迁移，需要选择分片，单次可迁移的分片最大为1000。选择分片迁移需移动分片至已选shard。 百分比迁移：按照源节点上的数据百分比进行迁移，需要输入1100的整数。 单击确定完成任务迁移。 3. 空间清理 说明 当数据被删除或更新时，TeleDB将其标记为无效，但并不立即回收相关的存储空间。需要定期执行空间清理操作，以检查并释放被标记为无效的数据所占用的空间。这样可以确保数据库在长时间运行后不会因为无效数据的积累而占用过多的磁盘空间。 1. 选择空间清理 页签，单击创建任务 ，出现创建清理任务对话框。 2. 选择 源节点 、清理开始时间 和清理结束时间 ，单击确定 。 4. 空间回收 说明 经过空间清理任务后的实例并没有立即释放空间，用户可以通过空间回收任务对实例进行重建表和索引，自动释放被空间清理回收的空间。 1. 选择空间回收 页签，单击创建任务 ，出现创建回收任务对话框。 2. 选择回收节点 、设置回收开始时间 和 回收结束时间 ，单击确定完成空间回收。 5. 数据重平衡 说明 用户可以通过数据重平衡，依据磁盘使用率，把节点组原有的数据平均分布到节点组内各个节点上。该功能会自动生成迁移任务以及空间清理任务，用户可以在任务详情或者在对应功能页面查看任务具体执行情况。 1. 选择重平衡任务 页签，单击 创建任务 ，出现创建数据重平衡任务对话框。 2. 输入任务名称 ，选择节点组 ，单击确定 ，完成数据重平衡。 6. 表空间管理 说明 用户通过对表空间进行管理，以组织数据存储，在物理设备上合理分配数据。 1. 创建表空间 1. 选择表空间管理 页签，单击创建表空间 ，出现创建表空间对话框。 2. 在创建空间表对话框，填写表空间名称 ，选择归属账号 ，填写挂载目录 ， 并检测目录有效性 ，单击确定完成表空间的创建。 说明 表空间名字请参照以下格式： 1. 不能以pg开头。 2. 只支持大小写字母、数字和下划线。 3. 只能以字母开头。 2. 修改表空间 单击编辑按钮，在弹出的编辑表空间可修改表空间或查看表空间。 3. 删除表空间 单击删除 按钮，在出现的警告提示框，单击确定即可删除表空间。

本章节主要介绍DataArts Studio的表达式使用示例流程。 通过本示例，用户可以了解数据开发模块EL表达式的如下应用： 如何在数据开发模块的SQL脚本中使用变量？ 作业如何传递参数给SQL脚本变量？ 在参数中如何使用EL表达式？ 背景信息 使用数据开发模块的作业编排和作业调度功能，每日通过统计交易明细表，生成日交易统计报表。 本示例涉及的数据表如下所示： tradelog：记录每一笔交易数据。 tradereport：根据tradelog统计产生，记录每日交易汇总。 前提条件 已建立DLI的数据连接，以“dlidemo”数据连接为例。 如未建立，请参考创建数据连接进行操作。 已在DLI中创建数据库，以“dlidb”数据库为例。 如未创建，请参考新建数据库进行操作。 已在“dlidb”数据库中创建数据表tradelog和tradereport。 如未创建，请参考新建数据表进行操作。 操作步骤 1.新建和开发SQL脚本。 a.在数据开发模块控制台的左侧导航栏，选择“数据开发 > 脚本开发”。 b.进入右侧区域页面，选择“新建SQL脚本 > DLI”。 c.进入SQL脚本开发页面，在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。 d.在脚本编辑器中输入以下SQL语句。 INSERT OVERWRITE TABLE tradereport SELECT sum(tradecount), '${yesterday}' FROM tradelog where dateformat(tradetime, 'yyyyMMdd') '${yesterday}' e.单击，将脚本的名称设置为“generatetradereport”。 2.新建和开发作业。 a.在数据开发模块控制台的左侧导航栏，选择“数据开发 > 作业开发”。 b.进入右侧区域页面，单击“新建作业”，新建一个名称为“job”的空作业。 c.进入作业开发页面，将DLI SQL节点拖至画布中，单击其图标并配置“节点属性”。 关键属性说明： SQL脚本：关联步骤1中开发完成的SQL脚本“generatetradereport”。 数据库名称：自动填写SQL脚本“generatetradereport”中选择的数据库。 队列名称：自动填写SQL脚本“generatetradereport”中选择的资源队列。 脚本参数：显示SQL脚本“generatetradereport”中的参数“yesterday”，输入以下EL表达式作为其参数值。

本文主要介绍可信数据空间与其他产品的关系。 与统一身份认证服务（IAM）的关系 统一身份认证服务（Identity and Access Management）为产品购买提供了天翼云统一入口鉴权功能。 与翼MapReduce服务的关系 MapReduce服务（MapReduce service）中的hive、doris数据可以作为数据资源接入到可信数据空间；可信数据空间可以利用MapReduce服务进行大数据加工处理。

本节介绍了从快照回滚数据的操作场景、约束与限制、操作步骤。 操作场景 如果云硬盘的数据发生错误或者损坏，可以回滚快照数据至创建该快照的云硬盘，从而恢复数据。 约束与限制 ● 只支持回滚快照数据至源云硬盘，不支持快照回滚到其它云硬盘。 ● 只有当快照的状态为“可用”，并且源云硬盘状态为“可用”（即未挂载给云主机）或者“回滚数据失败”时，您才可以执行该操作。 ● 开头为“autobksnapshotvbs”、“manualbksnapshotvbs”、“autobksnapshotcsbs”、“manualbksnapshotcsbs”的快照，是创建备份时系统自动生成的快照。该快照仅支持查看详细信息，无法用于回滚数据。 操作步骤 步骤 1 登录管理控制台。 步骤 2 选择“存储 > 云硬盘”。 步骤 3 在左侧导航栏，选择“云硬盘 > 快照”。 进入“快照”页面。 步骤 4 在快照列表中，找到目标快照并单击快照所在行的“操作”列下的“回滚数据”。 步骤 5 在弹出的对话框中，只有当快照的状态为“可用”，并且源云硬盘状态为“可用”或者“回滚数据失败”时，才可以单击“确定”。 步骤 6 返回快照列表页面，当快照状态由“正在回滚”变为“可用”时，表示回滚数据成功。

参数 参数类型 说明 示例 下级对象 userInfoList Array of Objects 账户topN数据 userInfoList processList Array of Objects 进程topN数据 processList packageList Array of Objects 软件topN数据 packageList portList Array of Objects 端口topN数据 portList selfStartList Array of Objects 自启动项topN数据 selfStartList 表 selfStartList

本文将介绍导入任务提交界面,以及如何提交导入任务。数据管理服务支持多种格式和多种数据库类型的数据导入。 前提条件 操作用户拥有目标数据库/模式的导入权限。 当前组织处于基础版时，需要目标实例已是登录状态（若未登录则选择目标库/模式时会弹出登录窗口）。 注意事项 导入任务当前只支持对单实例单个数据库/模式或单表进行数据变更操作，暂不支持同时对多实例多个数据库/模式或单表进行相同文件的批量导入。 导入时SQL将分批执行，默认每批1000行，不保证事务。导入工单结束后，可到实例元数据功能查看库/模式或查询窗口查看表数据，查看表数据操作请查阅 打开表。 如果选择导入的文件类型为SQL，则以库/模式为目标导入，无法选择“目标表”和“导入方式”。如果选择导入的文件类型为CSV、TXT、EXCEL，且上传文件类型为zip，系统默认会自动识别匹配的表名（表名识别规则根据文件名格式，如： 数据导出表名yymmddhhmmss序号.csv），此时用户也可以手动选择导入单表。 MongoDB、DDS数据源，都需要选择目标集合导入。 MySQL、PostgreSQL数据源，选择的导入类型为TXT、CSV、EXCEL文件且上传非压缩文件时，可以选择“导入行为”是“新建表”，支持导入前自动建表。 导入工单的SQL规则审核结果保留最多7天（从工单执行开始算起） 操作步骤 1. 登录DMS控制台。 2. 在左侧导航栏，单击开发空间>数据导入 ，进入数据导入管理页面。 3. 单击数据导入 按钮，弹出数据导入工单填写弹窗，工单需要选择或输入的内容说明见下表1。 4. 填写完数据导入工单后，单击提交按钮，即完成工单的提交。 5. 当前组织处于基础版时，数据导入工单进入任务执行阶段。 6. 当前组织处于企业版时，数据导入工单依次进入预检查、审批流程、任务执行阶段。 7. 数据导入任务的工单状态，可在导入列表页面查看，如果导入失败，可点击详情 查看原因。更多详细操作请查看数据导入工单列表。 表1 工单输入内容说明 输入内容 说明 数据库类型 选择导入的数据库类型，支持MySQL、PostgreSQL、SQLServer、DRDS、MongoDB、DDS、ClickHouse、Oracle、MariaDB、OpenGauss、Doris。 目标数据库 选择数据导入的数据库/模式，数据来源于在DMS控制台中添加的数据库实例，其中MySQL、SQLServer、DRDS、MongoDB、DDS、ClickHouse、Oracle、MariaDB、OpenGauss、Doris可选择到库级别，PostgreSQL可选择到模式级别。当前仅支持单选一个目标库/模式。 注意 如果未登录目标库/模式对应的实例，则选中目标库/模式后会弹出该实例的登录窗口。 导入文件类型 选择导入数据的上传文件类型： SQL：目前支持DDL和DML语句，请每条SQL语句以英文分号 （;）收尾，并做好换行。 选择该文件类型则无法指定“目标表 ”和“写入方式”。 CSV：CSV文件中的分隔符为英文逗号，且文件第一行为表的列名称。 TXT：TXT文件格式与CSV类似，文件中的分隔符为英文逗号，且文件第一行为表的列名称。 JSON：仅支持MongoDB和DDS数据源。 EXCEL：支持.xls和.xlsx格式，当前支持选择某个sheet的内容导入。详见下方“导入Sheet”介绍。 以上文件类型支持打包上传.zip格式。 导入Sheet 当导入文件类型选择EXCEL以及上传文件格式为.xls和.xlsx时，可选择导入Sheet，默认选中第一个Sheet。 导入模式 当导入文件类型选择“SQL”时，可选择“导入模式”。 极速模式：不进行文件的扫描，只对数据源进行权限校验。 安全模式：整个SQL文件的扫描，安全性高但性能较差。 选择“安全模式”的工单，会在预检查阶段进行SQL风险和SQL规范检查（SQL风险和规范支持的数据库类型，详见SQL风险和SQL规范） 目标表 针对非MongoDB和DDS数据源，在选择目标数据库下，筛选导入的目标表。如果先上传zip文件，会出现“根据压缩包内文件名判断”字样，此时用户可手动选择仅导入到单表。 仅支持CSV/TXT/EXCEL格式导入。 文件编码 选择导入文件的编码类型： UTF8：默认选中。适用于大部分英文文本。 GBK：适用于文件中带有中文的情况。 自动识别：如果不能确定文件编码类型，可选该选项。 导入行为 针对MySQL和PostgreSQL数据源，在选择文件类型为CSV/TXT/EXCEL后，支持选择“新建表”，其余数据源类型默认为“现有表”。 选择“新建表”，系统会根据导入文件中的相关字段猜测您所需的建表结构，可点击新建表的表名称打开表结构编辑页面。 注意 当前“新建表”的表结构编辑，暂不支持数据库的自定义类型作为表字段类型。新建表字段类型与导入文件是否成功密切相关，如选择“新建表”请认真检查表结构是否符合需求。 写入方式 针对非MongoDB和DDS数据源，选择导入文件的写入方式： INSERT INTO：插入数据，数据库会检查主键（PrimaryKey），如果出现重复会报错。 INSERT IGNORE INTO：插入数据，数据库会检查主键（PrimaryKey），如果表中已经存在相同的记录，则忽略当前新数据。 REPLACE INTO：插入替换数据，数据库会检查主键（PrimaryKey），如果数据库已经存在数据，则用新数据替换，如果没有数据效果则和INSERT INTO一样。 注意 为保证导入文件时数据库的性能，请尽可能选择INSERT操作。 目前MySQL数据库类型支持INSERT INTO，INSERT IGNORE INTO，REPLACE INTO这3种导入方式，PostgreSQL数据库类型支持INSERT INTO的导入方式，SQLServer数据库类型支持INSERT INTO的导入方式。 数据位置 当选择文件类型为CSV/TXT/EXCEL时，可选择文件首行属性是列名或者数据。 目标集合 针对MongoDB和DDS数据源，在选择目标数据库下，筛选导入的目标集合。如果先上传zip文件，会出现“根据压缩包内文件名判断”字样，此时用户可手动选择仅导入到单集合。仅支持JSON和CSV导入。 附件上传 单击上传文件，上传选中文件类型对应的文件。 注意 支持SQL，CSV，TXT，JSON，EXCEL五种文件格式，上传前请检查文件名后缀是否符合要求。 仅支持上传单个文件，且不可超过5GB（ZIP内单个文件解压后，也不可超过5GB）。 当导入文件类型选择EXCEL以及上传文件格式为.xls和.xlsx时，可选择导入Sheet，默认选中第一个Sheet。 工单说明 描述工单备注内容。该内容将展示在工单详情弹窗页。

Logstash部署在弹性云主机上时导入数据 当Logstash部署在同一VPC的弹性云主机时，导入数据的流程说明如下图所示。 Logstash部署在弹性云主机上时导入数据示意图 1.确保已部署Logstash的弹性云主机与待导入数据的集群在同一虚拟私有云下，已开放安全组的9200端口的外网访问权限，且弹性云主机已绑定弹性IP。 说明 如果同一个VPC内有多台服务器，只要其中一台绑定了弹性IP，其他的服务器可以不需要绑定弹性IP。通过绑定弹性IP的节点跳转到部署Logstash的节点即可 。 如果有专线或者VPN，也不需要绑定弹性IP。 2.使用PuTTY登录弹性云主机。 例如此服务器中存储了需要导入的数据文件“access20181029log”，文件存储路径为“/tmp/accesslog/”，此数据文件中包含的数据如下所示： All Heap used for segments 18.6403 MB All Heap used for doc values 0.119289 MB All Heap used for terms 17.4095 MB All Heap used for norms 0.0767822 MB All Heap used for points 0.225246 MB All Heap used for stored fields 0.809448 MB All Segment count 101 All Min Throughput indexappend 66232.6 docs/s All Median Throughput indexappend 66735.3 docs/s All Max Throughput indexappend 67745.6 docs/s All 50th percentile latency indexappend 510.261 ms 3.执行如下命令在Logstash的安装目录下新建配置文件logstashsimple.conf。 cd / / vi logstashsimple.conf 在配置文件logstashsimple.conf中输入如下内容。 input { 数据所在的位置 } filter { 数据的相关处理 } output { elasticsearch{ hosts > " "} } input：指明了数据的来源。实际请根据用户的具体情况来设置。 filter：对日志进行了提取和处理，将非结构化信息转换为结构化信息。 output：指明了数据的目的地址。 为集群中节点的内网访问地址和端口号。 当集群包含多个节点时，为了避免节点故障，建议将上述命令中 替换为该集群中多个节点的内网访问地址和端口号，多个节点的内网访问地址和端口号之间用英文逗号隔开，填写格式请参见如下示例。 hosts > ["192.168.0.81:9200","192.168.0.24:9200"] 当集群只包含一个节点时，填写格式请参见如下示例。 hosts > "192.168.0.81:9200" 以步骤2中“/tmp/accesslog/”的数据文件为例，输入数据文件从首行开始，且过滤条件保持为空，即不做任何数据处理操作。需导入数据的集群，其节点内网访问地址和端口号为“192.168.0.81:9200”。导入数据的索引名称为“myindex”。配置文件的示例如下所示，配置文件按实际数据情况修改完成后，输入“:wq”保存。 input { file{ path > "/tmp/accesslog/" startposition > "beginning" } } filter { } output { elasticsearch { hosts > "192.168.0.81:9200" index > "myindex" documenttype > "mytype" } } 如果集群开启了安全模式，则需要先下载证书。 a. 在集群基本信息页面下载证书。 详见下图：下载证书 b. 将下载的证书存放到部署logstash服务器中。 c. 修改配置文件logstashsimple.conf。 以步骤2中“/tmp/accesslog/”的数据文件为例，输入数据文件从首行开始，且过滤条件保持为空，即不做任何数据处理操作。跳转主机的公网IP和端口号为“192.168.0.227:9200”。导入数据的索引名称为“myindex”，证书存放路径为“/logstash/logstash6.8/config/CloudSearchService.cer”。配置文件的示例如下所示，配置文件按实际数据情况修改完成后，输入“:wq”保存。 input{ file { path > "/tmp/accesslog/" startposition > "beginning" } } filter { } output{ elasticsearch{ hosts > [" index > "myindex" user > "admin" password > "" cacert > "/logstash/logstash6.8/config/CloudSearchService.cer" } } 说明 password：登录安全集群的密码 。 4.执行如下命令将Logstash收集的弹性云主机的数据导入到集群中。 ./bin/logstash f logstashsimple.conf 5.登录云搜索服务管理控制台。 6.在左侧导航栏中，选择“集群管理”，进入集群列表页面。 7.在集群列表页面中，单击待导入数据的集群“操作”列的“Kibana”。 8.在Kibana的左侧导航中选择“Dev Tools”，单击“Get to work”，进入Console界面。 9.在已打开的Kibana的Console界面，通过搜索获取已导入的数据。 在Kibana控制台，输入如下命令，搜索数据。查看搜索结果，如果数据与导入数据一致，表示数据文件的数据已导入成功。 GET myindex/search

初始化专属加密实例 说明 目前不支持SSH登录到DHSM，需要通过专属加密实例管理工具管理DHSM。 以使用Windows镜像的ECS作为专属加密实例管理节点为例，初始化专属加密实例操作步骤如下所示。 步骤 1 购买一台Windows镜像的ECS作为专属加密实例管理节点。 登录管理控制台。 单击页面左侧的，选择“计算> 弹性云服务器”，进入弹性云服务器列表界面。 单击“购买弹性云服务器”。 区域、可用区：请与购买的专属加密实例保持一致。 镜像：请选择Windows公共镜像。 VPC：请与专属加密实例所在VPC保持一致。 弹性公网IP：为方便在您本地实例化加密机，请绑定弹性公网IP。 说明 待初始化专属加密实例完成后，您可以解绑弹性公网IP。若后续有需要，可重复绑定、解绑操作。 其他参数请根据实际情况进行选择。 步骤 2 根据收到的专属加密实例管理工具及配套文档，初始化专属加密实例。 步骤 3 初始化完成后，可通过管理工具进行生成、销毁、备份、恢复秘钥等操作。 说明 初始化和管理过程中有任何问题，请咨询专属加密服务安全专家。 安装安全代理软件并授权 用户需要在业务APP节点上安装安全代理软件，使业务APP与专属加密实例建立安全通道。 步骤 1 在管理工具上下载访问专属加密实例的证书。 步骤 2 在业务APP节点上安装安全代理软件。 步骤 3 将证书导入到安全代理软件，授予业务APP访问专属加密实例的权限。 步骤 4 业务APP即可通过SDK或者API接口的方式访问专属加密实例。 说明 您可以在安全代理软件配置多个专属加密实例，实现负载均衡功能。

空间分析可以直观地查看数据库实例的空间使用概况、空间剩余可用天数,以及数据库中Top表的空间使用情况、空间碎片、Top库空间使用情况、空间异常诊断等,可以根据分析内容进行判断磁盘是否需要扩容以及碎片整理、索引的合理性等。 前提条件 仅限来源为天翼云RDS的MySQL数据库。 仅支持西南1、华东1、上海36、华北2、长沙42、华南2、青岛20、南昌5、西安7、杭州7资源池。 已录入DMS中，且实例状态正常的数据库实例。 操作步骤 1. 登录数据管理服务。 2. 在左侧导航栏中，单击 智能运维 > 空间分析，进入空间分析界面。 注意事项 实例纳管至DMS后，默认开启空间分析数据采集，默认采集频率为6小时。 支持用户关闭空间分析数据采集，关闭后，将无法查看最新的空间分析数据。 空间分析数据采集频率支持更改为15分钟、30分钟、1小时、6小时、12小时、24小时。 功能介绍 空间分析可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中Top表的空间使用情况、空间碎片、Top库空间使用情况、空间异常诊断等。 磁盘空间概况：磁盘剩余量、使用量、近一周日均增长量、预计可用天数。 磁盘空间变化趋势：数据空间变化趋势、磁盘使用量变化趋势，最大可支持查看近30天磁盘空间变化。 Top表分析：Top20表总占用空间、数据空间、索引空间、碎片空间、碎片率、行数、平均行长度，支持下载、以及查看数据变化趋势。 Top库分析：Top20总占用空间、库数据空间、索引空间分析，支持下载、以及查看数据变化趋势。 问题分析：分析存在多列索引、未使用索引、冗余索引、未分区大表等异常情况的表。 表检索：可实时查看指定库下的表空间信息。

参数名 参数说明（导入DLI/POSTGRESQL/DWS/MRSHIVE类型的表） 所属主题 需填写已有的主题的编码路径，以/分隔。如果您未新建主题信息，请参见 逻辑实体名称 表名称，只能包含中文、英文字母、数字、左右括号、中划线和下划线，且以中文和英文字母开头。 表名称 表英文名称，只能包含英文字母、数字、下划线、$、{、}，且不能以数字开头。 表别名 用户在配置中心打开了“表别名”时显示此项，名称别名。 表级标签 给表添加的标签，请输入已有的标签或新的标签名称。您也可以先前往DataArts Studio数据目录模块的“标签管理”页面添加标签，然后再回到此处设置相应的标签。添加标签的具体操作，请参见 描述 表的描述信息。 资产责任人 需输入DataArts Studio实例当前工作空间中的用户名。只有工作空间管理员或开发者、运维者角色的用户才可以设置为责任人。 数据连接类型 支持以下连接类型：DLI、POSTGRESQL、DWS、MRSHIVE。 表类型 DLI模型的表支持以下表类型： Managed：数据存储位置为DLI的表。 External：数据存储位置为OBS的表。当“表类型”设置为External时，需设置“OBS路径””参数。 DLIVIEW：该类型只支持导入，不支持在控制台页面创建。 DWS模型的表支持以下表类型： DWSROW：行类型。 DWSCOLUMN：列类型。 DWSVIEW：视图类型。 MRSHIVE模型的表不支持该参数。 OBS路径 DLI模型的表类型为DLIEXTERNAL时，需填写与表相关联的存放源数据的OBS路径。OBS路径格式如：bucketname/filepath。 数据格式 该参数仅DLI模型的表有效。 表类型为DLIMANAGED的表支持的数据格式有： Parquet、Carbon。 表类型为DLIEXTERNAL的表支持的数据格式有： Parquet、Carbon、CSV、ORC、JSON、Avro。 表所属的数据连接 输入已创建的数据连接名称。 表所属的数据库 输入已创建的数据库名称。 数据连接扩展信息 连接类型为DLI时，输入DLI队列名称。连接类型为DWS或POSTGRESQL时，输入Schema名称。 属性名称（CHN） 表中的属性字段的中文名称。只能包含中文、英文字母、数字、左右括号、中划线和下划线，且以中文或英文字母开头。 属性名称（ENG） 表中的属性字段的英文名称。只能包含英文字母、数字和下划线，且以英文字母开头。 顺序 属性字段在表中的顺序，从1开始。可以不填，不填时属性字段默认按模板中的顺序在表中排列。 属性描述 属性字段的描述信息。 数据类型 不同的数据连接类型支持的数据类型不一样，请参见 数据长度 对于不定长的数据类型，如果所指定的数据连接类型支持对其指定数据长度，请指定数据长度。 例如，DWS连接类型，如果字段类型为CHAR(10)，需要在“数据类型”中填写“CHAR”，在“数据长度”中填写“10”。 是否分区 填写“Y”表示该字段为分区字段，填写“N”表示不是分区字段。 是否主键 填写“Y”表示该字段为主键，填写“N”表示不是主键。 不为空 填写“Y”表示该字段不为空，填写“N”表示字段允许为空。 引用的数据标准编码 填写需要引用的数据标准的编码，也可以不填。如果未创建数据标准，请参见 属性标签 为属性字段添加的标签，请输入已有的标签或新的标签名称。您也可以先前往DataArts Studio数据目录模块的“标签管理”页面添加标签，然后再回到此处设置相应的标签。添加标签的具体操作，请参见 其他配置 为JSON格式，用于存放表额外配置信息。格式如下：{"optionname1": "value","optionname2": "value"……}例如：{"a1": "100","a2": "30"} 版本号 可选参数。

标准快照容量计算原理 云硬盘的快照总容量以快照链（一块云硬盘中所有快照组成的关系链）为单位进行统计，统计当前云硬盘所有快照的数据块占用的存储空间。云硬盘的单个快照容量不会超过云硬盘容量，但是随着快照的增加，快照链容量可能会大于云硬盘容量。 快照链增加快照容量计算 以下图中的场景为例，假设快照的数据块为固定大小2MiB，那么快照链增加快照后的容量计算如下： 创建快照1时，云硬盘的快照链中仅有快照1，快照链容量 快照1容量 数据块A容量 + 数据块B容量 + 数据块C容量 6MiB 创建快照2时，云硬盘的快照链中有快照1、快照2，快照链容量 快照1容量 + 快照2容量 6MiB + （数据块A1容量 + 数据块B1容量 + 数据块D容量） 12MiB 创建快照3时，云硬盘的快照链中有快照1、快照2、快照3，快照链容量 快照1容量 + 快照2容量 + 快照3容量 6MiB + 6MiB +（数据块A2容量 + 数据块C1容量 + 数据块E容量） 18MiB 快照链删除快照容量计算 删除快照时，会遍历快照元数据文件中的所有数据块信息，如下图所示，遵循以下删除原则： 数据块被下一个快照继承，该数据块不能删除。 数据块没有被下一个快照继承： 继承数据块：如果上一个快照未被删除，那么该继承数据块不能删除；否则可以删除。 修改数据块：可以删除。 新增数据块：可以删除。 以下通过举例说明删除快照后快照链容量计算。 以图65中的场景为例，在14:00删除快照2，在15:00删除快照3，那么快照链删除快照后的容量计算如下： 删除快照前，快照链容量 快照1容量 + 快照2容量 + 快照3容量 18MiB 14:00删除快照2，遍历快照2元数据文件中的所有数据块信息： 数据块A1：没有被快照3继承，且为快照1中的数据块A修改而来（修改数据块），因此数据块A1可以删除。 数据块B1：被快照3继承，数据块B1不能删除。 数据块C：没有被快照3继承，但继承于快照1（继承数据块）且快照1未被删除，因此数据块C不能删除。 数据块D：被快照3继承，因此数据块D不能删除。 删除快照2后，快照链容量 18MiB 数据块A1容量 16MiB 15:00删除快照3，遍历快照3元数据文件中的所有数据块信息： 数据块A2：没有被下一快照继承，且为快照2中的数据块A1修改而来（修改数据块），因此数据块A2可以删除。 数据块B1：没有被下一快照继承，但继承于快照2且快照2已被删除，因此数据块B1可以删除。 数据块C1：没有被下一快照继承，且为快照2中的数据块C修改而来，因此数据块C1可以删除。 数据块D：没有被下一快照继承，但继承于快照2且快照2已被删除，因此数据块D可以删除。 数据块E：没有被下一快照继承，且为快照3新增数据块，因此数据块E可以删除。 删除快照3后，快照链容量 16MiB 数据块A2容量 数据块B1容量 数据块C1容量 数据块D容量 数据块E容量 6MiB

本章节将介绍如何创建Elasticsearch脱敏任务。 创建ES脱敏任务后，可以对指定Elasticsearch数据源中的表/列进行敏感信息脱敏。 前提 已在“资产列表”中完成了云资源委托授权。 已添加了ES资产，具体请参见大数据资产列表章节。 已在“敏感数据识别”中完成了敏感数据识别，具体操作请参见创建敏感数据识别任务章节。 操作步骤 1. 单击左上角的，选择区域或项目。 2. 在左侧导航树中，单击，选择“安全>数据安全中心”，进入数据安全中心总览界面。 3. 在左侧导航树中选择“数据脱敏”，并选择“ES脱敏”页签，进入ES脱敏页面。 4. 将“ES脱敏”开关打开，开启ES脱敏。 5. 单击“新建任务”，进入“数据源配置”页面，如下图所示，具体参数说明如下表所示。 参数名称 参数说明 任务名称 您可以自定义脱敏任务的名称。 任务名称需要满足以下要求： 1~255个字符。 字符可由中文、英文字母、数字、下划线或中划线组成。 数据源选择 选择数据来源。目前仅支持“Elasticsearch”。 数据源 说明 如果没有可使用的ES资产，可单击“添加ES源”，添加ES资产，具体的操作可参见添加大数据源资产。 Elasticsearch实例：选择脱敏数据所在的Elasticsearch实例。 数据源 说明 如果没有可使用的ES资产，可单击“添加ES源”，添加ES资产，具体的操作可参见添加大数据源资产。 索引(Index)：选择脱敏数据所在的索引。 数据源 说明 如果没有可使用的ES资产，可单击“添加ES源”，添加ES资产，具体的操作可参见添加大数据源资产。 Type：选择脱敏数据所在的Type。 数据源 说明 如果没有可使用的ES资产，可单击“添加ES源”，添加ES资产，具体的操作可参见添加大数据源资产。 Field：勾选后将该列数据拷贝到目标数据库。 此处还显示数据列的“目标数据类型”，“风险等级”。 6. 单击“下一步”，进入“脱敏算法配置”页面。 1. 勾选需要脱敏的Field。 2. 选择脱敏算法。脱敏算法更多详细信息请参见配置脱敏规则章节。 7. 可以点击“下一步”，进入“脱敏周期”页面，配置脱敏周期。 选择并设置脱敏任务的执行周期： 手动：由用户自行启动的，且基于脱敏规则执行脱敏任务。 每小时：每几个小时执行一次脱敏任务。 示例：如果需要每2小时执行一次脱敏任务，则此处设置为：02:00 每天：每天几点几分执行一次脱敏任务。 示例：如果需要每天12:00执行一次脱敏任务，则此处设置为：12:00:00 每周：每周几的几点几分执行一次脱敏任务。 示例：如果需要每周一的12:00执行一次脱敏任务，则此处设置为：每周一12:00:00 每月：每月几日几时执行一次脱敏任务。 示例：如果需要每月12日的12:00执行一次脱敏任务，则此处设置为：每月12日12:00:00 说明 如果设置每月31日执行一次脱敏任务，在当月日期少于31日的情况下，系统自动在当月最后一日执行任务。 8. 单击“下一步”，进入“数据目标配置”页面。 1. 选择“Elasticsearch实例”、“索引(Index)”，并输入“Type”。 如果输入的Type已存在，系统将刷新目标数据源中该Type中的数据。 如果输入的Type不存在，系统将自动在目标数据源中新建该名称的Type。 注意 如果需要填写已有的Type，请勿选择业务Type，以免影响业务。 2. 设置数据目标列名。 系统默认将生成与数据源列相同的名称，您可以保持默认名称，也可以根据需要进行修改。 9. 单击“完成”，完成脱敏规则的创建。

操作场景 如果云硬盘的数据发生错误或者损坏，可以回滚快照数据至创建该快照的云硬盘，从而恢复数据。 注意 回滚云硬盘后，所有在该快照之后做的更改都会丢失。 约束与限制 只支持回滚快照数据至源云硬盘，不支持快照回滚到其它云硬盘。 当快照在创建中时，不支持使用快照回滚数据至云硬盘。 开头为“autobksnapshotvbs”、“manualbksnapshotvbs”、“autobksnapshotcsbs”、“manualbksnapshotcsbs”的快照，是创建备份时系统自动生成的快照。该快照仅支持查看详细信息，无法用于回滚数据。 前提条件 回滚云硬盘前，已为云硬盘创建云硬盘快照。 当源云硬盘状态为“可用”（即未挂载给云服务器，如果云硬盘已挂载至云服务器，需要先卸载云硬盘）或者“回滚数据失败”时，才可以执行该操作。 使用快照回滚数据至云硬盘 1. 登录管理控制台。 2. 单击页面左上角“”，选择“存储 > 云硬盘”。进入云硬盘页面。 3. 在左侧导航栏，选择“云硬盘 > 快照”。进入“快照”页面。 4. 在快照列表中，找到目标快照并单击快照所在行的“操作”列下的“回滚数据”。 5. 在弹出的对话框中，只有当快照的状态为“可用”，并且源云硬盘状态为“可用”或者“回滚数据失败”时，才可以单击“确定”。返回快照列表页面，当快照状态由“正在回滚”变为“可用”时，表示回滚数据成功。

本章节主要介绍配置FTP/SFTP源端参数。 作业中源连接为配置FTP/SFTP连接时，源端作业参数如下表所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件（最多50个），默认以“l"分隔，也可以自定义文件分隔符。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 /ftp/a.csvl/ftp/b.txt 基本参数 文件格式 指CDM以哪种格式解析数据，可选择以下格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 JSON格式：以JSON格式解析源文件，一般都是用于迁移文件到数据表的场景。 CSV格式 基本参数 JSON类型 当“文件格式”选择为“JSON格式”时，才有该参数。JSON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 基本参数 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时，才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 高级属性 使用包围符 选择“是”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 否 高级属性 使用正则表达式分隔字段 选择是否使用正则表达式分隔字段，当选择“是”时，“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时，才有该参数。 是 高级属性 正则表达式 分隔字段的正则表达式。 ^(d.d) (w ) [(.)] ([w.] ) (w.). 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 是 高级属性 编码类型 文件编码类型，例如：“UTF8”或“GBK”。只有文本文件可以设置编码类型，当“文件格式”选择为“二进制格式”时，该参数值无效。 UTF8 高级属性 压缩格式 当“文件格式”为“CSV格式”或“JSON格式”时该参数才显示。选择对应压缩格式的源文件： 无：表示传输所有格式的文件。 GZIP：表示只传输GZIP格式的文件。 ZIP：表示只传输ZIP格式的文件。 TAR.GZ：表示只传输TAR.GZ格式的文件。 无 高级属性 压缩文件后缀 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则则保持原样传输。当输入或为空时，所有文件都会被解压。 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式： 不处理。 重命名：作业执行成功后将源文件重命名，添加用户名和时间戳的后缀。 删除：作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 是 高级属性 标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 高级属性 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。 等待时间设置为0时，当源端路径下不存在标识文件，任务会立即失败。 单位：秒。 10 高级属性 文件分隔符 “源目录或文件”参数中如果输入的是多个文件路径，CDM使用这里配置的文件分隔符来区分各个文件，默认为 。 高级属性 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。 无 高级属性 目录过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 input,out 高级属性 文件过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 .csv 高级属性 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))}表示：只迁移最近90天内的文件。 20190701 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示：只迁移修改时间为当前时间以前的文件。 20190730 00:00:00 高级属性 加密方式 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 高级属性 忽略不存在原路径/文件 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。 否 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致。 .md5

本章节为您介绍数据识别相关内容。 数据识别模块包含数据标签和敏感数据两个子模块。主要功能是将 API 响应体解析后 ，根据标签对敏感数据进行识别，并展示识别到的敏感数据。 数据识别 API安全网关系统内置25个敏感数据标签，可识别身份证、手机号、邮箱、银行卡等敏感数据，并且支持用户自定义添加标签和识别规则。 新增标签 1.登录API安全网关。 2.在左侧导航栏选择“数据识别 > 数据标签”，进入数据标签页面，即可查看系统内现有的标签。 说明 列表默认展示标签名称、分类、分级、来源、描述。 来源为“系统内置”的标签不允许删除和编辑识别规则。 3.单击页面左上角的“新增”按钮，即可开始新增标签。 字段 说明 标签名称 自定义标签名称，名称不可重复。 启用状态 默认启用，可禁用；禁用后不识别该标签。 分类 默认未分类，可下拉选择内置分类。 分级 默认未分级，可下拉选择内置分级。 描述 自定义描述说明。 识别规则—正则表达式 填写正则表达式，系统可根据正则表达式识别标签。 4.填写完成后单击“保存”即可完成标签新增。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

本章节介绍详细的操作步骤关于如何通过常用工具Navicat连接PostgreSQL。 创建PostgreSQL 操作场景 本文将介绍在云数据库RDS服务的管理控制台上创建实例的过程。 目前，RDS for PostgreSQL支持“包年/包月”和“按需计费”购买，您可以根据业务需要定制相应计算能力和存储空间的RDS实例。 操作步骤 1、登录管理控制台。 2、单击管理控制台右上角区域选项，选择区域和项目。 3、在页面左上角单击 ，选择“数据库 > 关系型数据库PostgreSQL”。进入云数据库 RDS信息页面。 4、在“实例管理”页面，单击“购买数据库实例”。 5、在“服务选型”页面，选择计费模式，填写并选择实例相关信息后，单击“立即购买”。 图 购买PostgreSQL数据库 登录主机下载Navicat 操作步骤 1、通过windows远程登录页面登录ECS 2、登录Navicat官网下载对应的数据库客户端 通过Navicat连接PostgreSQL 操作步骤 1、打开Navicat点击新建连接 2、编辑PostgreSQL登录信息 3、创建数据库 4、右击”表“，选择新建 5、编辑数据表的字段信息 6、编写测试数据 7、查询测试数据

本章节主要介绍如何使用Kibana或API导入数据到Elasticsearch。 云搜索服务支持使用Kibana或者API将数据导入到Elasticsearch中，数据文件支持JSON、CSV等格式。 使用Kibana导入数据 在导入数据之前，您可以使用Kibana接入集群。如下操作步骤介绍如何使用POST命令导入数据。 1.登录Kibana Console页面，详细操作请参见接入集群章节中的 在管理控制台通过Kibana接入集群。 首次登录时，需要在Kibana的左侧导航中选择“Dev Tools”，单击“Get to work”，进入Console界面。非首次登录可单击“Dev Tools”直接进入Kibana Console页面。 2.（可选）在Console界面，执行命令创建待存储数据的索引，并指定自定义映射来定义数据类型。 如果待导入数据的集群已存在可用的索引，则不需要再创建索引；如果待导入数据的集群不存在可用的索引，则需要参考如下示例创建索引。 例如：在Console界面，执行如下命令，创建索引“mystore”，并指定自定义映射来定义数据类型。 7.x之前版本 PUT/mystore { "settings": { "numberofshards": 1 }, "mappings": { "products": { "properties": { "productName":{ "type":"text" }, "size": { "type":"keyword" } } } } } 7.x之后版本 PUT/mystore { "settings": { "numberofshards": 1 }, "mappings": { "properties": { "productName": { "type":"text" }, "size": { "type":"keyword" } } } } 3.在Console界面的右侧文本框中输入要导入数据的POST命令，以导入一条数据为例，执行如下命令。 7.x之前版本 POST/mystore/products/bulk {"index":{}} {"productName":"Latest art shirts for women in 2017 autumn","size":"L"} 7.x之后版本 POST/mystore/bulk {"index":{}} {"productName":"Latest art shirts for women in 2017 autumn","size":"L"} 返回结果如下图所示，当返回结果信息中“errors”字段的值为“false”时，表示导入数据成功。 详见下图：返回消息

本节包含使用DAS的导出和导入功能迁移RDS for PostgreSQL数据的相关内容。 操作场景 当进行数据备份或迁移时，支持使用数据管理服务的数据导出功能，获取完整的数据信息，再将数据从本地或者从OBS桶导入目标数据表。 约束限制 导出或导入数据时，请谨慎，避免因操作不当导致实例或业务异常。 导入单文件大小最大可达1GB。 暂不支持BINARY、VARBINARY、TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB等二进制类型字段的导入。 RDS for PostgreSQL实例表数量超过10万时，使用DAS的“导出数据库”功能会报错表数量过多，无法导出数据。此时请使用“导出SQL结果集”功能。 导出数据 步骤 1 登录管理控制台。 步骤 2 单击管理控制台左上角的 ，选择区域。 步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。 步骤 4 在“实例管理”页面，选择目标实例，单击操作列的“登录”，进入数据管理服务实例登录界面。 步骤 5 正确输入数据库用户名和密码，单击“登录”，即可进入您的数据库并进行管理。 步骤 6 在顶部菜单栏选择“导入·导出”>“导出”。 步骤 7 在导出页面，单击左上角“新建任务”，您可根据需要选择“导出数据库”或“导出SQL结果集”。下文以导出数据库为例，导出SQL集同理。 您也可通过单击“快速导出”，选择目标数据库，在创建快速导出任务弹窗中选择存储位置，并单击“确定”。 步骤 8 在导出数据库弹出页面，您可按需选填“基本信息”及“高级选项”，并在页面右侧选择需要导出的表。 说明 SQL结果集导出任务中，执行SQL的最大限制是5M。 数据库分用户库和系统库，系统库不支持导出功能。如需导出，您需把创建用户数据库，业务部署到用户库，然后再执行导出操作。 DAS在执行导出操作时，会连接到您的备库进行导出，可以有效规避导出时对主库的性能影响，但当备库复制延迟较大时，会存在“导出的数据不是最新数据“的可能性。 步骤 9 设置完导出任务信息，单击弹出页面下部“确定”，创建导出任务。 步骤 10 在导出任务列表页面，您可查看任务ID、任务类型、任务状态、进度等信息。 步骤 11 您可在列表操作栏，单击“查看详情”，在任务详情弹出页面，查看本次导出任务执行的详情信息。 结束

参数名称 说明 字段名称 只能包含中文、英文字母、数字、左右括号、中划线和下划线，且以中文和英文字母开头。 维度属性的字段会自动显示所添加的维度的代理键名称，一般不需要修改。 字段英文名称 只能以英文字母开头，支持英文字母、数字、下划线。 数据类型 显示该维度的数据类型。 主键 选中时表示该字段为主键。 分区 选中时表示该字段为分区字段。 不为空 是否限制该字段不为空。 关联数据标准 如果您已创建数据标准，在“数据标准”列，单击按钮 可以选择一个数据标准与字段相关联。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下，将字段关联数据标准后，表发布上线后，就会自动生成一个质量作业，每个关联了数据标准的字段会生成一个质量规则，基于数据标准对字段进行质量监控，您可以前往DataArts Studio数据质量模块的“质量作业”页面进行查看。 如果您还未创建数据标准，请参见 关联维度 只有维度属性的字段需要绑定维度，度量属性的字段不需要进行此操作。 显示当前关联的维度名称。单击 可以更换关联的维度。 角色 只有维度属性的字段被添加多次时需要设置角色区分，度量属性的字段不需要进行此操作。 当同一个维度被添加多次时，需要设置不同的角色来加以区分。 描述 描述信息。

DSC的数据脱敏支持静态脱敏和动态脱敏。 数据安全中心DSC的数据脱敏不仅支持静态脱敏，还支持动态脱敏。您可以对指定数据配置脱敏规则实现敏感数据静态脱敏，您还也可以使用数据动态脱敏的API接口实现数据的动态脱敏，确保敏感信息不被泄露。 静态脱敏是一种一次性完成大批量数据的变形转换处理的方式，通常用于将生产环境中的敏感数据交付至开发、测试或外发环境等情况下。它适用于开发测试、数据分享、数据研究等场景。您可以通过DSC控制台创建脱敏任务，快速实现数据库和大数据的脱敏。 脱敏算法 脱敏算法 脱敏方式说明 使用场景 Hash脱敏 使用Hash函数对敏感数据进行脱敏。支持SHA256和SHA512。 SHA256 将数据库表中字符串类型字段的内容用其SHA256的摘要值代替。 该算法执行完后，结果的长度可能超过原表中列允许的最大长度。该算法按照SHA256输出长度调整列的长度。 SHA512 将数据库表中字符串类型字段的内容用其SHA512的摘要值代替。 该算法执行完后，结果的长度可能超过原表中列允许的最大长度。该算法按照SHA512输出长度调整列的长度。 敏感类型：密钥类 适用场景：数据存储 加密脱敏 通过加密算法和加密主密钥生成一种加密配置，达到数据脱敏的效果。加密脱敏的结果中，初始向量IV为加密字符串的前16个字节，剩余部分是加密的密文。 DSC支持AES128、AES192和AES256三种加密算法。 敏感类型： 个人敏感 企业敏感 适用场景：数据存储 字符掩盖 使用指定字符或随机字符（随机字符包含随机数字、随机字母、随机数字字母三种类型）方式遮盖部分内容。 支持以下六种脱敏方式：保留前n后m、保留自x至y、遮盖前n后m、遮盖自x至y、特殊字符前遮盖、特殊字符后遮盖。 说明 敏感数据保护服务中已预置多种字符脱敏模板。 敏感类型：个人敏感 适用场景： 数据使用 数据分享 关键字替换 在指定列中查找关键词并替换。 例如，目标字符串为“张三在家吃饭”，算法执行完后映射为“张先生在家吃饭”，其中指定将“张三”替换为“张先生”。 该算法执行完后，结果的长度可能超过数据库允许的最大长度。该算法将超出部分截断后插入数据库。 敏感类型： 个人敏感 企业敏感 设备敏感 适用场景： 数据存储 数据分享 删除脱敏 将指定字段设置为Null或空值进行脱敏。 Null脱敏 将任意类型字段设置为NULL。 对于列属性设置为“NOT NULL”的字段，该算法在拷贝时将该列属性修改为“NULL”。 空值脱敏 将指定字段内容设置为空值。 具体来说，将字符型的字段设置为空串，数值类的字段设置为0，日期类的字段设置为1970，时间类的字段设置为零点。 敏感类型： 个人敏感 企业敏感 设备敏感 适用场景： 数据存储 数据分享 取整脱敏 针对日期或数字特定参数进行取整运算。 日期取整 年之后字段全部取整。示例：“20190512 > 20190101”或“20190512 08:08:08 > 20190101 00:00:00” 月之后字段全部取整。示例：“20190512 > 20190501”或“20190512 08:08:08 > 20190501 00:00:00” 日之后字段全部取整。示例：“20190512 > 20190512”或“20190512 08:08:08 > 20190512 00:00:00” 小时之后字段全部取整。示例：“08:08:08 > 08:00:00”或“20190512 08:08:08 > 20190512 08:00:00” 分钟之后字段全部取整。示例：“08:08:08 > 08:08:00”或“20190512 08:08:08 > 20190512 08:08:00” 秒之后字段全部取整。示例：“08:08:08.123 > 08:08:08.000”或“1575612731312 > 1575612731000” 数字取整 针对指定数字进行取整运算。 敏感类型：通用敏感 适用场景： 数据存储 数据使用

态势感知的数据来源。 态势感知（专业版）基于云上威胁数据和云服务采集的威胁数据，通过大数据挖掘和机器学习，分析并呈现威胁态势，并提供防护建议。 一方面采集全网流量数据，以及安全防护设备日志等信息，通过大数据智能AI分析采集的信息，呈现资产的安全状况，并生成相应的威胁告警。 另一方面汇聚企业主机安全（Host Security Service，HSS）、Web应用防火墙（Web Application Firewall，WAF）等安全防护服务上报的告警数据，从中获取必要的安全事件记录，进行大数据挖掘和机器学习，智能AI分析并识别出攻击和入侵，帮助用户了解攻击和入侵过程，并提供相关的防护措施建议。 态势感知（专业版）通过对多方面的安全数据的分析，为安全事件的处置决策提供依据，实时呈现完整的全网攻击态势。

指标分类 指标名称 指标说明 磁盘占用率 实例数据磁盘使用量 该指标用于统计测量对象的实例数据磁盘已使用大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘总量 该指标用于统计测量对象的实例数据磁盘总大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘使用率 该指标用于统计测量对象的实例数据磁盘已使用百分比，该值为实时值。 (单位：%) 负载 死锁次数 该指标用于统计数据库发生事务死锁的次数，取该时间段的增量值。 (单位：次) 负载 80% SQL的响应时间 该指标用于统计数据库80% SQL的响应时间，该值为实时值。 (单位：us) 负载 95% SQL的响应时间 该指标用于统计数据库95% SQL的响应时间，该值为实时值。 (单位：us) 内核资源 buffer命中率 该指标用于统计数据库buffer命中率。 (单位：%)

本节介绍为什么WAF、HSS中的数据和SA中的数据不一致。 由于SA中汇聚WAF和HSS上报的所有历史告警数据，而WAF和HSS中展示的是实时告警数据，导致存在SA与WAF、HSS中数据不一致的情况。 因此，建议您前往对应服务（WAF或HSS）进行查看并处理。

操作 KMS Administrator KMS CMKFullAccess 创建密钥 √ √ 启用密钥 √ √ 禁用密钥 √ √ 计划删除密钥 √ √ 取消计划删除密钥 √ √ 修改密钥别名 √ √ 修改密钥描述 √ √ 创建随机数 √ √ 创建数据密钥 √ √ 创建不含明文数据密钥 √ √ 加密数据密钥 √ √ 解密数据密钥 √ √ 获取密钥导入参数 √ √ 导入密钥材料 √ √ 删除密钥材料 √ √ 创建授权 √ √ 撤销授权 √ √ 退役授权 √ √ 查询授权列表 √ √ 查询可退役授权列表 √ √ 加密数据 √ √ 解密数据 √ √ 查询密钥实例 √ √ 查询密钥标签 √ √ 查询项目标签 √ √ 批量添加删除密钥标签 √ √ 添加密钥标签 √ √ 删除密钥标签 √ √ 查询密钥列表 √ √ 查询密钥信息 √ √ 查询实例数 √ √ 查询配额 √ √

本文介绍数据导入工单列表页相关操作。数据导入工单列表支持查看导入任务的工单状态与结果。 前提条件 DMS用户拥有进入数据导入管理页面的菜单权限。 注意事项 数据导入工单列表页仅展示自己提交的工单。 操作步骤 1. 登录数据管理服务DMS。 2. 在左侧导航栏，点击开发空间>数据导入 ，进入数据导入工单列表页。 数据导入工单列表页功能介绍 工单查询 输入查询条件后点击查询按钮，执行查询操作。 支持的查询条件： 工单状态：下拉列表选择工单状态。 时间范围：某一时间段创建或执行的导入工单。 关键词：可输入工单号/库名/创建人相关关键字。 数据导入 点击数据导入按钮可添加新的数据导入任务，详见提交导入任务。 重试 针对异常的工单，可以根据异常原因，进行选择是否需要重试，点击重试按钮即可进行重试。 注意 重试操作并不会更改配置，请考虑重试是否可能成功后再点击按钮。 详情 在工单列表找到目标工单，点击工单号或在操作列点击详情按钮，在打开的工单详情页面可查看目标工单的详细信息。 数据导入工单详情页面，包含基础信息、任务状态、预检查、审批流程四个部分。 基础信息 以下表格为基础信息部分的说明： 内容 说明 工单类型 展示工单是导入或导出类型。 创建人 导入任务的创建用户。 工单状态 展示工单当前状态。 工单号 系统生成的工单唯一id。 创建时间 工单保存到系统的时间。 最后操作时间 工单状态最后更新时间。 库/模式信息 导入任务对应的目标库/模式信息。 导入文件类型 导入的文件格式类型，可在创建工单任务时选择。 写入方式 导入任务的写入方式，可在创建工单任务时选择。 工单说明 备注信息，可在创建工单任务时填写。

本页介绍天翼云TeleDB数据库元数据pgdatamaskmap的内容。 存储管理和配置数据脱敏策略。 名称 类型 定义 relid Oid 表的OID attnum int16 列号（属性编号） enable bool 是否启用数据掩码 option int32 数据掩码选项（见 DATAMASKKINDVALUE、DATAMASKKINDSTRPREFIX、DATAMASKKINDSTRPOSTFIX） datamask int64 数据掩码值 nspname NameData 模式的名称 tblname NameData 表的名称 maskfunc Oid 用户定义对象类型的数据掩码函数 defaultval text 默认值

态势感知的数据来源。 态势感知基于云上威胁数据和云服务采集的威胁数据，通过大数据挖掘和机器学习，分析并呈现威胁态势，并提供防护建议。 一方面采集全网流量数据，以及安全防护设备日志等信息，通过大数据智能AI分析采集的信息，呈现资产的安全状况，并生成相应的威胁告警。 另一方面汇聚企业主机安全（Host Security Service，HSS）等安全防护服务上报的告警数据，从中获取必要的安全事件记录，进行大数据挖掘和机器学习，智能AI分析并识别出攻击和入侵，帮助用户了解攻击和入侵过程，并提供相关的防护措施建议。 态势感知通过对多方面的安全数据的分析，为安全事件的处置决策提供依据，实时呈现完整的全网攻击态势。

查看对比任务 步骤 1 在“实时迁移管理”页面，选择指定的实时迁移任务，单击“操作”列的“查看对比”。 步骤 2 在“迁移对比”页签，可查看数据对比结果。 结束 数据修复 当静态内容对比结果中存在不一致数据时，可在对比报表的明细页中选取不一致的表进行数据修复。数据修复结果为可在目标库执行的修复SQL。修复完成后可在对比报表的修复进度明细页查看不一致行的修复SQL生成详情，也可导出和下载针对本次对比所有已生成的不一致SQL，并结合实际情况在目标库手动执行修复SQL。数据修复具有如下约束。 1. 数据修复功能为受限使用阶段，当前仅支持MYSQLMYSQL链路。 2. 对于修复SQL为INSERT或UPDATE语句的场景，修复SQL中将展示不一致行的所有列内容，列值为对应列在源库的当前值。 3. 历史的比对任务可能由于缺少修复信息而修复失败，需要重新比对后再进行修复。 4. 每个迁移任务仅保留最新一次数据修复的修复进度明细信息页面。 5. 单个不一致行的数据大小最大支持4M，超过时对应的修复SQL将生成失败。 6. DRS生成的修复SQL中，时间类型字段的内容是基于UTC时间的，如果表中存在时间字段，目标库执行修复SQL前需先将会话时区设置为0时区。各数据库类型对应的会话时区设置SQL示例如下表。 7. 请谨慎执行修复SQL中的DELETE语句。 8. 数据修复功能无法使用在无主键表的对比结果中。 表 各数据库类型设置会话时区为0时区的SQL示例 数据库类型 时区设置SQL MYSQL SET session timezone'+00:00';

本章节主要介绍数据治理中心的新建连接功能。 操作场景 用户在创建数据迁移的任务前，需要先创建连接，让CDM集群能够读写数据源。一个迁移任务，需要建立两个连接，源连接和目的连接。不同的迁移方式（表或者文件迁移），哪些数据源支持导出（即作为源连接），哪些数据源支持导入（即作为目的连接），详情请参见支持的数据源。 不同类型的数据源，创建连接时的配置参数也不相同，本章节指导用户根据数据源类型创建对应的连接。 约束限制 当所连接的数据源发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 1. 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 2. 如果目标数据源为云上服务（如DWS、MRS及ECS等），则网络互通需满足如下条件： ①CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ②CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见《虚拟私有云》帮助文档中的“添加路由信息”章节，配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组 > 添加安全组规则”章节。 ③此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码，且该用户拥有数据导入、导出的操作权限。 使用Agent时需用主账户给子账户赋予CDM操作权限。