本文介绍如何提交导出任务,数据管理服务支持多种格式的数据导出。 前提条件 操作用户拥有目标数据库的导出权限。 当前组织处于基础版时，需要目标数据库已是登录状态。 操作步骤 1. 登录DMS控制台。 2. 在左侧导航栏，单击开发空间>数据导出 ，进入数据导出管理页面。 3. 单击数据导出 按钮，弹出数据导出工单填写页面，工单需要输入的内容说明见下表1。 4. 填写完数据导入工单后，单击评估按钮，对当前的导出任务进行一个评估，输出预计导出行数以及预估导出所需要的时间，提供参考。 5. 点击提交按钮，即完成数据导出工单创建。 6. 当前组织处于基础版时，数据导出任务进入任务执行阶段。 7. 当前组织处于企业版时，数据导出工单依次进入预检查、审批流程、任务执行阶段。 表1 工单输入内容说明 输入内容 说明 选择数据库/模式 数据库/模式选择列表，数据来源于数据资产 >实例管理中添加的数据库实例，支持MySQL、PostgreSQL、SQL Server、DRDS、MongoDB、DDS、ClickHouse、Oracle、MariaDB。 导出类型 对于非MongoDB和DDS数据源，可以选择整库/模式导出、部分表导出、SQL结果集三种导出类型其中之一。若是部分表导出，需要选择表；若是SQL结果集导出，需要输入SQL查询语句。对于MongoDB和DDS数据源，可以选择集合导出、查询结果集两种导出类型其中之一。若是集合导出，需要选择集合；若是查询结果集导出，需要输入find类型语句。 导出内容 对于MySQL和PostgreSQL数据源，在导出时可以选择只导出结构或者数据，也可以选择都导出。对于其他数据源，默认导出数据。 导出文件类型 支持CSV（逗号分隔值）、EXCEL、SQL、TXT、JSON文件。您可以根据需要选择最适合您工作流程的格式。 导出结构类型 对于MySQL和PostgreSQL数据源，当导出内容选择结构、数据和结构时，导出结构类型可选择表和可编程对象，表结构默认选中。 结果切分 导出的单个文件不超过设定的切分行数阈值（范围100～100000），超过后，自动切分为多个文件。当选择的文件类型为CSV、TXT、EXCEL时，可选择切分的文件是否包含表头。 工单说明 描述工单说明内容。 注意 当SQL语句只涉及到一张表，并且该表是全局表或者where中没有主键条件的时候，DRDS默认返回最大行数为1000。该属性通过sqlMaxLimit参数控制，可在DRDS控制台进行修改。

本页为您介绍数据传输服务DTS如何保护用户的数据。 数据传输服务DTS通过多种数据保护手段和特性，保障传输中数据的安全性和完整性。 断点续传 当用户暂停任务，或源库发生异常不可连接时，DTS数据传输服务会记录最后迁移的位点，待用户重新启动任务、源库恢复正常时，继续从当前位点开始迁移，保障用户迁移数据的完整性。 回收任务完成资源 在用户的迁移、同步任务完成后，DTS数据传输服务将会销毁迁移、同步的工作节点，不保留任何用户数据，充分保障用户的数据安全。 安全的云服务 DTS数据传输服务构建在高效、可靠、安全的弹性云主机和云存储上，结合其能力，保证迁移、同步任务稳定运行。

本节为Oracle RAC搭建最佳实践的Oracle数据库初始化进行说明。 静默安装 与grid和database安装相同，预先准备response文件，然后以静默安装的方式进行Oracle数据库的配置。 response文件位于：/u01/app/oraclehome/assistants/dbca/dbca.rsp 。 切换到oracle用户，并切换到 /u01/app/oraclehome ，执行dbca命令： [oracle@racnode01 oraclehome]$ dbca silent createDatabase responseFile assistants/dbca/dbca.rsp 以上安装命令可能会失败，需要检查执行日志文件，处理失败项，然后跳过非关键问题后继续执行： [oracle@racnode01 oraclehome]$ dbca silent ignorePrereqFailure createDatabase responseFile assistants/dbca/dbca.rsp 检查状态 检查配置的ora.racdb.db是否正常 ONLINE 。 [root@racnode01 ~] crsctl stat res t ... ora.racdb.db 1 ONLINE ONLINE racnode01 Open,HOME/u01/app/o raclehome,STABLE 2 ONLINE ONLINE racnode02 Open,HOME/u01/app/o raclehome,STABLE 安装完成之后，可以通过Oracle相关测试工具（如 swingbench ），进行功能、性能、稳定性测试。

数据订阅功能支持您订阅指标或者告警数据,配置订阅任务后可以将数据转发到您配置的Topic或URL地址。 操作场景 对于实时指标/告警数据，您如需要进行二次消费使用，可以通过数据订阅功能配置订阅任务，实现数据的实时订阅消费， 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 数据订阅功能当前为受限开放阶段，仅支持部分资源池，如有需要可以联系客户经理提单开通。 创建数据订阅任务前提需先创建订阅渠道。 管理数据订阅任务 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控服务”，进入监控概览页面。 4. 选择“数据订阅”菜单，即可进入数据订阅任务列表页面。

本实践将为您介绍如何安装LVM。 操作场景 默认情况下，弹性云主机系统中并没有安装LVM，因此需要您手工安装。本章节将帮助您查询您的弹性云主机是否安装了LVM以及如何去安装LVM。 本文以云主机的操作系统为“CentOS 7.5 64位”为例，不同云主机的操作系统的格式化操作可能不同，本文仅供参考。 操作步骤 以下操作步骤中云主机的操作系统为“CentOS 7.6 64bit”，回显仅供参考。 1. 登录控制中心。 2. 单击控制中心左上角的，选择地域，此处我们选择华东1。 3. 单击“计算>弹性云主机”，进入弹性云主机页面。 4. 单击待操作的弹性云主机所在行的“操作>远程登录”。 5. 以root用户身份登入云主机，登录之后如图： 6. 安装LVM管理工具的第一步首先是确认当前主机中是否已经安装过LVM管理工具，您可以执行命令：rpm qa grep lvm2，回显如图： 这样的回显表示当前主机中并未安装LVM管理工具。默认情况下，弹性云主机的LVM管理工具都是未安装状态。 7. 在未安装状态下执行命令 yum install lvm2，使用yum安装LVM管理工具，并根据提示信息完成安装。回显如下： 当出现“Complete!”时就说明已经安装成功。 8. 接下来可以再次执行命令 rpm qa grep lvm2来查验此云主机中是否已经安装成功LVM管理工具，具体回显信息如下，说明已经成功安装。

本文介绍重装/切换操作系统/变更规格对磁盘数据有影响吗 对系统盘数据的影响 重装系统（linux）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，请做好数据备份； 重装系统（windows）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，软件安装后的注册表信息，请做好数据备份。 变更规格对系统盘没有影响。 对数据盘的影响 重装系统（windows），相关软件需要试用可能造成程序不可用，需要重新安装，但是之前程序在数据盘的数据会保留。 变更规格对数据盘没有影响。

本文为您说明初始化数据盘场景及磁盘分区形式介绍。 操作场景 针对挂载至物理机的云盘数据盘或者物理机的本地数据盘，需要登录服务器初始化磁盘，即格式化磁盘，之后磁盘才可以正常使用。 系统盘 系统盘不需要初始化，创建物理机时会自带系统盘并且自动初始化，默认磁盘分区形式为主启动记录分区（MBR，Master boot record）。 数据盘 创建物理机时直接创建云盘数据盘，云盘数据盘会自动挂载至服务器。 单独创建云盘数据盘，然后将该云盘数据盘挂载至物理机。 物理机的本地数据盘。 以上三种情况创建的数据盘挂载至物理机后，均需要初始化后才可以使用，请您根据业务的实际规划选择合适的分区方式。

本章节为您介绍数据水印模块。 数据水印模块支持配置数据水印（json、xml格式数据）和网页水印，并将数据水印溯源。可配置水印模板，通过水印规则应用水印模板后生效。 水印模板 水印模板是水印配置的第一步，系统支持配置数据水印、网页水印。其中数据水印支持的算法有伪列水印、脱敏水印、无痕水印。 新增水印模板 1.登录API安全网关。 2.在左侧导航栏选择“数据水印 > 水印模板”，进入水印模板页面。 3.单击“新增”按钮，在弹出的对话框中填写相关信息。 选项 说明 名称 自定义水印模板名称，名称不允许重复。 描述 自定义水印的描述信息。 水印类型 选择启用的水印类型，可选类型包括： 数据水印 网页水印 数据水印 选择数据水印的算法： 伪列水印 脱敏水印 无痕水印 网页水印 配置网页水印的具体参数。 水印内容：选择网页水印显示的具体内容，支持多选。 字体大小：选择网页水印的字体大小。 显示方式：选择网页水印的显示方式。 间距：选择网页水印的间距类型。 倾斜角度：选择网页水印的倾斜角度。 字体颜色：选择网页水印的字体颜色。 不透明度：选择网页水印的不透明度。 水印信息 配置水印内容，网页水印可显示内容，数据水印溯源显示内容，可选项包括： API调用者 源IP API名称 自定义内容 标记水印日期 勾选后，网页水印会携带日期信息，数据水印溯源可看到标记时间。 4.填写完成后，单击“提交”即可完成新增水印模板。

本页介绍如何通过数据管理服务DMS登录关系数据库SQL Server版实例。 操作场景 创建关系数据库SQL Server版实例后，可以通过登录数据管理服务DMS对数据库实例进行数据管理、用户授权、SQL审计、数据可视化等管理操作。 前置条件 创建数据库和账号。 操作步骤 1. 在天翼云官网首页的顶部菜单栏，选择【产品 > 数据库 > 关系型数据库 > 关系数据库SQL Server版】，进入关系数据库SQL Server产品页面。然后单击【管理控制台】，进入TeleDB数据库【概览】页面。 2. 在左侧导航栏，选择【SQL Server > 实例管理】，进入实例列表页面。然后在顶部菜单栏，选择区域和项目。 3. 您有三种方式可以进入数据管理服务DMS。 1. 在实例列表上方，单击【进入数据管理服务】，即可进入到DMS的首页，根据提示信息填写相关信息，即可登入DMS。 2. 在实例列表中，单击目标实例名称，进入实例【基本信息】页面，单击右上角的【登录数据库】，即可进入该实例的DMS登录页面。 3. 在实例列表中，找到目标实例，在【操作】列选择【更多 > 登录数据库】，即可进入该实例的DMS登录页面。 4. 登入DMS后，即可对相应实例的数据库实例进行管理。

本章节介绍如何投递日志数据至OBS桶。 约束与限制 跨账号投递仅支持投递到其他账号管道中，不支持投递到其他云服务。 如果新增的数据投递为跨账号投递，则需要登录目的账号进行授权操作。 步骤一：创建数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间> 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道后，单击目标管道名称后的“更多 > 投递”，右侧弹出现在数据投递设置页面。 6. （可选）在弹出的授权提示中，确认无误后，单击“确定”，完成授权。 首次投递到目的投递类型需要进行授权，如果已经授权，则无需执行此步骤。 7. 在新增投递配置页面中，配置数据投递相关参数。 1. 配置基本信息。 参数名称 参数说明 投递名称 自定义投递名称。 投递资源消耗 默认生成，无需配置。 2. 配置数据源。 数据源配置中，显示当前管道数据的详细信息，无需配置。 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE，即默认从态势感知（专业版）管道投递数据。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称。 数据位置策略 当前管道中数据位置的策略。 读取身份 数据源读取身份信息说明。 3. 配置数据目的，请根据投递目的进行配置。 OBS：将当前管道数据投递到OBS服务。 投递到OBS中，需要已有一个桶策略为私有、公共读或公共读写的可用的桶（暂不支持并行文件桶）。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型。投递到OBS服务仅支持选择“本账号”类型。 投递类型 选择投递类型，此处选择OBS。 桶名称 选择目的OBS桶名称。 写入身份 默认生成，无需配置。 4. 在“访问授权”中，查看步骤6中授予的权限。 投递请求需要获取访问您云资源的读写权限，授权后，投递任务才能拥有对您云资源相应的访问权限。 8. 单击“确定”。

安全办公场景 场景特点： 需要对员工行为做一定约束，对敏感岗位的电脑数据安全需要做到事前防控和事后审计，需要较丰富的管理功能。 推荐方案： 开通天翼AI云电脑（政企版）+ 管控策略+翼甲卫士（需要单独开通，详见翼甲卫士帮助指导）。 方案优势： 1、按需提供基于私网、公网的接入方式。 2、通过精细到品牌、型号的外设管控策略，防止未经授权的设备接入AI云电脑。 3、通过包括翼加密、屏幕水印、登录鉴权、登录审计在内的方式，加强信息泄露的事前威慑、事中管控、事后审计。 4、通过应用黑白名单、安全组、翼甲上网行为管理等组件，强化敏感岗位的员工行为管理。 5、提供包括文件剪切板权限、桌面工具栏权限、关机还原在内的其他个性化策略，帮助企业实现更多精细化、个性化的数据安全管理。 用户场景图：

本章主要介绍翼MapReduce的恢复Hive业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Hive数据。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动Hive的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查Hive备份文件保存路径。 停止Hive的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

使用RestHighLevelClient建立客户端 其中使用HttpHost类负责http请求，并在HttpHost类中将CredentialsProvider和SSLIOSessionStrategy配置参数类封装在自定义的SecuredHttpClientConfigCallback类配置请求连接参数。 SecuredHttpClientConfigCallback：封装所有自定义的连接参数。 CredentialsProvider：Elasticsearch API，主要使用Elasticsearch提供的方法封装用户名和密码。 SSLIOSessionStrategy：配置SSL相关参数，包括SSL域名验证方式、证书处理方式等。主要使用SSLContext类封装相关设置。 有两种方式连接集群：忽略证书方式和使用证书方式。 忽略所有证书，跳过证书校验环节进行连接 构造TrustManager，使用默认X509TrustManager，不重写任何方法，相当于忽略所有相关操作。 构造SSLContext：使用第一步的TrustManager为参数，默认方法构造SSLContext。 static TrustManager[] trustAllCerts new TrustManager[] { new X509TrustManager() { @Override public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public X509Certificate[] getAcceptedIssuers() { return null; } }}; final CredentialsProvider credentialsProvider new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password)); SSLContext sc null; try{ sc SSLContext.getInstance("SSL"); sc.init(null, trustAllCerts, new SecureRandom()); }catch(KeyManagementException e){ e.printStackTrace(); }catch(NoSuchAlgorithmException e){ e.printStackTrace(); } SSLIOSessionStrategy sessionStrategy new SSLIOSessionStrategy(sc, new NullHostNameVerifier()); SecuredHttpClientConfigCallback httpClientConfigCallback new SecuredHttpClientConfigCallback(sessionStrategy,credentialsProvider); RestClientBuilder builder RestClient.builder(new HttpHost(clusterAddress, 9200, "https")).setHttpClientConfigCallback(httpClientConfigCallback); RestHighLevelClient client new RestHighLevelClient(builder); 使用下载的证书（CloudSearchService.cer），加载证书进行连接。 上传证书到客户端，在命令行中使用keytool工具将证书转换成Java可以读取的证书格式：（keytool默认密码为changeit） keytool import alias 自命名 keystore 输出的证书路径和重命名名字 file 上传证书的路径 自定义TrustManager类，继承于X509TrustManager，读取上一步输出的证书，将其加入信任证书里，重写X509TrustManager接口的三个方法； 构造SSLContext：使用第一步的TrustManager为参数，默认方法构造SSLContext。 public static class MyX509TrustManager implements X509TrustManager { X509TrustManager sunJSSEX509TrustManager; MyX509TrustManager() throws Exception { File file new File("certification file path"); if (file.isFile() false) { throw new Exception("Wrong Certification Path"); } System.out.println("Loading KeyStore " + file + "..."); InputStream in new FileInputStream(file); KeyStore ks KeyStore.getInstance("JKS"); ks.load(in, "changeit".toCharArray()); TrustManagerFactory tmf TrustManagerFactory.getInstance("SunX509", "SunJSSE"); tmf.init(ks); TrustManager tms [] tmf.getTrustManagers(); for (int i 0; i < tms.length; i++) { if (tms[i] instanceof X509TrustManager) { sunJSSEX509TrustManager (X509TrustManager) tms[i]; return; } } throw new Exception("Couldn't initialize"); } final CredentialsProvider credentialsProvider new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password)); SSLContext sc null; try{ TrustManager[] tm {new MyX509TrustManager()}; sc SSLContext.getInstance("SSL", "SunJSSE"); sc.init(null, tm, new SecureRandom()); }catch (Exception e) { e.printStackTrace(); } SSLIOSessionStrategy sessionStrategy new SSLIOSessionStrategy(sc, new NullHostNameVerifier()); SecuredHttpClientConfigCallback httpClientConfigCallback new SecuredHttpClientConfigCallback(sessionStrategy,credentialsProvider); RestClientBuilder builder RestClient.builder(new HttpHost(clusterAddress, 9200, "https")) .setHttpClientConfigCallback(httpClientConfigCallback); RestHighLevelClient client new RestHighLevelClient(builder); 代码示例 代码运行时，传入3个参数，分别是 连接地址 ，集群登录用户名 和 密码 ，示例实现的请求是GET /search{"query": {"matchall": {}}}。 说明 pom文件中客户端版本需与集群版本保持一致。

本文主要介绍选择合适的节点数据盘大小。 在节点在创建时会默认创建一块数据盘，供容器运行时和Kubelet组件使用，详情请参见数据盘空间分配说明。由于容器运行时和Kubelet组件使用的数据盘不可被卸载，且默认大小为100G，出于使用成本考虑，您可手动调整该数据盘容量，最小支持下调至20G，节点上挂载的普通数据盘支持下调至10G。 须知 调整容器运行时和Kubelet组件使用的数据盘大小存在一些风险，根据本文提供的预估方法，建议综合评估后再做实际调整。 过小的数据盘容量可能会频繁出现磁盘空间不足，导致镜像拉取失败的问题。如果节点上需要频繁拉取不同的镜像，不建议将数据盘容量调小。 集群升级预检查会检查数据盘使用量是否超过95%，磁盘压力较大时可能会影响集群升级。 Device Mapper类型比较容易出现空间不足的问题，建议使用OverlayFS类型操作系统，或者选择较大数据盘。 从日志转储的角度，应用的日志应单独挂盘存储，以免dockersys分区存储空间不足，影响业务运行。 调小数据盘容量后，建议您的集群安装npd插件，用于检测可能出现的节点磁盘压力问题，以便您及时感知。如出现节点磁盘压力问题，可根据数据盘空间不足时如何解决进行解决。

可信数据空间是融合数据沙箱、隐私计算、区块链、高速传输网等前沿技术打造的数据流通利用基础设施。在可信数据空间中,各参与方通过连接器接入,空间提供各类开发能力以及可信管控能力,实现对各种数据流通场景的支持。其中,数据沙箱提供了安全隔离环境和集中式的开发能力,隐私计算实现原始数据可用不可见的端到端交付,区块链实现数据全生命周期的存证溯源,高速传输网实现即时组网、弹性带宽和安全加密,保障数据在空间中安全、合规、高速、高效地流通和利用。

为了保证用户数据的安全，OOS提供以下安全策略来保障用户数据的安全性：用户签名验证、Bucket权限控制、访问控制、Bucket Policy安全策略、合规保留。详见API参考 安全策略。 在用户访问层面，所有针对OOS的数据请求都需要进行签名验证，OOS提供全方位的访问控制策略，使文件的拥有者对该文件有灵活的访问控制权。 在数据传输层面，不论是通过Web门户还是REST接口，用户的数据访问和操作都可以通过HTTPS协议进行，以确保数据传输中没有安全死角。 在数据存储层面，OOS将用户数据自动切片，进行分布式保存，并且对每片数据进行签名，即使数据被盗，没有用户的账号信息依然无法对数据进行破解，这样就充分保证了数据在存储层面的安全性。 在OOS系统的运维层面，通过利用天翼云的“虚拟云桌面”技术，运维人员无法直接访问生产系统，而必须一个可录像的“虚拟桌面”才能访问，运维人员的一举一动都将被记录在案。 在数据中心的运维层面，天翼云具备全球最先进的数据中心管理和运营能力。OOS部署在8级抗震、一级耐火、一级防水、通过ISO27001认证的的数据中心内部，与中国电信通信枢纽数据中心（武警守卫）同级别，具备完善的门禁制度、人员访控制度、设备巡检制度，确保物理层面的万无一失。

查看数据质量评分 质量评分的满分可设置为5分，10分，100分。默认为5分制，是以表关联的规则为基础进行评分的。而表、数据库等不同维度的评分均基于规则评分，本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您可以查询所创建数据连接下数据库、数据库下的数据表以及数据表所关联规则的评分，具体评分对象的计算公式，请参见下表。 对象评分计算公式 对象 评分计算公式 规则 创建质量作业时，作业关联的规则中结果说明列包含“比率”、“值率”的系统内置规则及用户自定义规则可以生成质量评分报告。 包含“比率”、“值率”的规则可以分为正向规则及反向规则，正向规则即比值越高，代表数据质量越好；反向规则即比值越高，则数据质量越差。 正向规则包含唯一值率、重复值率、合法比率规则，反向规则包含空值率规则。 正向规则评分满足规则的数据行数/数据总行数满分（5，10，100）。 反向规则评分（1满足规则的数据行数/数据总行数）满分（5，10，100）。 数据表 表评分计算公式：∑(表关联的所有规则评分规则权重)/∑规则权重 数据库 数据库下所有数据表评分的加权求平均值，即：∑数据库下所有数据表评分/表的数量。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 选择数据质量 2.选择“数据质量监控 > 质量报告”。 3.在“技术报告”页签，选择数据连接及截至日期，查询截至日期前7天的数据质量评分，如下图所示。 选择数据连接 说明 以评分满分为5分为例。其中45分评价为优秀，34分为良好，23分为不及格，12分为较差，01分为极差。 当天质量评分数据在次日凌晨生成。 质量评分历史趋势中的实线为截至日期前7天质量评分组成的连线，虚线为这7天质量评分的平均分。 若一天多次运行该作业，当天的质量评分为最后一次的得分。 4.单击“表评分”列的评分值链接，展开该表关联的规则评分。 5.单击“规则评分”列的评分值链接，展开该规则关联的字段评分，如下图所示。 表关联规则评分界面

本文主要介绍MySQL数据迁移后sql执行速度慢的原因分析及解决方案。 场景描述 数据迁移至MySQL实例后，sql语句执行明显慢于原数据库。 原因分析 数据迁移至MySQL实例后，第一次执行的sql比在原数据库执行的性能差， 是由MySQL的bufferpool机制决定的：sql语句第一次执行时，由于执行计划和查询数据等信息未加载至bufferpool中，需要生成执行计划，并从磁盘加载数据，磁盘IO读写性能明显差于内存bufferpool的读写性能，因为第一次执行速度会慢很多；sql第一次执行完后，读取的数据会被存放于内存的bufferpool中，当第二次执行相同语句时，数据直接从bufferpool中读取，因此数据的访问速度明显快于第一次从磁盘访问数据速度。 该场景中，在原数据库中执行sql读取的数据一般来源于bufferpool，访问速度极快。当数据迁移到云上MySQL时，第1次执行同样的sql语句，需要从磁盘读取，就会访问较慢，当再次执行相同sql会从内存读取，执行速度就会恢复正常。 解决方案 该场景属于正常现象，在同一个数据库中，第1次执行sql时很慢，但再次执行由于数据已经被加载到bufferpool中，执行速度会明显提升。

本文介绍如何在科研助手中创建数据集。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据存储】的【数据集管理】。 3. 在【数据集管理 】页面，点击左上角的【个人数据集 】选项卡。 4. 在【个人数据集】页面，点击左上角的【创建数据集】按钮。 5. 在弹出的【创建数据集 】页面中，存储类型选择【SFS 】，配置参数。创建数据集页面如下： 6. 点击右下角的【确认】，即可完成数据集的创建。 7. 具体参数如下表所示： 参数 说明 是否必选 名称 作业名称。要求如下：长度范围为4~36个字符。名称由小写字母、数字、中划线（）组成。以小写字母开头。以小写字母或数字结尾。 是 可用区 开发机可选的可用区。 是 存储类型 数据集使用的存储类型，默认为SFS。 是 选择IO类型 IO类型，默认为超高IO云硬盘。 是 存储容量 数据集的存储容量大小，要求输入为数字，单位为GiB。 是

关于媒体存储数据迁移的能力概述。 适用场景 媒体存储为客户提供在线迁移服务，客户可以通过在线迁移服务实现以下数据迁移场景： 将同个账号的媒体存储的某个bucket数据迁移至另一个bucket。 跨不同的天翼云账号迁移媒体存储间的数据。 将第三方数据，如阿里云、AWS等数据迁移到媒体存储。 说明 目前数据迁移为内测能力，如有需要，可联系客户经理或 功能说明 数据迁移具备以下能力： 用户可以通过媒体存储控制台页面，快速配置数据迁移策略；可指定需要迁移的对象范围、覆盖方式。 提供任务管理页面，用户可随时掌握迁移进度，管理迁移任务。 采用HTTPS数据加密通道，保证迁移传输安全；服务会自动比对数据，保证迁移数据的准确性。 提供迁移报告，用户可直观了解迁移总数、成功数、失败数，支持失败对象一键重试。 使用方式 操作途径 使用方式 控制台 可参考：创建迁移任务。

本章节主要介绍数据架构使用流程。 DataArts Studio数据架构的流程如下： 1.准备工作 ： −添加审核人 ：在数据架构中，业务流程中的步骤都需要经过审批，因此，需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 −管理配置中心 ：数据架构中提供了丰富的自定义选项，统一通过配置中心提供，您需要根据自己的业务需要进行自定义配置。 2.数据调研 ：基于现有业务数据、行业现状进行数据调查、需求梳理、业务调研，输出企业业务流程以及数据主题划分。 −主题设计 ：通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。 主题域分组 ：基于业务场景对主题域进行分组。 主题域 ：互不重叠数据的高层面的数据分类，用于管理其下一级的业务对象。 业务对象 ：指企业运作和管理中不可缺少的重要人、事、物信息。 −流程设计 ：针对流程的一个结构化的整体框架，描述了企业流程的分类、层级以及边界、范围、输入/输出关系等，反映了企业的商业模式及业务特点。 3.标准设计 ：新建码表&数据标准。 −新建码表 ：通常只包括一系列允许的值和附加文本描述，与数据标准关联用于生成值域校验质量监控。 −新建数据标准 ：用于描述公司层面需共同遵守的属性层数据含义和业务规则。其描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 4.模型设计： 应用关系建模和维度建模的方法，进行分层建模。 −关系建模 ：基于关系建模，新建SDI层和DWI层两个模型。 SDI ：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。 DWI ：Data Warehouse Integration，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 −维度建模 ：基于维度建模，新建DWR层模型并发布维度和事实表。 DWR ：Data Warehouse Report，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 维度 ：维度是用于观察和分析业务数据的视角，支撑对数据进行汇聚、钻取、切片分析，用于SQL中的GROUP BY条件。 事实表 ：归属于某个业务过程的事实逻辑表，可以丰富具体业务过程所对应事务的详细信息。 5.指标设计 ：新建业务指标和技术指标，技术指标又分为原子指标、衍生指标和复合指标。 −指标 ：指标一般由指标名称和指标数值两部分组成，指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。 业务指标用于指导技术指标，而技术指标是对业务指标的具体实现。 −原子指标 ：原子指标中的度量和属性来源于多维模型中的维度表和事实表，与多维模型所属的业务对象保持一致，与多维模型中的最细数据粒度保持一致。 原子指标中仅含有唯一度量，所含其它所有与该度量、该业务对象相关的属性，旨在用于支撑指标的敏捷自助消费。 −衍生指标 ：是原子指标通过添加限定、维度卷积而成，限定、维度均来源于原子指标关联表的属性。 −复合指标 ：由一个或多个衍生指标叠加计算而成，其中的维度、限定均继承于衍生指标。 注意，不能脱离衍生指标、维度和限定的范围，去产生新的维度和限定。 6.数据集市建设 ：新建DM层并发布汇总表。 −DM (Data Mart) ：又称数据集市。DM面向展现层，数据有多级汇总。 −汇总表 ：汇总表是由一个特定的分析对象（如会员）及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度（如会员），汇总逻辑表面向用户提供了以统计粒度（如会员）为主题的所有统计数据（如会员主题集市）。

本章节主要介绍数据治理中心的数据目录的数据权限简介。 为确保数据使用安全可控，使用数据表需要先申请权限。数据权限模块为用户提供便捷的权限管控能力，提供可视化申请审批流程，并可以进行权限的审计和管理。提高数据安全的同时，还可以方便用户进行数据权限管控。

本章节主要介绍导入数据至DLI表的方式。 通过OBS导入数据 在DLI管理控制台，将存储在OBS服务上的数据导入DLI表中入口有两个，分别在“数据管理”>“库表管理”>“表管理”页面和“SQL编辑器”页面。具体操作请参考导入数据。 通过CDM导入数据 通过数据迁移服务（CDM）将OBS上的数据导入到DLI，导入需要创建CDM队列。 具体操作请参见《数据治理中心 DataArts Studio用户指南》中的的“OBS数据迁移到DLI服务”章节。 在操作过程中请注意以下关键配置： DLI所在的VPC与CDM队列的VPC一致。 需要创建两个连接，即DLI连接，OBS连接。 传输数据的文件格式支持“CSV格式”和“JSON格式”。

本文帮助您了解对象存储的计费项—数据取回费用。 由于低频存储和归档存储是访问频次低的冷存储类型，存储空间费用较低，故在访问低频存储、归档存储类型的对象时，ZOS会额外收取数据取回费用，即取回流量费用。若您需要直接访问归档存储类型的对象，可开启归档直读。开启后下载归档存储对象会产生归档直读取回流量费用。 数据取回费用不管通过内、外网访问均会产生；如果使用外网访问，则会同时收取公网流出流量费用。 计费说明 计费项 含义 计费模式 ::: 低频存储数据取回流量费用 下载低频存储类型的数据时，会根据对象大小收取额外的数据取回流量费用。 按需计费 包年包月 归档存储数据取回流量费用 解冻归档存储类型的数据时，会根据对象大小收取额外的数据取回流量费用。 解冻后下载归档类型的文件不会产生数据取回流量费用，但会产生归档流出流量费用。 按需计费 包年包月 归档存储直读取回流量费用 开启归档直读后，下载归档存储类型的数据时，会根据对象大小收取额外的归档直读取回流量费用。 按需计费 产品定价 具体资费请参见按需计费和资源包计费中的数据取回费用价格。

本章节主要介绍ALM38008 Kafka数据目录状态异常的告警。 告警解释 系统每60秒周期性检测Kafka数据目录状态，当检测到某数据目录状态异常时产生该告警。 平滑次数为1，当数据目录状态恢复正常后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 目录名 产生告警的目录名称。 Trigger Condition Kafka数据目录状态异常。 对系统的影响 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 可能原因 数据目录权限被篡改。 数据目录所在磁盘故障。 处理步骤 检查故障的数据目录权限 根据告警提示的主机信息，登录到该节点上。 1. 查看告警详细信息中所提示的数据目录及其子目录，属组是否为omm:wheel。 是，记录当前节点主机名，并执行步骤4。 否，执行步骤3。 2. 恢复数据目录及其子目录的属组为omm:wheel。 检查数据目录所在磁盘是否故障 使用omm用户，在所提示的数据目录的上一级目录下，进行创建、删除文件测试，看能够正常读写磁盘。 是，执行步骤6。 否，执行步骤5。 3. 更换或者修复数据目录所在磁盘，保证其可以正常读写。 4. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，进入Kafka实例页面，重启步骤2中主机名上的Broker实例。 5. 等待Broker启动完成之后，观察界面告警是否清除。 是，处理完毕。 否，执行步骤8。

本页为数据传输服务DTS数据同步方案概览介绍。 数据同步是指通过结构同步将源库中存在的对象结构同步到目标库，通过全量同步将源库中的存量数据同步到目标库，通过增量同步将同步过程中的增量数据同步到目标库中，从而保证源库和目标库数据保持一致。数据同步功能可以帮助您实现数据源之间的数据实时同步，其适用于数据异地多活、异地灾备、本地数据灾备、实时数据仓库等多种业务场景。 同步类型说明 DTS支持的同步类型，如下表： 同步类型 说明 结构同步 将源库中待同步对象的结构定义同步至目标库（例如表、视图、触发器、存储过程等）。 全量同步 将源库中待同步表的存量数据同步到目标库。 增量同步 将源库中待同步库、表的增量数据同步到目标库，包括DML和部分DDL。 支持的数据库类型 目前DTS数据同步支持的数据库类型，如下表： 源库类型 目标库类型 同步类型 RDS for MySQL5.7/8.0 自建MySQL5.6/5.7/8.0 RDS for MySQL5.7/8.0 自建MySQL5.7/8.0 结构+全量+增量 结构+增量 RDS for MySQL5.7/8.0 自建MySQL5.6/5.7/8.0 RDS for PostgreSQL 9.6/10/11/12/13/14/15 结构+全量+增量 结构+增量 RDS for PostgreSQL 9.6/10/11/12/13/14/15 自建PostgreSQL 9.4/9.5/9.6/10/11/12/13/14/15 RDS for PostgreSQL 9.6/10/11/12/13/14/15 自建PostgreSQL 9.5/9.6/10/11/12/13/14/15 结构+全量+增量 结构+增量 RDS for SQL Server 2016 标准版/2016 企业版 自建SQL Server 2016 标准版/2016 企业版 RDS for SQL Server 2016 标准版/2016 企业版 自建SQL Server 2016 标准版/2016 企业版 结构+全量+增量 结构+增量

本章主要介绍翼MapReduce的恢复HDFS业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HDFS进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录（例如“/tmp/logs”、“/tmp/archived”、“/tmp/hadoopyarn/staging”），不能进行HDFS恢复操作，否则进行恢复的Distcp任务会由于文件丢失而导致恢复失败。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HDFS的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HDFS备份文件保存路径。 停止HDFS的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本节介绍了通过数据辅助服务迁移数据的相关内容。 数据复制服务（Data Replication Service，简称DRS）支持在多种场景下，将源库数据迁移到目标文档数据库实例，最大限度允许迁移过程中业务继续对外提供使用，有效地将业务系统中断时间和业务影响最小化，完成数据库平滑迁移工作。 前提条件 使用数据复制服务进行数据迁移时，为了提高数据迁移的稳定性和安全性，请先阅读以确保数据库实例已满足迁移条件。 迁移场景 全量迁移 该模式为数据库一次性迁移，适用于可中断业务的数据库迁移场景，全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库，包括：表、视图、存储过程等。选择 “全量迁移” 模式，建议停止对源数据库的操作，否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 全量+增量迁移 该模式为数据库持续性迁移，适用于对业务中断敏感的场景，通过全量迁移过程中完成的目标端数据库的初始化后，增量迁移阶段通过解析日志等技术，将远端和目标端数据库保持数据持续一致。选择 “全量+增量” 迁移模式，增量迁移可以在全量迁移完成的基础上实现数据的持续同步，无需中断业务，实现迁移过程中源业务和数据库继续对外提供访问。 支持的源和目标数据库 表 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库（3.2、3.4、4.0版本 ECS自建Mongo数据库（3.2、3.4、4.0版本 其他云上Mongo数据库（3.2、3.4、4.0版本，不支持腾讯云3.2版本） DDS实例（3.4、4.0版本） DDS实例（3.4、4.0、4.2版本） 说明：仅支持目标库版本等于或高于源库版本。

本文介绍花卷慧办控制台【会议数据概览】页面的功能用途、操作方法和页面元素,帮助管理员查看企业会议使用趋势。 功能概述 会议数据概览页面用于展示企业在指定时间范围内的会议数据变化情况。管理员可通过折线图查看会议数量趋势，并通过时间筛选快速切换统计周期。 使用场景 当管理员需要了解企业会议功能近期是否被使用、会议数量是否有变化，或需要观察近几天会议活跃趋势时，可进入该页面查看。 操作步骤 1. 登录花卷慧办控制台。 2. 在左侧导航栏中进入【会议】模块。 3. 点击【会议数据概览】，进入数据概览页面。 4. 在页面右上角选择统计时间范围，可切换【今日】【近 3 天】【近 7 天】【近 30 天】。 5. 查看页面中部折线图，结合横轴时间和纵轴数量判断会议数据变化。 页面元素说明 页面元素 功能说明 面包屑导航 页面顶部展示【会议 / 会议数据概览】，用于提示当前所在功能位置。 数据概览图表 页面主体区域以折线图展示会议数据变化趋势。 时间范围筛选 页面右上角提供【今日】【近 3 天】【近 7 天】【近 30 天】快捷筛选按钮。 横轴时间 展示所选统计周期内的具体时间节点 纵轴数量 展示会议数量，用于判断会议数据是否增长或保持为 0。 左侧导航栏 支持切换总览、会议、会议数据概览、聆记、用量概览、设备管理等控制台功能。 注意 当所选时间范围内暂无会议数据时，折线图会保持在 0。切换时间范围后，系统会按新的统计周期刷新图表数据。

本节介绍了用户数据注入的使用场景、使用限制、使用方法、关于Linux云主机的用户数据脚本、关于Windows弹性云主机的用户数据脚本等内容。 使用场景 当您有如下需求时，可以考虑使用用户数据注入功能来配置弹性云主机： 需要通过脚本简化弹性云主机配置 通过脚本初始化系统 已有脚本，在创建弹性云主机的时候一并上传到服务器 其他可以使用脚本完成的功能 使用限制 Linux： 用于创建弹性云主机的镜像安装了Cloudinit组件。 用户数据大小限制：小于等于32KB。 如果通过文本方式上传用户数据，数据只能包含ASCII码字符；如果通过文件方式上传用户数据，可以包含任意字符，同时，要求文件大小小于等于32KB。 必须是公共镜像，或继承于公共镜像的私有镜像，或自行安装了Cloudinit组件的私有镜像。 必须满足相应Linux弹性云主机自定义脚本类型的格式要求。 使用的VPC网络必须开启DHCP，安全组出方向规则保证80端口开放。 选择“密码”登录方式时，不支持用户数据注入功能。 Windows 用于创建弹性云主机的镜像安装了Cloudbaseinit组件。 用户数据大小限制：小于等于32KB。 如果通过文本方式上传用户数据，数据只能包含ASCII码字符；如果通过文件方式上传用户数据，可以包含任意字符，同时，要求文件大小小于等于32KB。 必须是公共镜像，或继承于公共镜像的私有镜像，或自行安装了Cloudbaseinit组件的私有镜像。 使用 VPC网络必须开启DHCP，安全组出方向规则保证80端口开放。

本文介绍如何在科研助手中在在开发机中引用数据集。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【开发机】。 3. 在【开发机 】页面中，点击左上角【创建开发机】 4. 在【创建开发机 】页面，【数据集 】中，点击【添加】按钮。 5. 此时在下拉条中，可以选择之前已经创建好的数据集，若还未创建数据集，可单击【创建数据集】按钮。 6. 在选择完挂载数据集之后，用户可自定义填入例如“/tmp”类似的容器挂载路径。 7. 若不需要挂载数据集，也可点击右方删除操作，取消挂载数据集。

删除敏感列 当列不再需要敏感数据保护功能时，可以通过删除操作，关闭列的敏感数据保护功能。在目标敏感列右侧的操作列中，单击删除即可。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择敏感列页签，进入敏感列页面。 4. 在目标敏感列右侧的操作列中，单击删除即可。 编辑敏感列 当用户需要调整敏感列的敏感等级、脱敏算法时，可以通过编辑敏感列功能进行调整。 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择敏感列页签，进入敏感列页面。 4. 如需编辑单个敏感列，可直接在列表修改脱敏算法，或点击操作列的调整分类分级 按钮，调整敏感列的数据分类、数据分级、脱敏算法；如需编辑多个敏感列，先勾选目标敏感列，再单击批量调整按钮，在弹出的批量调整对话框中，调整敏感列的数据分类、数据分级、脱敏算法。 查看敏感列 1. 登录数据管理服务。 2. 在左侧菜单栏中，选择数据资产 > 敏感数据保护，进入敏感数据保护页面。 3. 在顶部菜单栏中，选择敏感列页签，进入敏感列页面。 4. 在敏感列页面，用户可以查看敏感列列表，支持按照实例、数据库/模式、脱敏算法、敏感等级过滤，支持按照字段名、表名关键字模糊搜索。