本文为数据中台操作指南的引言。 文档用途 本手册作为数据中台的附属说明文档，为数据中台的模型开发、模型管理、模型开发、运维实施和运维管理等角色用户，提供功能介绍和操作指导。便于用户实现在数据中台进行租户管理、数据源注册、模型开发、程序开发、数据查询取数、数据交换、调度任务配置监控、文件上传、数据上传、程序模板的开发配置、以及模型程序单元、标准上下线和变更流程。 阅读对象 适用于需要使用数据中台系统管理员、数据管理员、数据开发人员、数据运维人员、数据运营人员、系统测试人员和维护人员等。 角色定义 角色名称 角色职责 平台系统管理 配置系统初始参数， 实施初始内容。 模型开发 配置系统初始参数， 实施初始内容。 模型管理 模型设计，上线确认，标准发布/废止申请，数据下线申请。 数据开发 模型审批，标准发布审批，标准废止审批，数据权限审批。 运维实施 测试环境落表，程序开发，程序上线申请。 运维管理 数据下线申请，数据上线发布，数据任务启停，执行建表语句。 名词解释 缩写 、术语 解释 BI Business Intelligent，商业智能。 BOSS Business Operation Support System，业务运营支撑系统，用于支撑移动客户的业务运营。 Hadoop 为了能够跨分布式文件系统处理和存储大数据而构建的一种开源框架。 HBase 与Hadoop一起运行的开源非关系型分布式数据库。 HDFS Hadoop分布式文件系统，这是一种旨在可以在商用硬件上运行的分布式文件系统。 SQL SQL（结构化查询语言）是一种专门用来与数据库沟通的语言。 FROM SQL语言中的子句，表示指定SELECT语句查询及与查询相关的表或视图。 WHERE SQL语言中的子句，表示指定SELECT语句查询需要的数据筛选条件。 JOIN SQL语言中的子句，用于把来自两个或多个表的行结合起来。 UNION SQL语言中的子句，用于将多个结果合并在一起显示出来。 GROUP BY SQL语言中的子句，根据一个或多个列对结果集进行分组。 机器学习模型 基于数据集和算法代码，通过训练任务产出的结果，预测新数据。 机器学习组件 工作流任务执行的最小单元，即单个算子。 原子维度 不可拆分的维度。 组合维度 通过原子维度组合而成。 指标组 相当于数据集，基于指标组来进行维度、度量配置。 指标配置 根据指标组生成对应的维度、度量的SQL语句。

本章节主要介绍云搜索服务如何操作冷热数据存储。 云搜索服务提供了冷数据节点供企业选择，企业可以将部分现查要求秒级返回的数据放在高性能机器上面，对于历史数据要求分钟级别返回的数据放在大容量低规格节点。 说明 创建集群时，数据节点为必选，只有当选择了冷数据节点后，数据节点才会变成热节点。 选择冷数据节点的同时，支持独立选择Master和Client节点。 冷数据节点支持节点和磁盘扩容，前提是冷节点规格支持（本地盘不支持磁盘扩容）。 冷热数据切换 选择冷数据节点后，冷数据节点将会打上“cold”标签，用来表示冷节点。同时，数据节点将会上升为热节点，会被打上“hot”标签。用户可以通过配置指定索引，将数据分配到冷热节点。 通过设置template，可以通过模板将相应的index存储到指定冷热节点。 如下，登录集群的Kibana Console页面，配置myindex开头的索引，储存在冷节点上面。 这样可以通过模板在创建的时候把myindex的数据存储在冷数据节点上面。 PUT template/test { "order": 1, "template": "myindex", "settings": { "index": { "refreshinterval": "30s", "numberofshards": "3", "numberofreplicas": "1", "routing.allocation.require.boxtype": "cold" } } } 同时也可以单独对已经创建好的索引进行操作。 PUT myindex/settings { "index.routing.allocation.require.boxtype": "cold" } 也可以去掉冷热数据配置，不受冷热数据标签影响。 PUT myindex/settings { "index.routing.allocation.require.boxtype": null }

本文介绍弹性容器实例ECI的数据缓存计费规则。 计费说明 数据缓存用于提前拉取业务所需的大量数据（例如训练模型等），以便在创建ECI实例时可以直接挂载使用数据。一个数据缓存对应一个快照，创建和使用数据缓存涉及的计费项及其计费规则说明如下： 创建数据缓存 计费项 计费说明 相关文档 临时资源（ECI实例）费用 系统会自动创建一个ECI实例（2 vCPU、4 GiB内存），并挂载一块通用型SSD云盘用于中转创建数据缓存。数据缓存创建完成后，ECI实例将自动释放。其中ECI实例运行时长：受数据大小影响，数据量大相对耗时长 ECI实例计费 云硬盘费用 云硬盘挂载至ECI实例用于中转数据缓存，该云硬盘的生命周期与快照的生命周期一致，其中云硬盘容量：等于数据缓存大小 云硬盘计费说明 快照费用 一个数据缓存对应一个快照。该快照的生命周期与数据缓存的生命周期一致，保留数据缓存需支付快照存储费用 云硬盘快照计费说明

本章节主要介绍数据目录的数据目录。 通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。 资产搜索 通过资产名称和描述的关键字或按所有属性搜索资产，支持模糊搜索。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图： 选择数据目录 2.选择“数据地图 > 数据目录”。 3.在资产搜索输入框输入需要查找的数据关键字进行搜索，搜索结果以列表方式显示。 按名称和描述搜索：表示按照资产的名称和描述进行搜索。 按所有属性搜索：表示按照资产的全部属性（即详情页中展示的属性）进行搜索。 说明 支持保存当前设置的搜索条件。 支持导入搜索条件。 资产筛选 对资产搜索结果，可以基于条件进行筛选，支持的筛选条件类别如下： 数据连接：数据资产所属数据连接名称。 类型：数据资产所属类型。 分类：数据资产所属分类。 标签：数据资产所包含的标签。 密级：数据资产所属密级。 如下通过资产类型过滤搜索结果，其他类同。 1. 在类型过滤区域，选择“Table”，搜索结果显示属于Table类型的资产。 2. 类型过滤条件按照名称排序，默认只显示前五种类型，单击“全部”，显示系统目前支持的所有资产类型。 资产详情 以查看数据表详情为例。 1.在资产搜索结果列表，单击任意数据表，进入数据表详情页面。 2.在“详情”页签，可查看技术元数据基本属性、编辑描述；可给数据表添加标签和密级；可给数据表的列和OBS对象添加或删除分类、标签和密级。 详见下图：查看详情 3.在“列属性”页签，可查看数据表的列属性，给数据列添加或删除分类、标签和密级，并编辑描述。 详见下图：管理列属性 4.在“血缘”页签，可查看数据表的血缘关系，包括血缘和影响。如何配置数据血缘请参见节点数据血缘。节点配置血缘关系后，作业执行时可以自动解析，然后数据目录采集元数据时会采集上来，在数据目录中展示。 5.在“概要”页签，查看数据表的概要信息（当前仅支持DWS、DLI类型数据表查看概要）。单击“更新”，可更新概要信息。 6.在“数据预览”页签，查看数据表脱敏后的效果。 7.在“变更记录”页签，查看数据表变更详情。

本章主要介绍数据密级管理，包括密级的创建、删除和调整优先级。 只有在创建密级之后，您才可以创建数据分类，进而创建脱敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据目录”模块，进入数据目录页面。 详见下图：选择数据目录 2. 选择“数据安全 > 数据密级”，用户可以在该页面新建、管理和删除分级，也可以调整分级的优先级。 创建分级：单击“数据密级”页签左上角的“新建”，输入名称和描述。 删除：在“数据密级”页签，勾选不需要的分级，单击左上角的“删除”。 调整优先级：在“数据密级”页签，单击相应分级后的上移（提高优先级）和下移（降低优先级）。

2. 创建保密数据集 管理员用户登录智算平台，进入“我的数据集”>“基础数据集”，选择需要创建的类型，点击【创建普通/智算存储数据集】，填写保密数据集的路径，并在特殊配置中开启【设为保密数据集】按钮。可见范围对需要的用户设置，用户才可使用，保密相关的数据集读写权限系统固定。 保密数据集仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；数据挂载到容器禁止访问外网。 3. 创建保密输出路径 若您已设置保密数据集，您还需再创建一个数据集（建议保密数据集和输出路径设为两个数据集），专门用于存储保密数据集的输出，并谨慎设置相关权限： 若您使用了自有存储，建议您只给自己或管理者读写权限（第一步操作）； 此数据集的可见范围，建议您只对需要的用户设置。 点击【创建普通/智算存储数据集】，填写保密数据集的输出路径，可见范围建议与保密数据集设置一致，并在特殊配置中开启【设为保密数据集的输出路径】按钮，同时可以选择是否上报云审计及上报频率。 云审计：开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 审计频率：审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。 本平台将自动为您创建此数据集在容器内的挂载路径，并写入PROTECTOUTPUTDIRPREFIX环境变量，您可在代码中直接引用此环境变量。

使用RestHighLevelClient建立客户端 其中使用HttpHost类负责http请求，并在HttpHost类中将CredentialsProvider和SSLIOSessionStrategy配置参数类封装在自定义的SecuredHttpClientConfigCallback类配置请求连接参数。 SecuredHttpClientConfigCallback：封装所有自定义的连接参数。 CredentialsProvider：Elasticsearch API，主要使用Elasticsearch提供的方法封装用户名和密码。 SSLIOSessionStrategy：配置SSL相关参数，包括SSL域名验证方式、证书处理方式等。主要使用SSLContext类封装相关设置。 有两种方式连接集群：忽略证书方式和使用证书方式。 忽略所有证书，跳过证书校验环节进行连接 构造TrustManager，使用默认X509TrustManager，不重写任何方法，相当于忽略所有相关操作。 构造SSLContext：使用第一步的TrustManager为参数，默认方法构造SSLContext。 static TrustManager[] trustAllCerts new TrustManager[] { new X509TrustManager() { @Override public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException { } @Override public X509Certificate[] getAcceptedIssuers() { return null; } }}; final CredentialsProvider credentialsProvider new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password)); SSLContext sc null; try{ sc SSLContext.getInstance("SSL"); sc.init(null, trustAllCerts, new SecureRandom()); }catch(KeyManagementException e){ e.printStackTrace(); }catch(NoSuchAlgorithmException e){ e.printStackTrace(); } SSLIOSessionStrategy sessionStrategy new SSLIOSessionStrategy(sc, new NullHostNameVerifier()); SecuredHttpClientConfigCallback httpClientConfigCallback new SecuredHttpClientConfigCallback(sessionStrategy,credentialsProvider); RestClientBuilder builder RestClient.builder(new HttpHost(clusterAddress, 9200, "https")).setHttpClientConfigCallback(httpClientConfigCallback); RestHighLevelClient client new RestHighLevelClient(builder); 使用下载的证书（CloudSearchService.cer），加载证书进行连接。 上传证书到客户端，在命令行中使用keytool工具将证书转换成Java可以读取的证书格式：（keytool默认密码为changeit） keytool import alias 自命名 keystore 输出的证书路径和重命名名字 file 上传证书的路径 自定义TrustManager类，继承于X509TrustManager，读取上一步输出的证书，将其加入信任证书里，重写X509TrustManager接口的三个方法； 构造SSLContext：使用第一步的TrustManager为参数，默认方法构造SSLContext。 public static class MyX509TrustManager implements X509TrustManager { X509TrustManager sunJSSEX509TrustManager; MyX509TrustManager() throws Exception { File file new File("certification file path"); if (file.isFile() false) { throw new Exception("Wrong Certification Path"); } System.out.println("Loading KeyStore " + file + "..."); InputStream in new FileInputStream(file); KeyStore ks KeyStore.getInstance("JKS"); ks.load(in, "changeit".toCharArray()); TrustManagerFactory tmf TrustManagerFactory.getInstance("SunX509", "SunJSSE"); tmf.init(ks); TrustManager tms [] tmf.getTrustManagers(); for (int i 0; i < tms.length; i++) { if (tms[i] instanceof X509TrustManager) { sunJSSEX509TrustManager (X509TrustManager) tms[i]; return; } } throw new Exception("Couldn't initialize"); } final CredentialsProvider credentialsProvider new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials(userName, password)); SSLContext sc null; try{ TrustManager[] tm {new MyX509TrustManager()}; sc SSLContext.getInstance("SSL", "SunJSSE"); sc.init(null, tm, new SecureRandom()); }catch (Exception e) { e.printStackTrace(); } SSLIOSessionStrategy sessionStrategy new SSLIOSessionStrategy(sc, new NullHostNameVerifier()); SecuredHttpClientConfigCallback httpClientConfigCallback new SecuredHttpClientConfigCallback(sessionStrategy,credentialsProvider); RestClientBuilder builder RestClient.builder(new HttpHost(clusterAddress, 9200, "https")) .setHttpClientConfigCallback(httpClientConfigCallback); RestHighLevelClient client new RestHighLevelClient(builder); 代码示例 代码运行时，传入3个参数，分别是 连接地址 ，集群登录用户名 和 密码 ，示例实现的请求是GET /search{"query": {"matchall": {}}}。 说明 pom文件中客户端版本需与集群版本保持一致。

本章节主要介绍数据治理中心的配置MongoDB连接功能。 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数详见下表：MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodblink 服务器列表 MongoDB服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的MongoDB数据库名称。 DBmongodb 用户名 连接MongoDB的用户名。 cdm 密码 连接MongoDB的密码。

本章节为您介绍如数据加密网关的相关内容。 数据加密网关是一种专门为保护数据库数据存储安全而设计的高性能密码设备。它基于数据加密技术，能够在数据进入数据库之前对其进行加密处理，从而确保数据的机密性和完整性。这款创新设备在当今数据安全需求日益增长的环境下，扮演着至关重要的角色。 注意 在正式接入生产环境前，强烈建议您使用测试环境配合数据加密网关进行充分调试验证，确保通过后再切换至生产环境。 若因未遵循此操作流程导致的系统故障或数据风险，相关责任需由接入方自行承担。 核心功能与优势 数据加密：数据库加密网关采用先进的加密算法，对数据进行实时加密。无论是静态数据还是传输中的数据，都能得到有效保护，防止未经授权的访问和数据泄露。 高性能处理：作为一款高性能密码网关设备，它具备出色的处理能力，能够在保证数据安全的同时，不降低数据库的读写性能。这使得它在处理大量数据时依然能够保持高效稳定。 密钥管理：内置完善的密钥管理系统，能够安全地生成、存储和管理加密密钥。密钥的严密管理是数据安全的重要保障，防止密钥泄露导致的数据风险。 透明加密：提供透明的加密服务，应用程序无需改动即可享受数据加密保护。数据库加密网关在后台自动完成加密和解密操作，简化了数据安全管理。 兼容性强：支持多种数据库系统和应用程序，无需对现有系统进行大规模改造即可部署。这使得它能够快速融入企业现有的IT架构，提供即时的数据安全防护。

数据管理服务DMS的数据对比功能支持同构数据库表之间的行数据差异对比，通过复制执行对比结果中的变更SQL，实现从源实例表到目标实例表的行数据同步效果。 前提条件 目前数据对比的支持数据库类型有：MySQL、PostgreSQL，源数据库实例和目标数据库实例的数据库类型需要相同。 数据对比目前为企业版功能，请用户使用该功能前，切换到DMS企业版，切换步骤及实例注意事项详见 版本说明 。 数据对比要求当前用户以及登录实例的账户，拥有源数据库和目标数据库的查询权限。如需要添加对比的数据库到DMS，请详见 实例管理 。 注意事项 当前仅支持带有主键或唯一键的表进行对比，且配置映射字段的数据类型需要相同。 当前仅支持选择相同数据库类型，某些字段类型不支持数据对比，执行数据对比时会失败。 说明 MySQL不支持数据对比的字段：tinyblob/blob/mediumblob/longblob/tinytext/text/mediumtext/longtext。 PostgreSQL不支持数据对比的字段：所有用户自定义字段。 每个工单最多保存10000行SQL语句，每个表最多保存500行SQL语句，超过500行变更SQL的表仅展示500条行差异，保留7日后过期删除。 比较时不对源和目标实例进行锁表操作，请避免比较时进行增删改业务，可能会影响对比结果。 功能概括 数据对比功能支持同构数据库中，不同表之间的行数据差异对比，即比较两表配置映射字段的数据是否一致，并生成差异化脚本（变更SQL）供用户自行复制执行，以修复源表和目标表行数据不一致的情况。

本章主要介绍API网关的概述。 API网关（API Gateway）是为您提供高性能、高可用、高安全的API托管服务，帮助您轻松构建、管理和部署任意规模的API。借助API网关可以简单、快速、低成本、低风险地实现内部系统集成、业务能力开放及业务能力变现。 若您想快速体验开放API和调用API的操作流程，请参考开放API和调用API。这里以APP认证类型的简易认证举例，端到端操作快速上手。 使用流程 使用API网关进行API的托管流程如下图所示。 API提供者在API网关中开放自己的API服务，API调用者从API网关中获取并调用API。 开发API 企业或开发者通过API网关开放自身的服务与数据，实现业务能力变现。 图 开放API基本流程 1. 创建实例 实例是一个独立的资源空间，所有的操作都是在实例内进行，不同实例间的资源相互隔离。 2. 创建API分组 每个API都归属到某一个API分组下，在创建API前应提前创建API分组。 3. 绑定域名 在开放API前，您需要为API分组绑定一个独立域名，供API调用者访问API使用。 在绑定独立域名前，您可以使用系统为API分配的调试域名进行API调试，每天最多可以访问调试域名1000次。 4. 创建API 把已有后端服务封装为标准RESTFulAPI，并对外开放。 API创建成功后，您可根据业务需求对API设置访问策略： 传统策略 流控控制 流量控制可限制单位时间内API的被调用次数，保护后端服务。 访问控制 访问API的IP地址和账户，您可以通过设置IP地址或账户的黑白名单来拒绝/允许某个IP地址或账户访问API。 签名密钥 签名密钥用于后端服务验证API网关的身份，在API网关请求后端服务时，保障后端服务的安全。 插件策略 跨域资源共享策略说明 跨域资源共享策略为跨域访问提供指定预检请求头和响应头、自动创建跨域预检请求API的扩展能力，可快速、灵活的实现API的跨域访问。 HTTP响应头管理策略说明 您可以自定义HTTP响应头，在返回的API响应中指定您配置的响应头。 流量控制2.0策略说明 您可以限制单位时间内API的被调用次数，支持参数流控、基础流控和基于基础流控的特殊流控。 Kafka日志推送策略说明 Kafka日志推送策略提供了把API的详细调用日志推送到Kafka的能力，方便用户获取API的调用日志信息。 断路器策略说明 断路器是API网关在后端服务出现性能问题时保护系统的内置机制。 第三方认证策略说明 您可以通过第三方认证策略配置自己的鉴权服务为API的访问进行认证。 5. 调试API 验证API服务的功能是否正常可用。 6. 发布API 把API发布到环境中，API只有在发布到环境后，才支持被调用。

编辑数据库 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，展开创建的数据连接，并右键单击数据库名称，选择“修改”。 3. 在弹出的页面中修改数据库的信息。 4. 单击“确定”，保存修改。 删除数据库 1. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 2. 在左侧菜单选择，展开创建的数据连接，并右键单击数据连接名称，选择“删除”。 3. 在弹出的数据连接列表页面，单击“删除”。 4. 单击“确定”，保存修改。

本章节主要介绍数据治理中心的配置DDS连接功能。 DDS连接适用于云上的文档数据库服务，常用于从DDS同步数据到大数据平台。 连接云服务DDS时，相关参数详见下表： DDS连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 ddslink 服务器列表 服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称 要连接的DDS数据库名称。 DBdds 用户名 连接DDS的用户名。 cdm 密码 连接DDS的密码。

本页为您介绍数据传输服务DTS的产品规格。 数据传输服务DTS产品规格说明 数据传输服务DTS提供如下可用的产品规格： 任务类型 分类 适用场景 参考性能 数据迁移 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据迁移 中规格 小型企业及个人在线业务的去O迁移或上云 3000RPS 数据迁移 大规格 中小型企业及个人在线业务的去O迁移或上云 5000RPS 数据迁移 超大规格 大型型企业在线业务的去O迁移或上云 7000RPS 数据迁移 极大规格 超大型企业在线业务的去O迁移或上云 12000RPS 数据同步 小规格 小规格实例，一般仅用于个人学习或者非生产环境下的产品体验和功能验证 1000RPS 数据同步 中规格 小型企业及个人在线业务的数据复制与灾备 3000RPS 数据同步 大规格 中小型企业在线业务的数据复制与灾备 5000RPS 数据同步 超大规格 大型企业核心业务的本地同城灾备或异地灾备环境搭建 7000RPS 数据同步 极大规格 超大型企业核心业务的本地同城灾备或异地灾备环境搭 12000RPS 数据同步 特大规格 特大型企业核心业务的本地同城灾备或异地灾备环境搭建 30000RPS 说明 如需进行MySQL实例间双向同步、PostgreSQL实例间双向同步，请务必在订购时选择订购数据同步大规格及以上规格。您可以在订购时选择同步拓扑双向同步，此时系统将自动为您限制仅能选择数据同步大规格及以上规格；如订购时未选择双向同步，那么仅当您订购的数据同步实例是大规格及以上规格时，还可以在在实例配置配置迁移对象及高级配置环节选择双向同步。 订购MySQL>MySQL、PostgreSQL>PostgreSQL数据同步实例小规格，将不支持启动任务后修改同步对象，如需动态修改同步对象请选择订购中规格及以上规格。 当用户订购DDS/MongoDBDDS/MongoDB迁移链路、数据架构类型为分片，分片数>5时，可订购极大规格。 当用户订购DDS/MongoDBDDS/MongoDB同步链路、数据架构类型为分片，分片数>5时，可订购极大规格；分片数>9时，可订购特大规格。 各规格的线上运行性能受网络环境、源实例和目标实例的性能、延迟等因素影响，实际的性能数字会有差异。

本节介绍如何使用加速数据集。 以创建离线训练应用为例，说明如何使用加速数据集。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 确保存储插件cstorcsi运行正常。 数据集加速状态为已加速或已预热。 约束与限制 当前使用加速数据集仅限default命名空间。 如数据集加速状态为已加速或已预热，训练应用默认使用加速PVC；其他状态下，训练应用默认使用非加速PVC。 操作步骤 使用加速数据集 登录云容器引擎管理控制台 在集群列表页点击进入指定集群 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用 进入离线训练应用创建页面，进行相关信息配置，详细参考 PyTorch GPU单机训练 配置训练数据 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 训练应用创建完成，将默认使用加速PVC。以PyTorchJob为例，可以在yaml中查看挂载信息：

本文主要介绍云日志服务中数据加工的基本概念。 基本概念 ETL ETL是指将对业务系统的数据进行抽取、清洗、转换、加载的过程，从而整合零散、不标准、不统一的数据。云日志服务支持加载源日志单元数据，将数据转换后输出到目标日志单元。 事件、数据、日志 在数据加工功能中，事件、数据都表示日志，例如事件时间就是日志时间，字段操作指令fields就是用于保留或丢弃特定日志字段的指令。 日志时间 日志时间指事件所发生的时间，也称事件时间。在云日志服务中的保留字段为ts，一般由日志中的时间信息直接提取生成。数据类型为datetime。 日志标签 日志存在标记，区别于其他字段，在数据加工中，标签字段以tag:作为前缀。包括： 用户自定义标签：用户通过API PutLogs写入数据时添加的标签。 系统标签：云日志服务为用户添加的标签，包括tagfileName和taghostIp等。 配置相关概念 源日志单元 数据加工中，从中读取数据再进行加工的日志单元是源日志单元。 一个加工任务仅支持一个源日志单元，但可以对一个源日志单元配置多个加工任务。 目标日志单元 数据加工中，数据写入的日志单元是目标日志单元。 一个加工任务可以配置多个目标日志单元，可以是静态配置，也可以是动态配置。具体配置方法，请参见多目标日志单元数据分发。 SPL SPL（Semistructured Processing Language）是云日志服务数据加工使用的一种类Linux Shell的脚本语言。SPL提供内置8个基本指令和一百多个类SQL函数，简化了常见的数据加工模式。

本文介绍数据加工任务运行的指标详情。 操作入口 1. 登录云日志服务控制台。 2. 点击左侧菜单栏数据加工。 3. 点击目标数据加工任务名称，进入加工任务详情页面。 总览指标 加工速率：默认时间周期为1小时，统计窗口为1分钟，速率为数据条目数/秒。 read：从源日志单元中读到的数据条数。 delivered：成功写入到目标日志单元的数据条数。 dropped：在加工过程中丢弃的日志数据条数。 failed：从源日志单元中读取，在加工过程中发生失败的数据条数。 读取日志数统计：从源日志单元读取到的数据条数总计，默认时间周期为1小时。 写出日志数统计：成功写入到所有目标日志单元的数据条数总计，默认时间周期为1小时。 失败日志数统计：从源日志单元中读取、并在加工过程中发生失败的数据条数总计，默认时间周期为1小时。 写出日志数占比：成功投递到目标日志单元的数据条数占源日志单元读取到数据条数的比例，默认时间周期为1小时。

本节介绍数据缓存亲和性调度。 Fluid提供了数据缓存亲和性调度优化能力，根据数据集排布的Pod调度策略，支持通过Webhook机制将调度信息注入到业务Pod中，从而实现将业务Pod优先调度到有数据缓存能力的节点。 在智算场景下，创建训练任务指定数据集时，通过调度优化策略将训练任务优先调度到缓存数据节点，可以提高数据同节点访问概率，获取最大程度访问效率。 前提条件 已完成AI套件安装，弹性数据集组件运行正常。 已创建数据集并开启加速。 数据集加速状态为已加速或已预热。 功能介绍 基于Mutating Webhook机制，Fluid可以在 业务Pod 创建时拦截，检测是否使用 Fluid PVC，从而为应用Pod注入所需数据缓存的亲和性信息（fluid.io/s{namespace}{dataset}）。当Kubernetes调度器调度应用Pod时，可以优先选择有缓存数据的节点。 注意 如果应用Pod在spec.affinity或spec.nodeSelector中自定义了与fluid调度相关的亲和性信息，此时以应用Pod自身配置为准，Fluid不会注入相关的亲和性调度配置信息。 操作步骤 1、创建数据集并开启数据加速 2、训练任务使用加速数据集 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用列表 > 离线训练 > 创建AI应用； 进入离线训练应用创建页面，在“基本信息”栏添加标签： 标签名为：fuse.serverful.fluid.io/inject 标签值为：true 进入离线训练应用创建页面，进行相关信息配置，详细参考创建训练任务； 配置训练数据： 点击“选择数据集”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 点击“选择数据集版本”，在弹出页面选择“私有数据集”，选择已加速的数据集名称： 继续其他配置，完成训练应用创建。 查看训练任务调度信息 进入主菜单 > 工作负载 > 容器组，查看训练任务Pod对应的YAML信息，已经注入缓存节点调度信息： 进入主菜单 > 工作负载 > 容器组，可以看到训练任务pod 所在节点与fluid数据节点一致。

创建客户端CEK数据密钥，用来对数据库用户数据加解密。 plaintext CREACREATE COLUMN ENCRYPTION KEY columnencryptionkeyname WITH( CLIENTMASTERKEY clientmasterkeyname, ALGORITHM algorithmtype, ENCRYPTEDVALUE encryptedvalue ); 参数描述： columnencryptionkeyname：CEK数据密钥对象名，在同一命名空间中满足唯一性约束 CLIENTMASTERKEY：指定用于对当前CEK加密的CMK ALGORITHM：指定该CEK将用于何种加密算法，支持： AEADAES256CBCHMACSHA256：采用AES256 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 AEADAES128CBCHMACSHA256：采用AES128 CBC模式对数据加密实现数据机密性，通过消息验证码(SHA256生成数据摘要)确保数据的完整性和身份校验。 SM4SM3：采用国密SM4 CBC模式对数据加密实现数据机密性，通过消息验证码(国密SM3生成数据摘要)确保数据的完整性和身份校验。 ENCRYPTEDVALUE（可选项）：用户指定的密钥口令，如果不指定，则会自动生成密钥。密钥口令长度范围为[28, 256]个字符。28个字符派生出来的密钥安全强度满足AES128。如果采用用AES256，密钥口令的长度需要39个字符。如果不指定，则会自动生成256比特的密钥。

本节主要介绍添加数据目录命令。 ./stor server { A addpath } { p path } PATH & [ { n server } SERVERID ] [ capacityquota CAPACITYQUOTA ] 此命令用来为HBlock的指定服务器添加数据目录。一次可以添加多个数据目录，以英文逗号（,）分开。 说明 对于新增的数据目录，建议设置开机自动挂载，或使用已设置自动挂载的目录或子目录。 注意 每台服务器最多只能添加100个数据目录。 添加数据目录时，如果提示内存不足，您可以等此类操作全部执行完毕后，再增加系统总内存，或单独提高服务器中HBlock可使用的内存。提高服务器中HBlock可使用的内存详见设置服务器中HBlock可使用的内存。 参数 参数 描述 p PATH 或 path PATH 要添加的数据目录。一次可以添加多个数据目录，以英文逗号（,）分开。 说明 该数据目录用于存储数据，建议不要与操作系统共用磁盘或文件系统。 取值：只能包含字母、数字、汉字和特殊字符(~ ! @ $ ( ) + ; . :)。 n SERVERID 或 server SERVERID 要添加的数据目录所属服务器ID。 如果未指定服务器ID，则为执行该命令的服务器添加数据目录。 capacityquota CAPACITYQUOTA 指定数据目录的容量配额，即针对加入到服务器中的每个数据目录，HBlock可写入的数据总量。当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 取值：整型。小于数据目录所在磁盘的总容量，单位是K/k、M/m、G/g、T/t、P/p，默认单位是G/g。负整数表示无限制写入，0表示禁止写入。默认不限制写入。 注意 如果一次添加多个数据目录，只能配置一个容量配额，配置的容量配额适用添加的所有目录。

本节介绍如何新增数据投递。 约束与限制 跨账号投递仅支持投递到其他账号管道中，不支持投递到其他云服务。 如果新增的数据投递为跨账号投递，则需要登录目的账号进行授权操作。 创建数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间 > 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计> 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道后，单击目标管道名称后的“更多> 投递”，右侧弹出现在数据投递设置页面。 6. （可选）在弹出的授权提示中，确认无误后，单击“确认”，完成授权。 首次投递到目的投递类型需要进行授权，如果已经授权，请跳过该步骤。 7. 在新增投递配置页面中，配置数据投递相关参数。 1. 配置基本信息。 参数名称 参数说明 投递名称 自定义投递规则的名称。 投递资源消耗 默认生成，无需配置。 2. 配置数据源。 数据源配置中，显示当前管道数据的详细信息，无需配置。 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE，即默认从态势感知（专业版）管道投递。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称 数据位置策略 当前管道中数据位置的策略。 读取身份 数据源读取身份信息说明。 3. 配置数据目的，请根据投递目的进行配置。 PIPE：将当前管道数据投递到本账号其他管道或其他账号的管道中，请根据您的需要进行选择配置。 本账号投递：将当前管道数据投递到本账号的其他管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“本账号”。 投递类型 选择投递类型，此处选择PIPE。 工作空间 选择目的PIPE所在工作空间。 数据空间 选择目的PIPE所在数据空间。 管道 选择目的PIPE所在管道。 写入身份 默认生成，无需配置。 跨账号投递：将当前管道数据投递到其他账号的管道中，参数配置说明如下表所示。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型，此处选择“跨账号”。 投递类型 选择投递类型，此处选择PIPE。 账号ID 输入目的PIPE所在账号的ID。 工作空间ID 输入目的PIPE所在工作空间的ID，查询方法请参见查看管道详情。 数据空间ID 输入目的PIPE所在数据空间的ID，查询方法请参见查看管道详情。 管道ID 输入目的PIPE所在管道的ID，查询方法请参见查看管道详情。 写入身份 默认生成，无需配置。 4. 在“访问授权”中，查看上述步骤6中授予的权限。 投递请求需要获取访问您云资源的读写权限，授权后，投递任务才能拥有对您云资源相应的访问权限。 8. 单击“确定”。

创建数据集 1. 创建普通存储数据集：登录智算服务控制台，单击左侧菜单栏的“智算资产”>“我的数据集”菜单项进入我的数据集模块，点击“基础数据集“菜单，选择“普通/智算存储”，点击【+创建普通/智算存储数据集】，进入创建页面 2. 填写相关配置并提交。基础数据集创建目前仅支持使用自有存储，创建完成后，自动为您创建拼接此数据后缀的容器内挂载路径。 类型 字段 说明 存储基本信息 数据集名称 压缩任务名称，不超过20个字符 存储基本信息 描述 数据集描述信息 权限配置 可见范围 读写权限范围，支持设置仅文件所有者可见、指定工作空间内的算法开发角色可见两种权限策略 存储位置 存储桶/HPFS名称 您租户账号下的存储桶或HPFS名称；若您还未创建，您可点击【去创建】跳转到存储控制台进行创建 存储位置 ZOS/HPFS路径 您对应存储的具体的目录路径，您可根据提示示例进行填写，平台会对您填写路径的存在性进行校验，若校验不通过会进行提示，并禁止提交。 对于管理员用户，此项选填；对于普通子用户，此项必填。 特殊配置 设为保密数据集 对于某些行业客户，在大模型训练时会涉及到保密数据的处理问题，比如需要避免用户下载到本地造成数据泄漏，针对这类问题，平台推出了特色的数据保密功能，以应对用户下载或拷贝保密数据的行为。相关配置仅对管理员用户开放，且此功能会增加操作复杂度和资源占用，建议您只在需要的时候使用。 开启此按钮后，可将本数据集设置为保密数据集。开启保密后，此数据集将：1）仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；2）数据挂载到容器时禁止访问外网。 特殊配置 设为保密数据集的输出路径 若您已设置保密数据集，您还需再创建一个保密输出数据集，专门用于存储保密数据集的输出，并谨慎设置相关权限：1）若您使用了自有存储，建议您只给自己或管理者读写权限（需前往对应存储控制台设置），即您需要确保这是由您完全可控的存储；2）此数据集的可见范围（在本页面的权限配置设置），建议您只对需要的用户设置。 特殊配置 云审计 您设置好保密输出路径后，会自动弹出云审计设置，此设置对使用了对应保密输出数据集的任务生效。开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 特殊配置 审计频率 您开启云审计后，会弹出审计频率设置。审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。

本节主要介绍实例自定义数据的定义,以及如何将自定义数据传入实例、查看自定义数据、修改自定义数据等。 实例自定义数据 实例自定义数据是指用户给虚拟机实例上传的脚本、指令或配置文件等数据，用于管理实例的启动行为或对实例进行一些基础配置，如：完成自动化运维脚本、安装/卸载/更新软件或补丁、设置用户名及密码等。 注意 实例必须使用公共镜像或基于公共镜像创建的自定义镜像，或者确保自定义镜像中已经安装cloudinit相关组件。 创建虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 对于普通线上用户，点击【新建实例】；对于线下用户，点击【新建实例>指定区域开通】。 4. 在“高级选项”中设置实例自定义数据，虚拟机创建完成启动后，即可生效，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 已有虚拟机设置自定义数据 1. 登录ECX控制台。 2. 单击左侧【边缘虚拟机>实例】导航栏。 3. 在虚拟机列表找到目标实例，操作列依次点击【更多>实例管理>自定义数据】，编辑完成后点击【确认】，其中目前支持的自定义数据类型及格式要求，详见自定义数据格式。 4. 找到目标实例，重装虚拟机操作系统，即可为已有虚拟机设置自定义数据。 注意 为已有虚拟机设置实例自定义数据需重装后才可生效。

本文主要介绍可信数据空间的产品定义。 可信数据空间是融合数据沙箱、隐私计算、区块链、高速传输网等前沿技术打造的数据流通利用基础设施。在可信数据空间中，各参与方通过连接器接入，空间提供各类开发能力以及可信管控能力，实现对各种数据流通场景的支持。其中，数据沙箱提供了安全隔离环境和集中式的开发能力，隐私计算实现原始数据可用不可见的端到端交付，区块链实现数据全生命周期的存证溯源，高速传输网实现即时组网、弹性带宽和安全加密，保障数据在空间中安全、合规、高速、高效地流通和利用。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节为您介绍数据识别模块的相关内容。 数据识别模块包含数据标签模块。 数据标签主要包含内置标签展示，自定义标签新增、修改、删除、启停用，标签查询等功能。 新增数据标签 1.登录API风险监测实例。 2.在左侧导航栏选择“数据识别 > 数据标签”，进入数据标签页面。 3.单击“新增按钮”，即可开始数据标签新增。 4.在弹出的对话框中填写相关参数。 配置模块 配置项 说明 基础设置 标签名称 只能输入中文字符、字母、数字、下划线()、点(.)或短横()，长度不超20。 基础设置 描述 填写数据标签的描述。 基础设置 分类 可选择已有分类或自定义分类。 基础设置 分级 选择已有分级或自定义，只能使用数字进行分级。 基础设置 启用状态 选择启用或禁用。 数据特征 序号 最多添加10 项。 数据特征 识别位置 共六种，分别为：请求头、请求体、响应头、响应体、响应url、文件，可以全部选择。 数据特征 识别方式 关键词或正则匹配。 数据特征 识别规则 输入关键词或正则表达式。 二次校验 标签值 关键词或正则表达式匹配。 二次校验 标签值前20 字符 关键词或正则表达式匹配。 二次校验 标签值数量 可选择大于、小于、等于。 过滤规则 序号 过滤规则的序号。 过滤规则 规则名称 添加的过滤规则的名称。 过滤规则 匹配规则 可选过滤条件有URL、标签值、标签前文匹配，匹配类型支持正则表达式和关键词。 过滤规则 操作 删除一项规则。 过滤规则 新增一项 添加一项识别规则。 测试用例 可输入样例数据 上述规则都填写好以后，点击校验测试用例，可以校验输入的数据内容是否符合上述设置的过滤规则。 5.填写完成后，单击“确定”即可完成数据标签新增。

本节介绍了Tesla驱动及CUDA工具包获取方式的操作场景、Tesla驱动下载地址、CUDA工具包下载地址。 操作场景 使用GPU加速型云主机时，需确保已安装Tesla驱动和CUDA工具包，否则无法实现计算加速功能。本节内容提供Tesla驱动及CUDA工具包下载地址，请根据实例的类型，选择具体的驱动版本。 Tesla驱动及CUDA工具包安装操作指导请参考GPU加速型实例安装Tesla驱动及CUDA工具包。 Tesla驱动下载地址 请单击NVIDIA驱动下载（< 表 Tesla驱动产品类型对应关系 实例类型 产品类型（Product Type） 产品系列（Product Series） 产品（Product） :::: P2v Tesla VSeries V100 P1 Tesla PSeries P100 Pi2 Tesla T Series T4 G5 Tesla VSeries V100 CUDA工具包下载地址 表 P2v实例CUDA工具包下载地址 实例类型 操作系统 CUDA版本 下载路径 CPU架构 ::::: P2v (V100) CentOS 7.7 64bit 9.2/10.1 内核版本不高于3.10.0957.5.1.e17.x8664时可以安装9.2版本的CUDA工具包。 9.2版本：< 10.1版本： < x8664 P2v (V100) EulerOS 2.5 64bit 9.2 9.2版本：< 10.1版本： < x8664 P2v (V100) Ubuntu 16.04 64bit 9.2/10.1 内核版本不高于4.4.0141generic时可以安装9.2版本的CUDA工具包。 9.2版本：< 10.1版本： < x8664 P2v (V100) Windows Server 2019 Standard 64bit 9.2/10.1 9.2版本：< 10.1版本： < x8664 P2v (V100) Windows Server 2016 Standard 64bit 9.2/10.1 9.2版本：< 10.1版本： < x8664 P2v (V100) Windows Server 2012 R2 Standard 64bit 9.2/10.1 9.2版本：< 10.1版本： < x8664 表 P1实例CUDA工具包下载地址 实例类型 操作系统 CUDA版本 下载路径 CPU架构 ::::: P1 (P100) CentOS 7.3 64bit 9 < x8664 P1 (P100) Ubuntu 16.04 64bit 9 < x8664 P1 (P100) Windows Server 2012 R2 Standard 64bit 9 < x8664 表 Pi2实例CUDA工具包下载地址 实例类型 操作系统 CUDA版本 下载路径 CPU架构 ::::: Pi2(T4) CentOS 7.5 64bit 10.1 < x8664 Pi2(T4) Ubuntu 16.04 64bit 10.1 < x8664 Pi2(T4) Windows Server 2016 Standard 64bit 10.1 < x8664 表 G5实例CUDA工具包下载地址 实例类型 操作系统 CUDA版本 下载路径 CPU架构 ::::: G5.8xlarge.4 (V100直通) CentOS 7.5 64bit 10.1 < x8664 G5.8xlarge.4 (V100直通) Windows Server 2016 Standard 64bit 10.1 < x8664 G5.8xlarge.4 (V100直通) Windows Server 2012 R2 Standard 64bit 10.1 < x8664

本文主要介绍数据智能中台的购买类问题。 天翼云都有哪些资源池可以订购数据智能中台产品？ 当前只支持在华东1资源池订购，全网可访问。 数据智能中台的哪些销售品可以独立购买？ 数据中台、高质量数据集平台和AI中台。 数据智能助理可以怎么购买？ 购买数据智能助理之前，首先需要先购买数据中台。

{Job.getNodeOutput('preDLI')} ，其中preDLI为前一个节点的名称。 − 作业运行参数：用于将数据集中的数据传递到子作业以供使用。Source对应的是数据集TableList表的第一列，Destination是第二列，所以配置的EL表达式分别为 {Loop.current[0]} 、 {Loop.current[1]} 。 详见下图：配置For Each算子 配置完成后保存作业。 5. 测试运行主作业。 点击主作业画布上方的“测试运行”按钮，测试作业运行情况。主作业运行后，会通过For Each节点自动调用运行子作业。 点击左侧导航栏中的“实例监控”，进入实例监控中查看作业运行情况。等待作业运行成功后，就能查看For Each节点生成的子作业实例，由于数据集中有6行数据，所以这里就对应产生了6个子作业实例。 详见下图：查看作业实例 查看对应的6个DLI目的表中是否已被插入预期的数据。您可以在DataArts Studio数据开发模块中，新建DLI SQL脚本执行以下SQL命令导入数据，也可以在数据湖探索（DLI）服务控制台中的SQL编辑器中执行以下SQL命令： / 查看表a数据，其他表数据请修改命令后运行 / SELECT FROM a; 将查询到的表数据与给源数据表插入数据步骤中的数据进行对比，可以发现数据插入符合预期。 详见下图：目的表数据

本页介绍了通过利用数据分片来提升性能。 在文档数据库服务中，通过数据分片（Sharding）可以显著提升性能和扩展数据库的处理能力。数据分片是将数据库水平拆分成多个片（Shard），将数据均匀地分布在这些片上，使每个片都只处理部分数据，从而分担负载和提高性能。以下是通过数据分片来提升性能的步骤和优势： 操作步骤 1. 准备Shard节点： 在数据分片前，需要准备多个Shard节点。Shard节点是MongoDB集群中存储数据片的实例。每个Shard节点可以是一个独立的MongoDB副本集，用于保证数据的高可用性。 2. 配置Config服务器： Config服务器存储了整个集群的分片信息和配置信息。需要至少三个Config服务器来提供冗余和可用性。 3. 启用Sharding： 在文档数据库的路由节点上（mongos进程），使用 sh.enableSharding()命令来启用Sharding。 4. 选择分片键： 在启用Sharding前，需要选择一个分片键（Shard Key）。分片键是用来划分数据的字段，数据会根据该字段的值进行分片和路由到对应的Shard上。合理选择分片键很重要，它会直接影响到数据的均衡分布和查询性能。单调递增分片键： 选择单调递增的分片键（如ObjectId或时间戳），可以保证数据在插入时分布在不同的分片上，减少数据迁移。 5. 创建分片集合： 使用 sh.shardCollection()命令来创建需要分片的集合，并指定分片键。 6. 插入数据： 开始插入数据到分片集合中。文档数据库会根据分片键的值，将数据分布到不同的Shard上。

本章主要介绍翼MapReduce的恢复OMS数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对FusionInsight Manager系统进行重大数据调整等操作后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，需要对Manager进行恢复数据操作。 管理员可以通过FusionInsight Manager创建恢复Manager任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Manager数据。 对系统的影响 恢复过程中需要重启Controller，重启时FusionInsight Manager无法登录和操作。 恢复过程中需要重启所有集群，集群重启时无法访问。 Manager数据恢复后，会丢失从备份时刻到恢复时刻之间的数据，例如系统设置、用户信息、告警信息或审计信息。可能导致无法查询到数据，或者某个用户无法访问集群。 Manager数据恢复后，系统将强制各集群的LdapServer从OLadp同步一次数据。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查OMS资源状态是否正常，检查各集群的LdapServer实例状态是否正常。如果不正常，不能执行恢复操作。 检查集群主机和服务的状态是否正常。如果不正常，不能执行恢复操作。 检查恢复数据时集群主机拓扑结构与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 检查恢复数据时集群中已添加的服务与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 停止依赖集群运行的上层业务应用。

本文为您介绍创建数据订阅任务的操作场景、前提条件和操作步骤。 操作场景 场景一：数据实时分析 使用云监控数据订阅功能，将业务进行异步解耦，在不影响源库业务的情况下，实时同步监控数据（指标、事件）或告警数据到客户自有分析系统中，帮助企业用户进行实时数据分析。 场景二：数据归档存储 使用云监控数据订阅功能，您可将资源监控或告警数据的增量更新数据，实时地推送到归档数据库或数据仓库。 说明 数据订阅功能当前为受限开放，如有需求可以联系客户经理为您开放此功能。 资源池下单个用户最多可创建10个数据订阅任务。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 注意 数据订阅功能数据类型支持指标数据、事件数据，订阅方式支持分布式消息服务及API方式。 指标数据订阅支持分布式消息服务（kafka）及remotewriteapi方式。 事件数据订阅支持分布式消息服务（kafka）及apipush方式。（事件订阅入口为：云监控服务>事件监控>事件订阅） 创建订阅任务需提前创建订阅渠道。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击左侧“数据订阅”菜单，进入数据订阅任务列表。 5. 单击“创建订阅任务”功能，进入数据订阅任务创建二级页面。 6. 创建订阅任务参数配置如下： 模块 参数 参数说明 配置示例 备注 选择订阅对象 服务维度 选择需要订阅数据的服务维度信息，支持多选 云主机云主机 选择订阅对象 监控对象类型 具体实例 选择订阅对象 选择对象 选择资源实例对象 具体实例 定义订阅方式 订阅通道 选择公网/内网 分布式消息服务 定义订阅方式 发送渠道 Kafka Kafka 定义订阅方式 订阅失败缓存时间 输入用户客户端地址 基础信息 订阅任务名称 填写自定义订阅任务名称 testtask 基础信息 描述 填写订阅任务描述信息 说明 关于告警数据订阅全部资源的场景，涉及两个周期： 订阅服务subscription同步订阅配置的周期，预计上线配置2分钟。 数据订阅配置全部资源，也需要周期同步全量的实例资源，预计线上配置3分钟。 因此，考虑极限情况，告警订阅服务在周期1 + 周期2之后产生的告警，订阅服务才能匹配消费到。