在数字化时代,数据已成为企业的重要资产。确保数据的安全性对于保护企业的商业机密、维护客户信任以及满足法规要求至关重要。天翼云提供了全面的数据安全解决方案,帮助用户保障数据的完整性、机密性和可用性。 数据完整性 数据完整性是指数据在存储和传输过程中保持准确和一致，未被未经授权的修改或损坏。天翼云通过以下几种技术确保数据的完整性。 数据三副本技术 数据三副本技术是一种在分布式存储系统中使用的数据冗余技术。它的原理是将数据分块后的三个副本保存在集群中不同的节点上，以提高数据的可靠性和容错性。 数据三副本技术的基本原理如下： 数据复制：当数据被写入分布式存储系统时，系统会自动将该数据分块并复制为三个副本。 副本分布：这三个副本将分散存储在不同的物理节点或存储设备上，以减少副本之间的关联性。这样，即使某个存储节点或设备发生故障，其他节点上的副本仍然可用。 容错和数据恢复：如果一个副本不可用或损坏（例如由于存储节点故障或硬件故障），系统可以使用其他副本中的数据来实现容错和数据恢复。系统会自动检测并修复副本中的数据错误或丢失。 使用天翼云云硬盘将自动开启数据三副本技术以保证数据可靠性。

迁移规则须知 暂不支持同步包含TTL（Time To Live）索引的集合。若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。 不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。 针对副本集迁移到分片集的场景没有唯一索引的情况下，会使用id作为分片键。 没有唯一索引的情况下，会使用id作为分片键。 有一个唯一索引的情况下，会使用唯一索引作为分片键。 有多个唯一索引的情况下，由于mongo分片集只允许单一唯一键，会在预检查中告警，在迁移过程中会选择一个唯一键进行迁移，请用户确认是否删除唯一键，或继续迁移。如果继续迁移，内核会选择迁移单个唯一键，并在此唯一键上建立分片键。 有多个唯一索引的情况下，由于mongo分片集只允许单一唯一键，会选择迁移单个唯一键，并使用此唯一键作为分片键。 副本集允许先插入数据再建唯一索引并视为唯一索引值为null，但是分片集插入时不允许无分片键的数据。因此此类特殊数据会出现不一致。 副本集中不包含分片键的数据，不会迁移到分片集中。 操作须知 源库须开启Oplog日志。 源端、目标端实例的运行状态、复制状态必须正常。 在迁移时，如果源库、目标库进行主备切换，将会导致任务异常。 选择表级对象迁移时，增量迁移过程中不允许对表进行重命名操作。 如迁移对象为表级别，则单次迁移任务仅支持迁移最多1000张表。当超出数量限制，任务可能会报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 在DTS迁移期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 在磁盘空间允许的情况下，建议源数据库oplog保存大小或时间越大越好。否则DTS在增量迁移时可能因无法获取oplog而导致任务失败。如果由于您所设置的oplog日志保存策略低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 全量初始化会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。建议目标库的存储空间比源库大10%以上。 建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步，否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

本章节主要介绍我的权限功能。 我的权限以“当前登录者”为第一视角，汇总展示其在平台内已获得的全部数据权限。 操作步骤 菜单选择平台管理>【我的权限】>点击【数据权限】 字段说明 字段 取值示例 业务含义 数据类型 MySQL / Hive / Kafka 数据源技术类型 数据源名称 tradecentermysql 平台内唯一标识 数据表名 订单主表 业务语义名称 数据表英文名 dwdtradeorderdf 物理表名 权限类型 查看 / 编辑 / 管理 平台定义的三级权限 来源 个人 / 团队 授权路径 是否被删除 是 / 否 数据源或表在物理库是否已删除 环境 DEV / PRO 逻辑隔离标识 有效期截止 20260630 23:59:59 权限失效时间 权限信息展示：以列表形式清晰呈现当前用户所拥有的权限详情，涵盖数据类型、数据源名称、数据表中文名与英文名等关键信息，使用户快速了解自身可操作的数据范畴。例如，用户能直观看到自己在某个特定数据库中，对于“订单表”（英文名 Orders）具有查看和编辑权限，而对 “财务表” 仅能查看。 权限类型区分：明确标注权限类型为查看、编辑或管理，用户依据相应权限执行操作，如查看权限仅允许读取数据，编辑权限可修改数据内容，管理权限则能对数据及相关设置进行全方位管控，包括权限分配等。 来源标识：标明权限来源于个人授权还是团队共享，方便用户追溯权限获取途径，理解权限范围和限制。若权限来自团队，当团队配置变动时，用户可及时知晓自身权限的潜在变化。 状态与环境标注：标注数据源或表是否被删除，避免用户对已失效数据进行无效操作。同时区分环境为开发库（DEV）或生产库（PRO），确保用户在不同环境下的操作符合规定，防止误操作导致生产数据异常。例如，仅允许在开发库进行测试性质的数据修改。 有效期管理：展示权限有效期截止日期，临近到期时平台可提醒用户申请延期或重新授权，保障用户在业务周期内的正常使用，避免因权限中断影响工作连续性。

本页介绍天翼云TeleDB数据库安全配置手册概述。 数据库是指用于存储和管理大量结构化数据的软件系统，其中包括大量重要信息或机密数据，如企业的核心业务或客户的隐私信息等。当您完成数据库安装时，建议您对数据库安全进行配置。数据库安全配置是指通过一系列安全措施加强对数据库安全进行防护。数据库安全配置核心在对数据库进行访问控制、数据加密、审计、数据脱敏和数据库备份与恢复等安全管理策略，确保数据的完整性、机密性、可用性、可控性和可审查性。 说明 数据完整性：‌保证数据的正确性、‌有效性和一致性，‌防止合法用户加入不合语义的数据。‌ 数据机密性：‌通过加密、‌访问控制和权限管理，‌保护数据不被未授权访问和泄露。‌ 数据可用性：‌确保数据在需要时能够被授权用户访问和使用。‌ 数据可控性：‌通过审计和监控，‌确保数据的使用符合安全策略。‌ 可审查性：‌通过审计日志等机制，‌使得数据的使用和变更可以被追溯和审查。 安全配置功能简介 安全功能 说明 访问控制 TeleDB支持通过设有用户权限控制和强制访问控制，对不同对象有不同的访问来控制权限，确保数据安全。 数据加密 TeleDB支持通过数据加密来确保只有授权的用户才能访问敏感信息，防止个人信息泄露。 审计 TeleDB支持通过有效的审计，组织可以及时发现和解决数据库相关的问题，降低风险，并提高数据库的整体管理水平。 数据脱敏 TelDB支持通过数据脱敏，对非授权用户隐去了部分敏感信息，又尽量保持了数据整体有效。 数据备份与恢复 ‌数据库备份与‌恢复来确保数据安全的关键措施，TeleDB支持通过定期备份数据库可以防止数据丢失或损坏。 ‌‌

检索数据 首先，我们进行基本的全文检索，不设置匹配条件，可以得到所有数据。 检索语句如下： plaintext GET /productsfruits/search { "query": { "matchall": {} } } 同样，我们可以设置检索条件、指定分词器、指定评分等多种条件根据Rest API的语法对检索的匹配数据进行筛选，得到我们希望的数据。 聚合数据 同样，Elasticsearch也可以提供数据聚合，我们按照价格区间将商品进行聚合，返回的结果如下： 这里的聚合语句如下： plaintext GET /productsfruits/search { "size": 0, "aggs": { "priceranges": { "range": { "field": "price", "ranges": [ { "from": 0, "to": 10 }, { "from": 10, "to": 20 }, { "from": 20, "to": 30 } ] } } } } 数据排序 同样，数据结果排序，也是Elasticsearch一个重要的用途，我们这里按照价格排序将结果检索出来，右侧边栏按照价格降序进行输出，如下： 排序语句如下： plaintext GET /productsfruits/search { "query": { "matchall": {} } , "sort": [ { "price": { "order": "desc" } } ] }

本节介绍专属加密服务的功能特性。 专属加密（Dedicated Hardware Security Module，Dedicated HSM）是一种云上数据加密的服务，可处理加解密、签名、验签、产生密钥和密钥安全存储等操作。 Dedicated HSM为您提供的加密硬件，帮助您保护弹性云服务器上数据的安全性与完整性，满足FIPS 1402安全要求。同时，您能够对专属加密实例生成的密钥进行安全可靠的管理，也能使用多种加密算法来对数据进行可靠的加解密运算。 功能介绍 Dedicated HSM提供以下功能： 生成、存储、导入、导出和管理加密密钥（包括对称密钥和非对称密钥） 使用对称和非对称算法加密和解密数据 使用加密哈希函数计算消息摘要和基于哈希的消息身份验证代码 对数据进行加密签名（包括代码签名）并验证签名 以加密方式生成安全随机数据 Dedicated HSM支持的密码算法 支持国际通用密码算法，满足用户各种加密算法需求。 Dedicated HSM支持的密码算法 加密算法分类 通用密码算法 国密算法 对称密码算法 AES SM1、SM4、SM7 非对称密码算法 RSA（10244096） SM2 摘要算法 SHA1、SHA256、SHA384 SM3 Dedicated HSM支持的密码机类型 密码机类型 功能 适用场景 服务器加密机 数据加密/解密、数据签名/验签、数据摘要、支持MAC的生成和验证 满足各种行业应用中的基础密码运算需求，比如身份认证、数据保护、SSL密钥和运算卸载等。 金融加密机 支持PIN码的生成/加密/转换/验证 支持MAC生成及验证 支持CVV生成及验证 支持TAC生成及验证 支持常用Racal指令集 支持PBOC3.0常用指令集 满足金融领域密码运算需求，比如发卡系统、POS系统等。 签名服务器 签名/验签、编码/解码数字信封、编码/解码带签名的数字信封、证书验证 满足签名业务相关需求，比如CA系统、证书验证、大量数据的加密传输和身份认证。

本节介绍了卸载数据盘的相关内容。 操作场景 当卸载数据盘时，支持离线或者在线卸载，即可在挂载该数据盘的云主机处于“关机”或“运行中”状态进行卸载。 弹性云主机 在线卸载磁盘，详细信息请参见《弹性云主机用户指南》中的“存储 > 在线卸载磁盘”。 物理机 当前支持将SCSI类型磁盘挂载至物理机用作数据盘，数据盘可在物理机处于“关机”或“运行中”状态进行卸载。 挂载至云主机的数据盘，磁盘属性为“数据盘”，磁盘状态为“正在使用”。当数据盘从云主机上卸载后，此时数据盘的磁盘属性仍为“数据盘”，非共享盘的磁盘状态变为“可用”，共享盘只有从所有云主机上卸载后，磁盘状态才会变为“可用”。 前提条件 对于Windows弹性云主机，在线卸载云硬盘前，请确保没有程序正在对该云硬盘进行读写操作。否则，将造成数据丢失。 对于Linux弹性云主机，在线卸载云硬盘前，客户需要先登录弹性云主机，执行umount命令，取消待卸载云硬盘与文件系统之间的关联，并确保没有程序正在对该云硬盘进行读写操作。否则，卸载云硬盘将失败。 卸载非共享云硬盘 步骤 1 登录管理控制台。 步骤 2 选择“存储 > 云硬盘”。 进入“云硬盘”页面。 步骤 3 卸载云硬盘之前是否要先查看云硬盘挂载的云主机信息。 是，执行以下操作。 在云硬盘列表中，单击待卸载的云硬盘名称。进入云硬盘详情页面。 在“云主机”页签下，您可以查看当前云硬盘挂载的云主机。 选择云主机，单击“卸载”。弹出“卸载”对话框。 单击“确定”，卸载云硬盘。 否，执行以下操作。 在云硬盘列表中，单击待卸载云硬盘所在行“操作”列下的“更多卸载”。弹出“卸载”对话框。 单击“确定”，卸载云硬盘。 返回云硬盘列表，此时云硬盘状态为“正在卸载”，表示云硬盘处于正在从云主机卸载的过程中。 当云硬盘状态为“可用”时，表示卸载成功。

本页介绍如何查看数据迁移实例的任务运行日志。 数据迁移实例在运行过程中会进入不同的状态，任务日志用于展示任务进入不同状态的顺序和时间，实例状态请参见文档实例状态说明。 操作步骤 1. 在【数据迁移】实例列表页面选择相应的实例数据，并点击实例ID进入【任务详情】页面。 2. 在【任务详情】页面点击左侧“任务日志”菜单，即可查看数据迁移实例的任务日志。

本章节主要介绍（可选）管理作业的批量解锁。 数据开发模块提供了批量解锁作业的功能，您可参照本节内容对锁定的作业进行批量解锁。 操作步骤 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 单击作业目录中的，选择“显示复选框”。 详见下图：显示作业复选框 4. 勾选需要解锁的作业，单击 > 批量解锁。弹出“解锁成功”提示。 详见下图：批量解锁

卷（Lun） 事件 描述 ActiveStandbySwitched 卷主备切换 InsufficientFDForLUNToWrite 可用故障域数量不满足卷写入要求 SufficientFDForLUNToWrite 可用故障域数量满足卷写入要求 LUNRecovered 卷还原 CannotConnectToCloud 无法连接到云 ConnectWithCloudResumed 上云连接已恢复 CloudAccountAbnormal 云账户异常 CloudAccountNormal 云账户正常 LUNCloudDataConflict 卷云端数据冲突 LUNCloudDataConflictResolved 卷云端数据冲突解除 LUNCloudHeartbeatConflict 卷云端心跳冲突 LUNCloudHeartbeatNormal 卷云端心跳正常 LUNFlattened 断开关系链完成 LUNResumed 卷恢复 LUNDataDegraded 卷数据降级 LUNDataDegradedResumed 卷数据降级恢复 LUNDataAccessResumed 卷数据访问恢复 LUNDataAccessFailed 卷数据无法访问 目标（target） 事件 描述 InitiatorConnectionFailed 客户端连接断开 InitiatorConnectionNormal 客户端连接恢复 系统（System） 事件 描述 ReachLicenseMaxCapacity 许可证容量达到上限 LicenseMaintenanceExpired 许可证过保 LicenseExpired 许可证过期 LicenseImported 许可证导入 DataDegraded 数据降级 DataDegradedResumed 数据降级恢复 DataResumed 数据恢复 DataBalanceStart 数据均衡开始 DataBalanceProgress 数据均衡过程 DataBalanceFailed 数据均衡失败 DataBalanceEnd 数据均衡结束 DataAccessFailed 数据无法访问 DataAccessResumed 数据访问恢复

数据脱敏是否支持原地脱敏？ 数据脱敏支持原地脱敏功能，请您先打开“系统配置管理>全局配置”的“数据流向”开关。然后在'脱敏/水印任务→结构化任务'下新增任务中的“数据流向”配置项下，就会出现相关选项。 数据脱敏是否支持非结构化脱敏？ 数据脱敏支持非结构化脱敏（包括XML、JSON、TXT、WORD、DICOM等），具体请先登录SysAdmin用户，查看'脱敏/水印任务→非结构化任务'。 数据脱敏数据是否会落地？ 数据脱敏系统保证敏感数据全程不落地，所有敏感数据全部在内存中处理，避免产品本身成为数据泄漏的一个风险点。 实现原理：代码用Java语言实现，脱敏步骤在JVM内存中进行，脱敏结束后，方法自动出栈，堆内存中的数据对象会被自动清理，不会落地到磁盘。 数据脱敏支持哪些脱敏算法？ 支持24大类200多种系统内置脱敏算法，适用各种业务场景主要算法支持情况如下： 置空：直接将待脱敏的信息以填充空字符或者删除的形式抹除。 乱序：在结构化数据（例如数据库）中颇为常用，对于待脱敏的列，不对列的内容进行修改，仅对数据的顺序进行随机打乱。 遮蔽：保留数据一些位置上的信息，对于敏感位置的信息使用指定的字符进行替换。 分割：保留数据一些位置上的信息，对于敏感位置的信息进行删除。 替换：使用固定值或字典映射表对敏感数据进行替换。 取整：对数值类型和日期时间类型的数据进行取整操作。 哈希：将哈希（或哈希加盐）编码后的数据作为脱敏结果输出。 仿真（保留业务含义）：考虑到业务含义，则生成的数据需符合核验规则，主要包括长度、取值范围以及校验规则和校验位的计算等。 密码学：根据所选参数指定的密码学加密算法对数据进行加密。支持的加密算法有：RSA/AES/SM2/SM4。 编码：根据所选参数指定的编码方式对数据进行编码。 保留类别频次特征：主要指的是反映事物类别的数据类型，具有有限个无序的值，或枚举类型，脱敏后各个类型出现的频次可保持不变。 保留数值统计特征：支持分布重建、平均、区间、标准化、归一化、添加噪声、一致性等算法：对数值型数据在脱敏后可保留数据中的高阶统计特征及数据分布特征，仍满足趋势分析要求。 关联关系保留：支持计算关系保留、乱序关联保留、身份信息关联保留等算法：对数据在脱敏后可保留其原始的字段间关联关系。 保留原数据：对指定的列的数据不做脱敏处理。 溯源算法:对数据本身添加仿真水印，做到精准溯源。

项目 描述 Storage Pool Name 存储池名称。 Pool Status 存储池状态： Normal：正常。 Deleting：删除中。 Fault Domain 存储池故障域级别： path：数据目录级别。 server：服务器级别。 rack：机架级别。 room：机房级别。 Base Pool 是否是基础存储池： true：是基础存储池。 false：不是基础存储池。 Total Capacity 存储池总容量。 Used Capacity 存储池已用容量。 Created Time 存储池创建时间。 Description 存储池描述信息。 LUN 卷相关信息，包含LUN for CachePool、LUN for Pool、status。 LUN LUN for CachePool 缓存存储池卷列表。 LUN LUN for Pool 存储池卷列表。 LUN status 卷的状态信息，包括卷的总数、总容量，以及各类型卷的个数及容量。 Data Health 存储池的数据健康度，包括：正常数据的比例（normal）、降级数据的比例（degraded）、错误数据的比例（error）。如果存在降级状态的数据，会给出数据重建进度（Reconstruction progress）。 Topology 存储池拓扑图，包括：Node Name、Node Type、Status、Disk Path(s)、Removing Details。 Topology Node Name 节点名称。 Topology Node Type 节点类型： path：数据目录。 server：服务器。 rack：机架。 room：机房。 Topology Status 节点健康状态： Healthy：节点处于健康状态，可正常读写。 Warning：节点处于警告状态，可读。 Error：节点处于错误状态，无法访问。 Topology Disk Path(s) 数据目录信息： No.：编号。 Path：数据目录。 Used Capacity：HBlock数据目录对应分区的已用容量。 Total Capacity：HBlock数据目录对应分区的总容量。 Used Capacity Quota：已用数据目录容量配额。 Capacity Quota：数据目录容量配额，当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 Health Status：数据目录的健康状态： Healthy：数据目录处于健康状态，可正常读写，且数据目录所在磁盘使用率未超过阈值（系统默认值为95%）。 Warning：数据目录处于警告状态，可读，但存在以下情况的任意一种：慢盘；数据目录所在磁盘使用率超过阈值（系统默认值为95%）；磁盘剩余空间不足1GiB；HBlock对这个目录停写；数据目录配额使用率超过阈值（系统默认值为95%）；数据目录配额为0。 Error：数据目录错误状态，无法访问，原因可能是：所在磁盘出现I/O错误导致无法读写，数据目录未正确挂载等。 Health Detail：数据目录健康状态详情。 如果健康状态为Healthy，此列为空。 如果健康状态为Warning或Error，显示警告或错误的详细信息。 Topology Removing Details 被移除节点的详细信息： No.：编号。 Path：节点的具体数据目录。 Stage：移除节点所处的阶段： Reconfiguration：重置中。 CheckingData：检查数据。 Executing：执行移除节点。 Details：详细数据： FaultDomains：故障域详情，包括：healthy（健康个数），warning（告警个数），error（错误个数）。 Data：safe（安全数据百分比），await reconstruction（需要重建的数据百分比），await more faultdomains（需要额外故障域才能够重建的数据百分比），singlecopy（单副本数据百分比），corrupted（已经损坏的数据百分比）。

类型 限制项 默认配额 备注 数据查询 最大查询时间范围 11000 暂不支持调整 数据查询 单次接口查询超时时间 30秒 暂不支持调整 数据查询 单次查询最多扫描时间线数量 2万 可提交工单申请扩容，扩容不会对之前上报数据生效。 数据查询 单次查询扫描最大数据量 1000万 暂不支持调整 数据查询 单次查询返回的最大数据量 100万 暂不支持调整 数据查询 最大查询QPS 50QPS 暂不支持调整 数据采集和上报 每个数据点最大支持大小 2kB，超过会解析失败 暂不支持调整 数据采集和上报 每个用户最大时间线数量 实际上系统会在到达限额之前为您自动做相关的扩容，因此您无需关注该限制。 数据采集和上报 每次上报请求总数据量大小 不超过1MB（最多一次上报1024个指标，因此理论上不会超过） 不支持调整，超过1 MB数据会被全部丢弃。 数据采集和上报 单指标Label长度限制 Label Key或者Label Value字符串长度不超过256个字符。 不支持调整，超限会被调换为MAXTAGVALUELIMITED 数据采集和上报 单个指标的标签数限制 64个 超出可能会造成数据丢失 数据采集和上报 默认数据保存时长 Prometheus实例 for 云服务默认保存30天，其他类型实例默认保存15天。 您可在控制台自行调整数据存储时长。 数据采集和上报 Agent单副本默认配置（3核4 G）一次最多能采集的数据点数 350万 建议您扩容副本 数据采集和上报 Agent单副本默认配置（3核4 G）最大采集Target数 1000个 建议您扩容副本 数据采集和上报 1个Target 30秒内可以最大可采集的数据点数 60万 建议您扩容副本 数据采集和上报 Agent HPA最大副本数 20 若超限，您可在控制台手动增加副本数。 告警 告警规则查询返回结果数 500 其他 单集群Recording Rules数量上限 100 超限不限制使用，但是计算可能会有延迟 其他 共享版Grafana每个租户最多能创建的Folder数量 10

检索数据 首先，我们进行基本的全文检索，不设置匹配条件，可以得到所有数据。 检索语句如下： plaintext GET /productsfruits/search { "query": { "matchall": {} } } 同样，我们可以设置检索条件、指定分词器、指定评分等多种条件根据Rest API的语法对检索的匹配数据进行筛选，得到我们希望的数据。 聚合数据 同样，OpenSearch也可以提供数据聚合，我们按照价格区间将商品进行聚合，返回的结果如下： 这里的聚合语句如下： plaintext GET /productsfruits/search { "size": 0, "aggs": { "priceranges": { "range": { "field": "price", "ranges": [ { "from": 0, "to": 10 }, { "from": 10, "to": 20 }, { "from": 20, "to": 30 } ] } } } } 数据排序 同样，数据结果排序，也是OpenSearch一个重要的用途，我们这里按照价格排序将结果检索出来，右侧边栏按照价格降序进行输出，如下： 排序语句如下： plaintext GET /productsfruits/search { "query": { "matchall": {} } , "sort": [ { "price": { "order": "desc" } } ] }

参数名 说明 取值样例 开始时间 查询的起始时间，格式为yyyyMMddHHmmdd的字符串或时间戳。 20180920145505 结束时间 可选参数，查询的终止时间，格式为yyyyMMddHHmmdd的字串或时间戳。 20180921145505 指标 输入迁移哪个指标的数据，或选择OpenTSDB中已存在的指标。 city.temp 聚合函数 输入聚合函数。 sum 标记 可选参数，如果这里有输入标记，则只迁移标记的数据。 tagk1:tagv1,tagk2:tagv2

您可以根据需要查看并行文件服务的监控数据,本文帮助您了解查看HPFS监控数据相关操作。 操作场景 并行文件服务创建文件系统后自动接入云监控服务，无需额外开通。通过云监控服务查看文件系统的监控数据，您可以了解到文件系统的使用情况。 操作步骤 方式一：通过并行文件服务控制台查看 1. 登录天翼云控制中心，单击管理控制台左上角的，选择地域。 2. 单击“存储>并行文件服务”，进入并行文件服务的控制台页面。 3. 在文件系统列表页，点击文件系统名称，可以跳转至文件系统详情页。 4. 在文件系统详情页，点击监控图表的页签页，即可进入监控数据页面。 5. 您可以选择监控时间段，查看对应的监控数据。也可以点击具体监控项图标右上角的“查看”按钮设定所需查看的监控时间段、周期等，获取想要的监控数据。 方式二：通过云监控服务控制台查看 1. 登录天翼云控制中心，单击管理控制台左上角的，选择地域。 2. 单击“管理与部署>云监控服务”，进入云监控控制台页面。 3. 单击“云服务监控”下拉菜单，选择"并行文件监控”。 4. 在并行文件监控页面选定需要查看的文件系统名称，单击操作栏下面的“查看监控图表”，即可进入监控数据页面。 5. 您可以选择监控时间段，查看对应的监控数据。也可以点击具体监控项图标右上角的“查看”按钮设定所需查看的监控时间段、周期等，获取想要的监控数据。

本章节主要介绍数据质量相关问题。 质量作业和对账作业有什么区别？ 质量作业可将创建的规则应用到建好的表中进行质量监控。 对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 如何确认质量作业或对账作业已经阻塞？ 作业运行状态长时间处于运行中时，选择“运维管理”，点击操作栏中的“结果&日志”并选择查看“运行日志”，当“运行日志”不再更新，表示作业已经阻塞。 如何手工重启阻塞的质量作业或对账作业？ 阻塞的作业需要进行手工重启，如不重启1天内也会因作业超时自动结束该作业。 手工重启需要选择“运维管理”，先点击对应作业操作栏中的“取消”，作业运行状态变更为“失败”，此时然后点击操作栏中的“重跑”即可完成作业重启。 怎样查看质量规则模板关联的作业？ 1.单击待操作规则模板操作列的“发布历史”。 2.点击历史版本最右侧的“下线”按钮。则可以查看该规则模板对应的关联作业。

本文为您介绍信封加密场景中，如何通过用户主密钥、数据密钥实现数据离线加密。 信封加密（Envelope Encryption）是一种应对海量数据的高性能加解密方案。这种技术不再使用用户主密钥（CMK）直接加密和解密数据，而是通过生成加密数据的数据密钥（DEK），将其封入信封中（即通过CMK加密）存储、传递和使用，由KMS确保数据密钥的随机性和安全性。 实际使用时，用户无需将大量业务数据上传至KMS服务端，直接通过离线的数据密钥在本地实现加解密，有效避免安全隐患，保证了业务加密性能的要求。 场景示意图 操作流程 信封加密 1. 通过KMS控制台或者调用CreateKey接口，创建一个用户主密钥（CMK）。 2. 调用GenerateDataKey接口创建一个数据密钥。KMS会返回一个明文的数据密钥和一个经用户主密钥（CMK）加密的密文数据密钥。 3. 使用明文的数据密钥加密本地文件，产生密文文件，然后销毁内存中的明文数据密钥。 4. 用户将密文数据密钥和密文文件一同存储到持久化存储设备或服务中。 信封解密 1. 从本地文件中读取密文数据密钥。 2. 调用KMS服务的Decrypt接口，将密文数据解密为明文数据密钥。 3. 用明文数据密钥为本地密文文件解密，再销毁内存中的明文密钥。 相关API 您可以调用以下KMS API，实现对本地数据的加密或解密操作。 API名称 说明 createKey 创建用户主密钥（CMK） generateDataKey 生成信封加密的数据密钥，返回数据密钥的明文和经过指定用户主密钥加密的密文 decrypt 解密由generateDataKey接口生成的数据密钥密文，不需要指定CMK

本文罗列了使用数据管理服务时可能遇到的一些问题。 实例列表怎么使用？ 数据管理服务DMS为了让用户更迅速、轻松地管理数据库实例，推出了实例列表功能，此列表将帮助用户快速访问所需的数据库实例。 您可以点击菜单实例列表查看您当前拥有权限的所有实例，也可以点击实例列表中的收藏标签查看您已经收藏的实例。 可通过收藏实例的路径有以下几种： 点击菜单实例列表，在实例列表页点击右上角添加实例按钮。 点击菜单数据资产 >实例管理，在实例列表页点击列表中的/，对实例进行收藏或取消收藏。 用户如何查看/使用实例？ 用户可以在以下几个页面中查看当前可查看/使用的实例： 点击菜单数据资产 >实例管理查看/使用实例。 点击菜单实例列表查看/使用实例。 点击菜单安全协作>团队管理，切换团队实例管理标签页，查看/使用实例。 点击个人中心>我的团队，切换团队实例标签页，查看/使用实例。 需要注意的是，数据管理服务DMS为了保障数据安全，进行了资源权限的控制，这包括了组织资源隔离、团队资源隔离，用户获取查看/使用某个实例权限的方法有以下几种： 加入实例所在的组织，并且加入实例所在的团队。 获得某个实例的数据授权。此操作需要实例所在组织/团队的管理员/团队管理员在数据资产 >实例管理页面，点击实例列表中的数据权限管理按钮进行操作。

本文为您介绍直接同步/同步主机同步的相关功能。 概要 文件存储数据灾备是针对NAS（Network Attached Storage，网络附属存储）共享存储实现海量数据灾备的高性能软件。从数据安全管理的角度看，从NAS共享存储上复制文件是困难的事情。如果使用NAS厂商的复制功能，就需要同构设备，依赖性和成本非常高；从数据复制效率的角度看，NAS共享存储灾备面临文件数据量大、文件容量达上百TB级别的问题。文件存储数据灾备主要为用户提供由 NAS 存储至目标端的数据复制服务，实现数据和NAS设备的解耦， 进行跨异构 NAS 设备之间的数据复制，通过技术创新，解决了NAS设备本身无法安装客户端、非实时同步等问题。 直接同步 前提条件 至少有一台装有drnode节点的工作机，并以节点的形式添加进控制台，工作机节点需要有文件存储数据灾备许可。 工作机之间需挂载相同的共享文件夹。 装有drnode节点的灾备机，并以节点的形式添加进控制台，灾备机节点需要有文件存储数据灾备许可。 注意：工作机的操作系统为Windows OS时，需要将drnode节点的运行模式改为“以应用方式运行”。 新建规则 1. 登录天翼云，进入控制中心。 2. 单击管理控制台左上角的，选择区域。 3. 在服务列表选择“计算”“多活容灾服务”，进入[多活容灾服务控制台](

本文介绍了DMS内不同用户角色的权限情况,包括不同角色的功能权限与数据权限。 权限分类 数据管理服务的权限分两类，分别是功能模块权限和数据权限。 功能模块权限：决定了用户是否能够查看或使用某个功能模块。 数据权限：决定了用户是否能够查看或使用特定的数据资源。 角色分类 系统角色 数据管理服务提供以下系统角色类型： 基础版：超级管理员、普通用户。 企业版：超级管理员、系统管理员、DBA、审计管理员、普通用户。 说明 不同角色拥有不同功能模块权限和数据权限； 版本不一样，可见的功能也不一样，详见 系统管理员拥有与超级管理员相似的多数权限，但不包括更换使用版本（基础版/企业版）、修改组织信息以及与计费相关的操作。此外，组织内只能存在一个超级管理员，但可以设置多个系统管理员。 团队角色 除了系统角色外，数据管理服务提供了团队角色：团队管理员、团队成员，可以通过团队角色配置让用户获得团队内实例的数据权限。 系统角色详细介绍 功能模块权限 模块名称 超级管理员 系统管理员 DBA 审计管理员 普通用户 基础版 企业版 实例列表 可见 可见 可见 可见 可见 可见 可见 查询窗口 可见 可见 可见 可见 可见 可见 可见 管理员模式 可见 可见 可见 不可见 不可见 不可见 可见 数据导出 可见 可见 可见 可见 可见 可见 可见 数据导入 可见 可见 可见 可见 可见 可见 可见 结构对比 可见 可见 可见 可见 可见 不可见 可见 数据对比 可见 可见 可见 可见 可见 不可见 可见 SQL变更 可见 可见 可见 可见 可见 不可见 可见 SQL审核 可见 可见 可见 可见 可见 不可见 可见 实例管理 可见 可见 可见 可见 可见 可见 可见 数据权限管理 可见 可见 可见 不可见 不可见 不可见 可见 用户与角色 可见 可见 可见 可见 不可见 可见 可见 数据授权 可见 可见 可见 不可见 不可见 不可见 可见 运维授权 可见 可见 不可见 不可见 不可见 不可见 可见 操作审计 可见 可见 不可见 可见 不可见 可见 可见 慢SQL 可见 可见 可见 可见 可见 可见 可见 SQL审计 可见 可见 不可见 可见 不可见 可见 可见 团队管理 可见 可见 不可见 可见 不可见 可见 可见 工单列表 可见 可见 可见 可见 可见 可见 可见 SQL规范 可见 可见 可见 不可见 不可见 不可见 可见 审批流 可见 可见 可见 不可见 不可见 不可见 可见 SQL风险 可见 可见 可见 不可见 不可见 不可见 可见 敏感数据保护 可见 可见 可见 不可见 不可见 不可见 可见 智能运维 可见 可见 可见 可见 可见 可见 可见 个人信息 可见 可见 可见 可见 可见 可见 可见 我的权限 不可见 不可见 可见 可见 可见 不可见 可见 我的组织 可见 可见 可见 可见 可见 可见 可见 我的团队 可见 可见 可见 可见 可见 可见 可见 智能问答 可见 可见 可见 可见 可见 可见 可见 NL2SQL 可见 可见 可见 可见 可见 不可见 可见

本章节主要介绍（可选）管理脚本的批量解锁。 数据开发模块提供了批量解锁脚本的功能，您可参照本节内容对锁定的脚本进行批量解锁。 操作步骤 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 单击脚本目录中的，选择“显示复选框”。 详见下图：显示脚本复选框 4. 勾选需要解锁的脚本，单击 > 批量解锁。弹出“解锁成功”提示。 详见下图：批量解锁

本节介绍了什么是云服务备份、备份、快照、镜像有什么区别、云服务备份产品架构、备份机制、备份的方式及适用场景。 什么是云服务备份 云服务备份（Cloud Backup and Recovery，CBR）可以为云主机、云硬盘提供简单易用的备份服务，当发生病毒入侵、人为误删除、软硬件故障等事件时，可将数据恢复到任意备份点。 云服务备份保障用户数据的安全性和正确性，确保业务安全。 备份、快照、镜像有什么区别？ 备份分为云主机备份和云硬盘备份。 镜像分为系统盘镜像、数据盘镜像、整机镜像。 备份类型 备份对象 适用场景 区别和优势 备份方法 恢复方法 :::::: 云主机备份 弹性云主机中的所有云硬盘（系统盘和数据盘） 云主机受到攻击或病毒入侵 通过云主机备份，可立即恢复到最近一次没有受黑客攻击或病毒入侵的备份时间点。 数据被误删 通过云主机备份，可立即恢复到删除前的备份时间点，找回被删除的数据 应用程序更新出错 通过云主机备份，可立即恢复到应用程序更新前的备份时间点，使系统正常运行。 云主机宕机 通过云主机备份，可立即恢复到宕机之前的备份时间点，使云主机能再次正常启动 备份的同一个云主机下的所有云硬盘数据具有一致性，即同时对所有云硬盘进行备份，不存在因备份创建时间差带来的数据不一致问题。 且云备份支持根据备份策略自动备份。 创建云主机备份 使用云主机备份恢复数据（恢复至原服务器） 使用云主机备份恢复数据（创建新的云主机） 云硬盘备份 指定的单个或多个云硬盘（系统盘或数据盘） 系统盘没有个人数据，因而只需要对部分的数据盘进行备份 当云硬盘出现故障或云硬盘中的数据发生逻辑错误时（如误删数据、遭遇黑客攻击或病毒危害等），可快速恢复数据。 备份作为基线数据 设置备份策略，根据策略自动对云硬盘进行数据备份，通过定期创建的备份作为基线数据，用来创建新的云硬盘或者恢复数据到云硬盘。 备份数据则存储在对象存储 (OBS)中，可以实现在云硬盘存储损坏情况下的数据恢复 保证数据安全的同时降低备份成本 创建云硬盘备份 使用云硬盘备份恢复数据（恢复至原磁盘） 使用云硬盘备份恢复数据（创建新的磁盘） 快照 指定的单个或多个云硬盘（系统盘或数据盘） 日常备份数据 通过对云硬盘定期创建快照，实现数据的日常备份，可以应对由于误操作、病毒以及黑客攻击等导致数据丢失或不一致的情况 快速恢复数据 应用软件升级或业务数据迁移等重大操作前，您可以创建一份或多份快照，一旦升级或迁移过程中出现问题，可以通过快照及时将业务恢复到快照创建点的数据状态。 例如，当由于云主机 A的系统盘 A发生故障而无法正常开机时，此时您可以使用系统盘 A已有的快照新创建一块云硬盘 B并挂载至正常运行的云主机 B上，从而云主机 B能够通过云硬盘 B读取原系统盘 A的数据。 快速部署多个业务 通过同一个快照可以快速创建出多个具有相同数据的云硬盘，从而可以同时为多种业务提供数据资源。 例如数据挖掘、报表查询和开发测试等业务。这种方式既保护了原始数据，又能通过快照创建的新云硬盘快速部署其他业务，满足企业对业务数据的多元化需求。 说明 只支持回滚快照数据至原云硬盘，不支持快照回滚到其它云硬盘。 重装操作系统或切换操作系统后，系统盘快照会自动删除；数据盘快照不受影响，可以照常使用。 快照数据与云硬盘数据存储在一起，可以支持快速备份和恢复 快速保存指定时刻云硬盘的数据，同时还可以通过快照创建新的云硬盘，这样云硬盘在初始状态就具有快照中的数据 创建快照 使用快照回滚数据 系统盘镜像 系统盘 快速恢复系统 更换操作系统、应用软件升级或业务数据迁移等重大操作前，将系统盘创建成系统盘镜像，一旦迁移过程中出现问题，可以通过系统盘镜像切换操作系统，或重新创建新的云主机。 快速部署多个业务 通过同一个系统盘镜像可以快速创建出多个具有相同操作系统的云主机，从而快速部署多个业务。 系统盘镜像可以实现在云主机操作系统损坏情况下快速切换至损坏前的操作系统。 创建系统盘镜像 使用系统盘镜像切换故障云主机的操作系统 使用系统盘镜像创建新的云主机 数据盘镜像 指定的数据盘 快速复制数据 通过同一个数据盘镜像可以快速创建出多个具有相同数据的云硬盘，再将新创建的云硬盘挂载到其他服务器上，从而可以同时为多种业务提供数据资源。 数据盘镜像可以复制全盘的数据并创建新的云硬盘挂载到其他服务器上，实现云主机数据盘的复制和共享。 创建数据盘镜像 使用数据盘镜像创建数据盘 整机镜像 弹性云主机中的所有云硬盘（系统盘和数据盘） 快速恢复系统 更换操作系统、应用软件升级或业务数据迁移等重大操作前，将云主机的系统盘和数据盘创建成整机镜像，一旦迁移过程中出现问题，可以通过整机镜像切换操作系统，或重新创建新的云主机。 快速部署多个业务 通过同一个整机镜像可以快速创建出多个具有相同操作系统和数据的云主机，从而快速部署多个业务。 通过整机镜像实现业务的整理迁移。 创建整机镜像 使用整机镜像创建新的云主机

本节主要介绍如何还原备份数据 Redis管理控制台支持对备份数据进行还原，您可以将已备份的数据恢复到Redis缓存实例中。 前提条件 只有当分布式缓存Redis缓存实例处于“运行中”状态，才能执行此操作。 实例已有历史数据备份，且备份状态为“success”。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台右上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情页面。 4. 在侧菜单点击备份与恢复，选择已备份数据，单击右侧的“还原”按钮，确定后开始执行实例恢复任务。 5. 当还原状态为“success”时，即还原成功。 说明 实例恢复需耗时1~30分钟。 在恢复过程中，Redis 实例会暂时无法处理客户端的数据操作请求。在此期间，当前数据将被删除，并等待恢复完成后存储原有备份数据。

参数 配置说明 重删存储名称 用户自定义的重删存储名称，重删存储名称只能以英文字母开头，可包含数字，不能包含中文及特殊字符。 存储类型 指存储类型本地存储和对象存储。 备份服务器 选择备份至该重删存储的备份服务器。 数据地址 填写备份服务器的IP地址，如果备份服务器有多个网卡，可通过该网卡IP进行数据传输。 对象存储 填写选择已经创建好的对象存储。 对象桶 选择该对象存储下为重删存储创建的对象桶，需要全新创建的空对象桶作为底层存储。 元数据存储位置 默认推荐为对象存储，也可以选择本地存储。 元数据服务端口 默认为26331，建议采用默认值。 指纹服务端口 默认为26332，不可编辑，随元数据端口递增显示。 数据块服务端口 默认为26333，不可编辑，随指纹服务端口递增显示。 指纹库目录 指纹库目录需要为空目录，建议使用SSD或NVMe硬盘作为存储路径。 数据块目录 本地存储类型可以选择数据块存储目录，用于备份数据分块处理。对象存储类型则没有该选项。 存储空间回收策略 支持设置按周、按月回收策略定期检查并清理无需的指纹数据。 描述 可自定义填写当前重删存储的描述信息。

本章节主要介绍ALM45177 OBS数据读操作接口调用成功率低于阈值的告警。 告警解释 系统每30秒周期性检测OBS数据读操作接口调用成功率是否小于阈值，当检测到小于所设置阈值时就会产生该告警 。 当OBS数据读操作接口调用成功率大于阈值时，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45177 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS数据读操作接口调用成功率小于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS数据读操作接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 1. 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS数据读操作”中勾选“OBS数据读操作接口调用成功率”，单击“确定”，查看OBS数据读操作接口调用成功率，确定是否有接口调用成功率低于阈值。 是，执行步骤3。 否，执行步骤5。 2. 选择“集群 > 待操作集群的名称 > 运维 > 告警 > 阈值设置 > meta > OBS数据读操作接口调用成功率”，将阈值或平滑次数参数的值根据实际情况调小。 3. 观察界面告警是否清除。 是，处理完毕。 否，执行步骤5。

本章介绍将自建Redis的数据通过DCS控制台迁移到DCS Redis。 场景描述 当前DCS支持将自建Redis的数据通过DCS控制台迁移到DCS Redis。 您需要先将自建Redis的数据进行备份，然后在DCS控制台创建迁移任务，将备份数据文件迁移到DCS Redis中。 前提条件 已创建主备或集群目标实例，且源实例已写入数据并备份成功。 步骤1：获取源Redis实例名称及密码 获取准备迁移的源Redis实例名称。 步骤2：准备目标Redis实例 如果您还没有DCS Redis，请先创建。 如果您已有DCS Redis，则不需要重复创建，但在迁移之前，您需要清空实例数据。 − 清空操作请参考清空Redis实例数据。 − 如果没有清空目标实例数据，当目标实例存在与源Redis实例相同的key时，迁移后，会覆盖目标Redis实例原来的数据。 步骤3：创建迁移任务 步骤 1 登录分布式缓存服务管理控制台。 步骤 2 在管理控制台左上角单击，选择区域和项目。 步骤 3 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。 步骤 4 单击右上角的“创建备份导入任务”，进入创建备份导入任务页面。 步骤 5 设置迁移任务名称和描述。 步骤 6 “数据来源”选择“Redis实例”。 步骤 7 在“源Redis实例”中选择步骤1：获取源Redis实例名称及密码中的Redis实例。 步骤 8 在“备份记录”中选择需要迁移的备份文件。 步骤 9 选择步骤2：准备目标Redis实例中创建的目标Redis。 步骤 10 输入目标实例的密码，单击“测试连接”，测试密码是否符合要求。免密访问的实例，请直接单击“测试连接”。 步骤 11 单击“立即创建”。 步骤 12 确认迁移信息，然后单击“提交”，开始创建迁移任务。 可返回迁移任务列表中，观察对应的迁移任务的状态，迁移成功后，任务状态显示“成功”。 结束

本文为您介绍使用Elasticsearch客户端导入数据至天翼云云搜索服务Elasticsearch实例的方法。 Elasticsearch提供官方的客户端库，支持多种编程语言，如 Java、Python、JavaScript 等。 适用场景 编程场景：当你有自定义应用程序，需要通过代码直接与Elasticsearch交互时，Elasticsearch客户端提供了灵活的API进行复杂查询和批量导入数据。 批量数据导入：通过客户端库可以实现大规模数据的分块导入，并发写入，适用于处理大数据量的场景。 动态数据处理：如果数据在导入前需要复杂的逻辑处理，可以通过编程语言和客户端实现定制的数据流。 前提条件 已经开通天翼云云搜索Elasticsearch实例。 能够通过HTTP访问Elasticsearch实例。 客户端使用实例 这里以Python和Java客户端为例。 1. 使用Python客户端 (elasticsearchpy)，Python客户端elasticsearchpy是一个与Elasticsearch交互的轻量级库。使用它，你可以通过index方法将数据导入到指定索引中。 from elasticsearch import Elasticsearch 创建Elasticsearch客户端 es Elasticsearch(" 要导入的数据 data { "title": "Elasticsearch入门", "content": "Elasticsearch是一款分布式搜索引擎...", "date": "20240823" } 将数据导入到名为 "articles" 的索引 response es.index(index"articles", documentdata) print(response) 2. 使用Java客户端，Java是Elasticsearch的主要编程语言之一，其官方客户端提供了丰富的功能。以下示例展示了如何使用 Java 客户端导入数据： import org.elasticsearch.client.RestClient; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.action.index.IndexRequest; import org.elasticsearch.action.index.IndexResponse; import org.elasticsearch.common.xcontent.XContentType; public class DataImporter { public static void main(String[] args) throws Exception { RestHighLevelClient client new RestHighLevelClient( RestClient.builder(new HttpHost("ip", 9200, "http")) ); String jsonString "{" + ""title":"Elasticsearch入门"," + ""content":"Elasticsearch是一款分布式搜索引擎..."," + ""date":"20240823"" + "}"; IndexRequest request new IndexRequest("articles"); request.source(jsonString, XContentType.JSON); IndexResponse response client.index(request, RequestOptions.DEFAULT); System.out.println(response.getId()); client.close(); } }

本文主要介绍使用MirrorMaker跨集群数据同步。 应用场景 在以下场景，使用MirrorMaker进行不同集群间的数据同步，可以确保Kafka集群的可用性和可靠性。 备份和容灾：企业存在多个数据中心，为了防止其中一个数据中心出现问题，导致业务不可用，会将集群数据同步备份在多个不同的数据中心。 集群迁移：当今很多企业将业务迁移上云，迁移过程中需要确保线下集群和云上集群的数据同步，保证业务的连续性。 方案架构 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。其原理如图1所示，MirrorMaker本质上也是生产消费消息，首先从源集群中消费数据，然后将消费的数据生产到目标集群。如果您需要了解更多关于MirrorMaker的信息，请参见Mirroring data between clusters。 图 MirrorMaker 原理图 约束与限制 源集群中节点的IP地址和端口号不能和目标集群中节点的IP地址和端口号相同，否则会导致数据在Topic内无限循环复制。 使用MirrorMaker同步数据，至少需要有两个或以上集群，不可在单个集群内部使用MirrorMaker，否则会导致数据在Topic内无限循环复制。 实施步骤 1、 购买一台弹性云主机，确保弹性云主机与源集群、目标集群网络互通。具体购买操作，请参考购买弹性云主机。 2、 登录弹性云主机，安装Java JDK，并配置JAVAHOME与PATH环境变量，使用执行用户在用户家目录下修改“.bashprofile”，添加如下行。其中“/opt/java/jdk1.8.0151”为JDK的安装路径，请根据实际情况修改。 export JAVAHOME/opt/java/jdk1.8.0151 export PATHJAVAHOME/bin:PATH 执行source .bashprofile命令使修改生效。 说明 弹性云主机默认自带的JDK可能不符合要求，例如OpenJDK，需要配置为Oracle的JDK，可至Oracle官方下载页面

创建云搜索服务连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“云搜索服务”后单击“下一步”，配置云搜索服务连接参数。 名称：用户自定义连接名称，例如“csslink”。 Elasticsearch服务器列表：配置为云搜索服务集群（支持5.X以上版本）的连接地址、端口，格式为“ip:port”，多个地址之间使用分号（；）分隔，例如192.168.0.1:9200;192.168.0.2:9200。 用户名、密码：配置为访问云搜索服务集群的用户，需要拥有数据库的读写权限。 3.单击“保存”回到连接管理界面。 创建Elasticsearch连接 1.在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面。 2.连接器类型选择“Elasticsearch”后单击“下一步”，配置Elasticsearch连接参数，Elasticsearch连接参数与云搜索服务的连接参数一样： 名称：用户自定义连接名称，例如“eslink”。 Elasticsearch服务器列表：配置为本地Elasticsearch数据库的IP地址、端口，多个地址之间使用分号（；）分隔。 3.单击“保存”回到连接管理界面。 创建整库迁移作业 1.选择“整库迁移 > 新建作业”，开始创建Elasticsearch整库迁移到云搜索服务的任务。 详见下图：创建Elasticsearch整库迁移作业 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建Elasticsearch连接中的“eslink”。 −索引：单击输入框后面的按钮，可选择本地Elasticsearch数据库中的一个索引，也可以手动输入索引名称，名称只能全部小写。需要一次迁移多个索引时，这里可配置为通配符，CDM会迁移所有符合通配符条件的索引。例如这里配置为cdm时，CDM将迁移所有名称为cdm开头的索引：cdm01、cdmB3、cdm45…… 目的端作业配置 −目的连接名称：选择创建云搜索服务连接中的“csslink”。 −索引：待写入数据的索引，这里可以选择一个云搜索服务中已存在的索引，也可以手动输入一个不存在的索引名称，名称只能全部小写，CDM会自动在云搜索服务中创建该索引。一次迁移多个索引时，该参数将被禁止配置，CDM自动在目的端创建索引。 −导入前清空数据：如果上面选择的索引，在云搜索服务中已存在，这里可以选择导入数据前是否清空该索引中的数据。如果选择不清空，则数据追加写入该索引。 2.作业配置完成后，单击“保存并运行”，回到作业管理界面，在整库迁移的作业管理界面可查看执行进度和结果。 本地Elasticsearch索引中的每个类型都会生成一个子作业并发执行，可以单击作业名查看子作业进度。 3.作业执行完成后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据，以及日志信息（子作业才有日志）。 详见下图：作业执行记录

云容器引擎通过将Kubernetes网络和VPC深度集成，提供了稳定高性能的容器网络，能够满足多种复杂场景下工作负载间的互相访问。 约束与限制 每个命名空间下，创建的服务数量不能超过6000个。此处的服务对应kubernetes的service资源，即工作负载所添加的服务。 容器开启hostPort或hostNetwork网络模式后，若需对外提供服务，则需要给容器所在节点开启对应端口的安全组(containerPort)。 Service基本概念 Kubernetes中每一个工作负载会有一个或多个实例（Pod），每个实例（Pod）的IP地址由网络插件动态随机分配（Pod重启后IP地址会改变）。为屏蔽这些后端实例的动态变化和对多实例的负载均衡，引入了Service这个资源对象。 Service是一种资源，提供了我们访问单个或多个容器应用的能力。每个服务在其生命周期内，都拥有一个固定的IP地址和端口。每个服务对应了后台的一个或多个Pod，通过这种方式，客户端就不需要关心Pod所在的位置，方便后端进行方便的Pod扩容、缩容等操作。 用户在Kubernetes中可以部署各种容器，其中一部分是通过HTTP、HTTPS协议对外提供七层网络服务，另一部分是通过TCP、UDP协议提供四层网络服务。而Kubernetes定义的Service资源就是用来管理集群中四层网络的服务访问。 根据创建Service的type类型不同，可分成如下模式： ClusterIP ：默认类型，为服务分配集群虚拟IP，此时集群内部的pod可以通过服务名称寻址到服务的集群虚拟IP地址，集群外无效。 NodePort ：在每个节点上为服务分配静态端口号，此时如果在集群外部访问任何一个节点的IP地址加指定的端口号，kubeproxy会将流量转发到服务的集群虚拟IP，再由虚拟IP寻址到Pod。 LoadBalancer ：通过云服务供应商提供的load balancer向外部暴露服务，由指定的load balancer负责对NodePort与ClusterIP服务的路由。 ClusterIP和NodePort类型的Service，在不同云服务商或是自建集群中的行为表现通常情况下相同。而LoadBalancer类型的Service，由于使用了云服务商的负载均衡进行服务暴露，云服务商会围绕其负载均衡的能力提供不同的额外功能。例如，控制负载均衡的网络类型，后端绑定的权重调节等，详情请参见本章相关文档。 服务访问方式 在CCE中，支持以下类型的互联互通： 集群内访问（ClusterIP ） 工作负载暴露给同一集群内其他工作负载访问的方式，可以通过“集群内部域名”访问。集群内部域名格式为“ . .svc.cluster.local”，例如“nginx.default.svc.cluster.local”。详细请参见集群内访问(ClusterIP)。 节点访问（NodePort ） 节点访问 ( NodePort）是指在每个节点的IP上开放一个静态端口，通过静态端口对外暴露服务。节点访问 ( NodePort )会路由到ClusterIP服务，这个ClusterIP服务会自动创建。通过请求 : ，可以从集群的外部访问一个NodePort服务。详细请参见节点访问(NodePort)。 负载均衡 ( LoadBalancer ) 通过弹性负载均衡从公网访问工作负载，与弹性IP方式相比提供了高可靠的保障，一般用于系统中需要暴露到公网的服务。访问方式由公网弹性负载均衡ELB服务地址以及设置的访问端口组成，例如“10.117.117.117:80”。详细请参见负载均衡(LoadBalancer)。 七层负载均衡（Ingress） 通常情况下，service和pod的IP仅可在集群内部访问。集群外部的请求需要通过负载均衡转发到service在Node上暴露的NodePort上，然后再由kubeproxy通过边缘路由器 (edge router) 将其转发给相关的Pod或者丢弃，而Ingress就是为进入集群的请求提供路由规则的集合。 Ingress可以给service提供集群外部访问的URL、负载均衡、SSL终止、HTTP路由等。为了配置这些Ingress规则，集群管理员需要部署一个Ingress controller，它监听Ingress和service的变化，并根据规则配置负载均衡并提供访问入口。 Ingress的组成部分： Nginx：实现负载均衡到pod的集合。 Ingress Controller：从集群api获取services对应pod的ip到nginx配置文件中。 Ingress：为nginx创建虚拟主机。 Ingress的创建与管理请参见Ingress概述。 网络策略（NetworkPolicy） 网络策略（NetworkPolicy）是一种关于pod间及pod与其他网络端点间所允许的通信规则的规范。 NetworkPolicy资源使用标签选择pod，并定义选定pod所允许的通信规则，详细请参见NetworkPolicy。 网络底层基础设施 VPC 虚拟私有云（Virtual Private Cloud，以下简称VPC），是基于创建的自定义私有网络，不同的专有网络之间彻底逻辑隔离。可以为云服务器、云数据库和负载均衡等构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云上资源的安全性，简化用户的网络部署。 您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络，进行安全、快捷的网络变更。同时，用户可以自定义安全组内与组间弹性云主机的访问规则，加强弹性云主机的安全保护。 ELB 弹性负载均衡（Elastic Load Balance，简称ELB）是将访问流量根据转发策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 弹性负载均衡支持经典型、共享型两种负载均衡： − 经典型负载均衡：适用于访问量较小，应用模型简单的web业务。 − 共享型负载均衡：适用于访问量较大的web业务，提供基于域名和URL的路由均衡能力，实现更加灵活的业务转发。

修改数据脱敏配置 步骤 1 登录管理控制台。 步骤 2 单击左侧，选择“应用性能管理 APM”，进入APM服务页面。 步骤 3 在左侧导航栏选择“配置管理 > 数据脱敏”，并选择对应的服务节点。 步骤 4 单击操作列“编辑”按钮，对配置信息进行修改。 图 编辑数据脱敏配置 图 修改配置信息 步骤 5 单击“确定”，完成修改配置。 删除数据脱敏配置 步骤 1 登录管理控制台。 步骤 2 单击左侧，选择“应用性能管理 APM”，进入APM服务页面。 步骤 3 在左侧导航栏选择“配置管理 > 数据脱敏”，并选择对应的服务节点。 步骤 4 单击操作列“删除”按钮。弹出提示框，单击“确定”，删除当前行的脱敏配置。 图 删除数据脱敏配置 步骤 5 选择多个数据脱敏配置，单击“批量删除”。弹出提示框，单击“确定”，可以同时删除多个数据脱敏配置。 图 批量删除配置