冷热数据分层,是把数据按访问频率自动分盘管理。保证热数据的查询速度,同时冷数据自动迁移到低成本存储以节省开销。 功能介绍 当集群业务数据规模持续增长，为降低存储成本，ClickHouse冷热分层功能支持将访问频次高、时效性近的热数据 保存在本地高性能磁盘；访问频次低的冷数据自动下沉至对象存储S3。兼顾本地盘高性能查询体验，同时大幅降低海量历史数据存储开销。 注意 支持仅阈值迁移、仅TTL时间迁移、阈值+TTL混合迁移三种自动搬运模式。 热数据：访问频次较高、生成时间较近的数据，存储于本地高性能磁盘，查询访问性能高。 冷数据：访问频次低的历史数据，存储于对象存储S3，存储成本更低，但查询延迟高于本地磁盘。 Storage Policy（存储策略）：定义热盘、冷盘卷的对应关系、磁盘水位阈值、数据搬迁行为。平台预置两套策略：hottocold（阈值驱动迁移策略）、ttltocoldpolicy（仅TTL时间迁移策略）。 Part：ClickHouse MergeTree底层数据分片单元，冷热分层搬迁操作最小粒度为Part。 前置条件 使用冷热分层必须满足全部前置条件，否则功能不可用，甚至引发数据异常。 1. 必须完成IAM授权：未完成IAM授权，冷热分层全部能力不可生效，数据无法迁移至对象存储。 2. 账号必须开通对象存储云服务：冷存储后端依赖对象存储服务，账号需提前开通，否则冷存储卷无法读写。

使用限制 限制内容 限制 单实例系统盘数量 1块 单实例数据盘数量 23块 单块数据盘容量 10GB~32TB，其中1GB 10亿Byte，1TB1万亿Byte，格式化之后的实际容量可能较小 单共享盘挂载实例数量 16台 未挂载实例云盘数量 20块 储存安全 读写稳定性 在同一集群中，您的业务数据以三副本的形式分布存储在集群中，保证读写过程中的数据稳定性。 数据备份 支持使用手动创建或自动创建快照，保护云盘历史数据。同时支持采用虚拟机备份和云盘备份来保护数据，备份需额外购买对象储存资源来存放数据。 数据删除 您删除的数据将无法找回，分布式存储系统中已删除的数据会被完全擦除，如想找回建议提前创建快照。当您释放云盘时，存储系统会销毁源数据，所有数据将无法找回，该云盘对应的物理存储空间会被回收。

等保体系 等保测评项 安全产品名称 二级等保基础版 二级等保高级版 三级等保基础版 三级等保高级版 安全通信网络 应避免将重要网络区域部署在边界处，重要网络区域与其他网络区域之间应采取可靠的技术隔离手段 下一代防火墙 ✓ ✓ ✓ ✓ 安全区域边界 应具有提供访问控制、边界防护、入侵防范等安全机制 Web应用防火墙 ✓ ✓ ✓ ✓ 安全计算环境 应启用安全审计功能，数据进行安全审计 云安全中心 × ✓ ✓ ✓ 安全计算环境 应启用安全审计功能，数据进行安全审计 日志审计 ✓ ✓ ✓ ✓ 安全计算环境 应启用安全审计功能，数据进行安全审计 数据库审计 × × ✓ ✓ 安全计算环境 应对用户进行身份鉴别、访问控制、运维审计 堡垒机 × ✓ ✓ ✓ 安全计算环境 应能发现已知漏洞，并在经过充分测试评估后，及时修补漏洞 漏洞扫描 × × × ✓ 安全计算环境 应能发现已知漏洞，并在经过充分测试评估后，及时修补漏洞 主机安全 ✓ ✓ ✓ ✓ 安全管理中心 集中监控，集中审计，集中配置，集中告警 云安全中心 × ✓ ✓ ✓ 安全运维管理 应根据数据资产安全管理制度识别数据并编制数据资产清单 数据分类分级 大数据扩展场景可选 安全数据处理 应根据数据的使用目的，采取相应的数据脱敏技术、数据脱敏规则和数据脱敏策略对敏感数据进行脱敏。 数据脱敏与水印 大数据扩展场景可选

本文介绍如何使用媒体存储服务的服务端加密功能对重要数据进行加密保护。 背景概述 媒体存储服务的服务端加密功能可以帮助客户实现数据的安全保护，为客户提供更加可靠和安全的数据存储服务。 SSEXOS（Server Side Encryption XOS）是完全由媒体存储托管加密的服务端加密特性，客户无需管理密钥，服务端会为每个对象使用不同的密钥进行加密，并且会有一个定期轮换的密钥来加密密钥本身，该方式适用于批量数据加解密。 适用区域 本功能目前仅部分资源池支持，具体可参考：资源池与区域节点。 如需使用，可联系客户经理或提交工单申请。 应用效果 服务端加密功能是一种数据安全保障措施，它可以在数据上传至对象存储服务时就对其进行加密，以防止数据被未经授权的访问，降低数据泄露的风险。 通过使用服务端加密，您可以将数据传输至媒体存储服务，服务端会在接收到数据后立即对其进行加密处理，然后再将加密后的数据存储在云端。 未经授权的人访问了存储在云端的数据，他们也无法读取被加密的数据内容。 批量数据加密 当企业需要对大量的数据统一进行加密，您可以使用媒体存储的SSEXOS设置桶级别的加密配置，使得上传到该桶的对象数据自动被加密从而达到批量数据加密，实现批量数据加密的效果。 操作步骤如下： 调用设置存储桶加密配置接口，为存储桶指定一种加密算法： PUT/{bucket}?encryption HTTP/1.1 Host:cname.domain.com ContentMD5:ContentMD5 AES256 设置了桶的默认加密属性之后，用户往该桶上传对象成功后会在响应中返回以下header表示对象数据经过加密： header 值 xamzserversideencryption AES256

本节主要介绍使用须知 MySQL>MySQL灾备 使用技巧（需要人为配合） 建议您配合如下使用技巧和操作要求，进行灾备以确保任务稳定运行。 基于以下原因，建议您结合定时启动功能，选择业务低峰期开始运行灾备任务。 全量灾备会对源数据库有一定的访问压力。 灾备无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在灾备的数据被其他事务长时间锁死，可能导致读数据超时。 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。 操作要求 在使用数据复制服务进行数据灾备的过程中，存在一些无法预知或因人为因素及环境突变导致同步失败的情况，针对该情况，数据复制服务提供以下常见的操作限制，供您在数据灾备过程中参考。 表操作要求 类型 操作限制 （需要人为配合） 注意事项 下表中的环境要求均不允许在灾备过程中修改，直至灾备结束。 业务数据库进行的参数修改不会记录在日志里，所以也不会同步至灾备数据库，请在灾备数据库升主后调整参数。 外部数据库创建的高权限用户若超出RDS MySQL支持范围，不会同步至灾备数据库，如super权限。 不支持外键级联操作。 不支持业务数据库恢复到之前时间点的操作(PITR)。 不支持强制清理binlog，否则会导致灾备任务失败。 网络中断在30秒内恢复的，不影响数据灾备，超过30秒，则可能会导致灾备任务失败。 若专属计算集群不支持4vCPU/8G或以上规格实例，则无法创建灾备任务。 支持断点续传功能，但对于无主键的表可能会出现重复插入数据的情况。 存在灾备任务时，不允许创迁移或者同步任务。 灾备不支持多写的多主模式，如果外部数据库没有提供superuser权限，则外部数据库为备时无法设置只读，请严格确保备节点的数据只来自主节点的同步，任何其他地方的写入将会导致备库数据被污染，使得灾备出现数据冲突而无法修复。 如果外部数据库为备且为只读，该只读只有superuser权限的账号可以写入数据，其他账号无法写入，但仍然需要确保备节点通过这个账号写入任何数据导致备库数据被污染，使得灾备出现数据冲突而无法修复。 业务数据库和灾备数据库为RDS for MySQL实例时，不支持带有TDE特性并建立具有加密功能表。 操作须知 数据灾备过程中，如果修改了业务库用于灾备的密码，会导致该灾备任务失败，需要在数据复制服务控制台将上述信息重新修改正确，然后重试任务可继续进行数据灾备。一般情况下不建议在灾备过程中修改上述信息。 数据灾备过程中，如果修改了业务库端口，会导致该灾备任务失败。一般情况下不建议在灾备过程中修改业务库端口。 数据灾备过程中，如果业务库为非本云关系型数据库实例，不支持修改IP地址。本云关系型数据库实例，对于因修改IP地址导致灾备任务失败的情况，系统自动更新为正确的IP地址，重试任务可继续进行同步。一般情况下，不建议修改IP地址。 数据灾备过程中，不建议做删除类型的DDL操作，可能会引起任务失败。 禁止源端在灾备任务执行主备倒换过程中进行写入操作，否则会出现数据污染或者表结构不一致，并最终导致业务端和灾备端数据不一致。 在使用数据复制服务进行数据灾备的过程中，对环境有一些特定的要求，请确保环境配置满足以下条件。该类型的要求系统会自动检查，并给出处理建议。

本章主要介绍翼MapReduce的备份HDFS业务数据功能。 操作场景 为了确保HDFS日常用户的业务数据安全，或者系统管理员需要对HDFS进行重大操作（如升级或迁移等），需要对HDFS数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HDFS任务并备份数据。支持创建任务自动或手动备份数据。 说明 加密目录不支持备份恢复。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照，否则无法创建备份任务。 如果数据要备份至NAS中，需要提前部署好NAS服务端。

分布式表（Distributed Table） 分布式表是云数据库ClickHouse中本地表的集合，将多个本地表抽象为一张统一的表，对外提供写入和查询功能。当写入分布式表时，数据会被自动分发到集合中的各个本地表中；当查询分布式表时，集合中的各个本地表都会被分别查询，最终结果会被汇总后返回。分布式表具备良好的横向扩展能力，可以利用多台服务器的存储和计算资源来处理大规模数据。 表引擎 表引擎即表类型，决定数据的存储方式和位置、支持的查询以及访问、索引、主备复制等特性。云数据库ClickHouse提供了多种表引擎，主要为以下4个系列。MergeTree系列：核心存储引擎，最通用和功能最强大的表引擎，支持数据Replicated和Distributed。Log系列：功能相对简单，主要用于快速写入小表（1百万行左右的表），然后全部读出的场景。Integration系列：主要用于将外部数据如Kafka、HDFS、Mysql导入到云数据库ClickHouse中，或者在云数据库ClickHouse中直接操作外部数据源。Special系列：为特定场景而定制，如数据内存存储、为目标表配置buffer、数据存本地文件等。 单机表 单机表的数据只会存储在当前机器上，不会被复制到其他机器。单机表适用于对数据的冗余存储要求较低的场景，适合小规模数据集的处理和分析。 复制表 复制表的数据会被自动复制到多台机器上，形成多个副本。复制表通过数据冗余和备份提高数据的可靠性和容错能力。当其中一个副本节点出现故障时，系统可以切换到其他副本节点，确保数据的持久性和可用性。复制表适用于对数据可靠性和冗余要求较高的场景，确保数据的安全性和高可用性。

本章节介绍ZooKeeper的数据轨迹功能 概述 在使用ZooKeeper的过程中可能会遇到Znode变更的情况，而在Znode变更之后，若相关的客户端没有收到变更事件的推送，会导致排查问题的难度加大，此时可以通过ZooKeeper数据轨迹功能提高问题的排查效率。 前提条件 已开通微服务引擎MSE，参考章节：创建ZooKeeper引擎 开通ZooKeeper实例并且状态正常。 操作步骤 1. 登录微服务引擎MSE注册配置中心管理控制台，选择资源池。 2. 在左侧导航栏，选择注册配置中心 > 实例列表。 3. 在实例列表页面，单击目标实例ID、实例名称或者目标行“管理”按钮均可跳转至实例基础信息页面。 4. 在左侧导航栏，选择数据管理> 数据轨迹。 变更记录 可以通过两个维度去查询数据轨迹：路径和SessionId，同时也支持查看近7天的数据轨迹数据。 变更时间：表示当前Znode变更事件发生的时间。 Path: 表示该Znode的Path。 变更及推送事件：表示当前时间段内的Znode变更及推送事件。变更事件中显示本次变更的事件类型；推送事件中展现推送发生时间，及被推送的具体客户端的SessionId。

名称 功能说明 Where条件 您可通过where查询，快速获取查询信息。 快速生成测试数据 您可快速生成当前表结构的测试数据，并可进一步设置生成规则。 复制行 双击选择行，单击“复制行”，即可复制所选行数据信息。 复制列 在列下拉框中选择所需复制的列，即可复制列信息。 列设置 您可通过“列设置”筛选出需显示的列信息。 16进制显示Binary类型 列内容以Binary类型显示时，需要勾选此选项，否则显示乱码。 刷新 支持对表数据进行手动更新。 单行详情 显示指定数据行详细信息。 新增 您可通过新增来添加列表行数。 提交编辑 对编辑的内容进行提交后，在SQL预览弹出框中单击“确定”后保存所编辑的信息。 删除行 您可删除所选的行数据信息。 导出 支持CSV、SQL两种表数据导出类型，最多10000条。

版本升级有哪些注意事项？ 当云堡垒机系统有新版本时，为使用优化或新增的系统功能，可选择对系统进行。 版本升级是对云堡垒机软件版本功能的提升，不收取费用。在云堡垒机版本升级前后，需注意以下几个方面： 升级前：为防止因升级失败而影响使用，建议升级前备份数据。 升级中：版本升级过程约需要30min，版本升级期间云堡垒机系统不可用，但不影响主机资源运行。但在升级期间，建议用户不要登录云堡垒机系统进行操作，以免重要数据丢失。 升级后 版本升级完成后会自动“重启”云堡垒机，重启完成后，即可使用云堡垒机。 版本升级后用户可正常继续使用原有配置和存储数据，升级不影响系统原有配置和存储数据。 堡垒机升级完成后，如您需要进行扩容操作请等待5分钟后再进行。 版本升级前，如何备份云堡垒机系统中数据？ 当云堡垒机系统有新版本时，用户为使用优化或新增的系统功能。 需备份数据 版本升级前，为实现新云堡垒机系统中复用数据信息，用户需在系统升级前手动备份系统数据，系统升级完成后再导入备份数据。 针对不同的数据信息，用户需分别进行导出/导入操作，才能完成所有数据的备份。 版本升级需备份数据： 数据信息 导出 导入 说明 用户 √ √ 无法导出“用户密码”。升级完成后，可选择重置用户密码。 资源账户 √ √ 为防止资源账户信息丢失，建议单独备份和还原资源账户文件。 审计数据 √ × 审计数据无法重新导入到系统，需全量备份审计数据，主要包括历史会话、会话视频、系统登录日志、系统操作日志、运维报表和系统报表。 “运维报表”和“系统报表”支持文本格式导出。 “历史会话”支持导出MP4格式会话视频。 系统配置 √ √ “系统配置”信息包含全量系统配置数据。

本文为您提供使用对象存储迁移服务,将第三方云厂商数据迁移至对象存储ZOS的最佳实践,请您阅读。 操作场景 对象存储迁移服务（ZOS Migration Service，简称：ZMS）可以将第三方云厂商存储的对象存储数据，通过云端控制台的操作，迁移到天翼云对象存储（ZOS）。本实践以“先进行源端数据评估，再进行数据迁移”为例，为您介绍如何迁移第三方云厂商数据至对象存储ZOS。 注意 若您已经了解待迁移源端数据的情况，无需进行迁移前的评估，您可以直接阅读迁移任务的创建部分，跳过该实践的评估部分内容。 使用须知 对象存储迁移服务（ZMS）入口请参见产品能力地图，服务支持全国不同资源池之间的迁移，迁移目的端支持填入全国各地的ZOS资源池地址。 为完成评估任务和迁移任务，您在使用迁移服务过程中，需要授权天翼云临时收集和使用您的部分个人信息，如用于鉴权的AK/SK/等密钥信息。 迁移过程中会产生公网流出流量费用及对象存储服务请求费用，该费用由源端的存储服务提供商向您收取。 您通过互联网进行数据迁移传输时，应遵从当地适用法律法规的要求，天翼云只为您提供数据迁移服务，并不对您使用本服务的合法合规性负责，不承担传输后的法律风险和后果。

备份和快照的区别是什么？ 备份和快照为存储在云硬盘中的数据提供冗余备份，确保高可靠性，两者的主要区别如下表所示。 指标 存储方案 数据同步 容灾范围 业务恢复 备份 与云硬盘数据分开存储，存储在对象存储（OBS）中，可以实现在云硬盘存储损坏情况下的数据恢复 保存云硬盘指定时刻的数据，可以设置自动备份。如果将创建备份的云硬盘删除，那么对应的备份不会被同时删除 与云硬盘位于同一个AZ内 通过恢复备份至云硬盘，或者通过备份创建新的云硬盘，找回数据，恢复业务。数据持久性高。 快照 与云硬盘数据存储在一起 说明 备份由于数据搬迁会耗费一定的时间，创建快照和回滚快照数据的速度比备份快。 保存云硬盘指定时刻的数据。如果将创建快照的云硬盘删除，那么对应的快照也会被同时删除 与云硬盘位于同一个AZ内 通过回滚快照至云硬盘，或者通过快照创建新的云硬盘，找回数据，恢复业务。 云主机备份和云硬盘备份有什么区别？ 两者的主要差异如下表所示。 对比维度 云主机备份 云硬盘备份 备份/恢复对象 服务器中的所有云硬盘（系统盘和数据盘） 指定的单个或多个磁盘（系统盘或数据盘） 推荐场景 需要对整个云主机进行保护 系统盘没有个人数据，因而只需要对部分的数据盘进行备份 优势 备份的同一个服务器下的所有磁盘数据具有一致性，即同时对所有云硬盘进行备份，不存在因备份创建时间差带来的数据不一致问题 保证数据安全的同时降低备份成本

本章节主要介绍通过Flink作业处理OBS数据的最佳实践。 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。 在本示例中，我们使用MRS集群内置的Flink WordCount作业程序，来分析OBS文件系统中保存的源数据，以统计源数据中的单词出现次数。 操作流程 本示例操作流程如下： 创建MRS集群 创建并购买一个包含有Flink组件的MRS集群，详情请参见购买自定义集群。 说明 本文以购买的MRS 3.1.0版本的集群为例，集群未开启Kerberos认证。 在本示例中，由于我们要分析处理OBS文件系统中的数据，因此在集群的高级配置参数中要为MRS集群绑定IAM权限委托，使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择系统默认的“MRSECSDEFAULTAGENCY”，也可以自行创建其他具有OBS文件系统操作权限的自定义委托。 集群购买成功后，在MRS集群的任一节点内，使用omm用户安装集群客户端，具体操作可参考安装并使用集群客户端。 例如客户端安装目录为“/opt/client”。

本页介绍天翼云TeleDB数据库备份概述。 TeleDB支持数据库实例的备份与恢复，以保证数据的可靠性。备份存储方式可根据业务需求设置加密或不加密。TeleDB数据库实例的备份包括物理备份和逻辑备份。 备份的目的 当数据库被恶意或误删除，虽然TeleDB支持高可用，但备机数据库会被同步删除且无法还原。因此，数据被删除后只能依赖于实例的备份保障数据安全。 全量备份 全量备份表示对所有目标数据进行备份，包含备份时刻点上数据库的全量数据，耗时时间长（和数据库数据总量成正比），自身即可恢复出完整的数据库。 增量备份 只包含从指定时刻点之后的增量修改数据，耗时时间短（和增量数据成正比，和数据总量无关），但是必须要和全量备份数据一起才能恢复出完整的数据库。 自动备份 TeleDB会在数据库实例的备份时段中创建数据库实例的自动备份。系统根据您指定的备份保留期保存数据库实例的自动备份。 手动备份 用户还可以创建手动备份对数据库进行备份，手动备份是由用户启动的数据库实例的全量备份，会一直保存，直到用户手动删除。 对象存储备份 数据库对象存储备份是一种数据备份策略，‌其中数据库数据被存储在对象存储‌系统中。‌这种备份方法利用对象存储的特性和优势，‌为数据库提供连续的数据保护和低成本的备份服务。‌对象存储作为一种存储架构，‌以对象为单位处理、‌存储和检索数据，‌每个对象包含数据本身、‌元数据以及一个全局唯一的标识符。‌这种存储方式特别适合存储大量非结构化的数据，‌并且能够通过API进行数据的读写。 备份机备份 当前全量备份、差量备份默认在主DN上执行，在备份过程中会影响主DN的CPU和IO，TeleDB支持开启备机备份功能， 开启备机备份后，拷贝、压缩文件等操作均会切换到备DN上执行，减少对主DN业务的影响‌。

还原资产 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发模块控制台的左侧导航栏，选择“备份管理”。 3. 选择“还原管理”页签，单击“还原备份”。 在还原备份对话框中，从OBS桶中选择待还原的资产存储路径，设置重名处理策略。 说明 待还原的资产存储路径为备份资产中生成的文件路径。 您可在还原资产前修改备份路径下的backup.json文件，支持修改连接名（connectionName）、数据库名（database）和集群名（clusterName）。 详见下图：还原资产 4. 单击“确定”。

如何处理大Key和热Key 场景 方法 说明 大Key 对大Key进行拆分 例如将含有数万成员的一个HASH Key拆分为多个HASH Key，并确保每个Key的成员数量在合理范围。在Redis集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用 大Key 对大Key进行清理 将不适合Redis的数据存至其它存储，并在Redis中删除此类数据 大Key 对过期数据进行定期清理 堆积大量过期数据会造成大Key的产生，例如LIST或HASH类型数据都以增量的方式写入数据，而忽略数据的有效性和时效性。可以定时清理这些过期失效数据。 可配合缓存分析功能使用 热Key 使用客户端本地缓存 设计客户端(本地)和Redis的两级缓存架构。热点数据优先从本地缓存获取。对于一些不频繁修改的数据，可优先使用本地缓存 热Key Redis集群架构中对热Key进行复 集群架构中，可以将对应热Key进行复制并迁移至其他数据分片，例如将热Key 复制出3个内容完全一样的Key，将这三个Key迁移到其他数据分片来解决单个数据分片的热Key压力

本章节主要介绍数据连接的创建过程以及参数说明。 配置数据连接 翼MapReduce的数据连接是用来管理集群中组件使用的外部源连接，如Hive、Ranger、Amoro、Hue、DolphinScheduler、Gravitino、StreamPark2服务的元数据使用外部的关系型数据库，可以通过数据连接关联数据库与组件。 选择在翼MR集群部署Hive、Ranger、Amoro、Hue、DolphinScheduler等组件服务时，翼MR提供关系数据库MySQL版（CTRDS MySQL）的元数据存储方式。在进行数据连接时，请选择关联与当前集群同一虚拟私有云（VPC）下的MySQL数据库，元数据将存储于关联的数据库中，不会随当前集群的删除而删除，多个翼MR集群可共享同一份元数据。 前置操作 1. 登录“关系数据库MySQL版”管理控制台。 2. 点击菜单栏“MySQL”“实例管理”进入页面，选择希望翼MR连接的数据库实例。 3. 点击实例名称，进入实例详情页。选择“数据库管理”tab页，单击“创建数据库”即可创建新的数据库。 4. 可按需前往“账号管理”页，点击“创建账号”，创建非root用户账号，并为该账号授予数据库的操作权限。 说明 1、当前仅支持通过内网地址进行数据库连接。请选择关联与当前集群同一虚拟私有云（VPC）下的MySQL数据库。 2、配置元数据库信息时，请提前创建数据库，若需要部署多个服务，请创建多个数据库，创建方式可参考 3、元数据配置所需信息可前往 4、请确保配置的数据库用户具有该数据库的读写权限。

项目 描述 时间范围 可以选择相对时间： 近2小时 近6小时 近1天 近7天 近1年 自定义时间段，选择开始日期和结束日期，精确到天。 注意 起始时间必须早于结束时间，且起始时间不能早于服务器当前时间一年。 数据目录使用率 所有数据目录所在磁盘使用率的平均值。 容量配额收益率 HBlock所有数据目录容量配额使用率的平均值。 HBlock HBlock服务端。 数据目录使用量 所有数据目录所在磁盘使用量的总和。 数据目录总容量 所有数据目录所在磁盘的容量总和。 配额使用量 HBlock配额使用量。 配额 集群中各个数据目录的HBlock配额总量。 客户端<>HBlock 客户端与HBlock之间的数据传输情况。 读带宽 客户端从HBlock读取数据的带宽。 写带宽 客户端向HBlock写入数据的带宽。 总带宽 客户端与HBlock之间的总带宽。 读IOPS 客户端从HBlock读取数据的IOPS。 写IOPS 客户端向HBlock写入数据的IOPS。 总IOPS 客户端与HBlock之间的总IOPS。 读时延 客户端从HBlock读取数据的时延。采集周期内，系统中所有卷读时延的平均值。 写时延 客户端向HBlock写入数据的时延。采集周期内，系统中所有卷写时延的平均值。 总时延 客户端与HBlock之间的总时延。采集周期内，系统中所有卷读写时延的平均值。 HBlock<>Cloud HBlock与云之间的数据传输情况。 上云上传带宽 HBlock向云上传数据的带宽。 上云下载带宽 HBlock向云下载数据的带宽。 上云总带宽 HBlock与云之间的总带宽。

本章节主要介绍通用类问题 DRDS提供哪些高可靠保障 数据完整性 DRDS实例故障不会影响数据的完整性。 1、业务数据存储在数据节点分片中，DRDS不存储业务数据。 2、逻辑库与逻辑表等配置信息存储在DRDS数据库中，DRDS数据库主备高可用。 高可用机制 DRDS采用多个无状态节点集群式部署模式，通过弹性负载均衡地址提供服务。 1、DRDS节点自身宕机类故障，对于已建立在故障节点上的连接会断连报错，DRDS集群整体服务不受影响，通常情况下可在5秒内将故障节点从集群中剔除。 2、下挂数据节点故障，通常情况下可以在下挂数据节点恢复后30秒内完全恢复正常服务能力。 如何选择和配置安全组 DRDS实例采用了VPC和安全组等网络安全保护措施，以下内容帮助您正确配置安全组。 通过VPC内网访问DRDS实例 DRDS实例的访问和使用，包括客户端所在ECS访问DRDS实例，以及DRDS实例访问其关联的数据节点。 除了ECS、DRDS实例、数据节点必须处于相同VPC之外，还需要他们的安全组分别配置了正确的规则，允许网络访问。建议ECS、DRDS、数据节点配置相同的安全组。安全组创建后，默认包含同一安全组内网络访问不受限制的规则。 一个DRDS实例关联的不同数据节点之间是否可以共享数据 一个DRDS实例关联的不同数据节点之间数据是互相独立的，无法共享。数据节点表示DRDS下关联的RDS for MySQL实例。

本页详细介绍如何配置迁移实例。 基本流程 用户在成功购买天翼云DTS迁移实例之后，实例默认是“待配置”状态，需要完成实例的配置，才可以真正实现数据的迁移。 前置条件 1. 准备好待迁移的数据库实例。 2. 已成功订购天翼云DTS实例。 3. 其他合理且必要的条件。 具体步骤 1、登录天翼云官网门户，进入数据传输服务DTS控制台。 登录天翼云 在天翼云门户首页顶部菜单栏，点击“控制中心”进入【控制中心】页面。 在【控制中心】页面顶部的资源池下拉列表框中选择相应资源池（目前支持上海36/华东1/西南1/华北2/长沙42/杭州7 ），找到页面中的“数据库”服务列表，选择“数据传输服务DTS”，进入DTS控制台。 2、进入数据迁移实例列表页面。 在控制台左侧菜单栏点击“数据迁移”，进入【数据迁移】实例列表页面。 3、选择待配置实例，点击“实例配置”进入实例配置页面。 DTS实例订购成功后，选择对应实例ID的操作，点击“实例配置”，进入配置页面。

导入向量数据 执行如下命令，导入向量数据。向“myindex”索引中写入向量数据时，需要指定向量字段名称和向量数据。 向量数据输入格式为逗号分隔的浮点型数组时： POST myindex/doc { "myvector": [1.0, 2.0] } 向量数据输入格式为小端字节序编码的Base64字符串时： 在向量维度较高、数值有效位较多时，使用Base64编码格式传输、解析更加高效。 POST myindex/doc { "myvector": "AACAPwAAAEA" } 当写入大规模数据时，建议使用Bulk操作： POST myindex/bulk {"index": {}} {"myvector": [1.0, 2.0], "mylabel": "red"} {"index": {}} {"myvector": [2.0, 2.0], "mylabel": "green"} {"index": {}} {"myvector": [2.0, 3.0], "mylabel": "red"} 集群高级配置 在离线导入数据场景下，为了提高批量写入性能，建议将索引的refreshinterval参数设置为1，即关闭自动刷新索引。 建议将备份数numberofreplicas设置为0，当离线数据导入完成后，再设置为需要的值。 其他高级功能的参数配置说明： 参数 说明 native.cache.circuitbreaker.enabled 是否开启堆外内存熔断。 默认值：true native.cache.circuitbreaker.cpu.limit 向量索引堆外内存使用上限。 假设使用128GB内存的机器且堆内存大小为31GB，默认堆外内存使用上限为(128 31) 45% 43.65GB，堆外内存使用量超过该值将会触发写入熔断。 默认值：45% native.cache.expire.enabled 是否开启缓存超时设置。开启时，如果某些缓存项长时间没有被访问过将会被清除。 取值范围：true、false 默认值：false native.cache.expire.time 超时时长。 默认值：24h native.vector.indexthreads 创建底层索引时所使用的线程数，每个shard均会使用多个构建线程。该值建议不要设置过大，避免产生过多的构建线程抢占查询资源。 默认值：4

本页介绍数据传输服务DTS的数据迁移实例在实例配置阶段如何进行源库和目标库的连接诊断。 功能介绍 在进行DTS迁移操作之前，可使用测试连接功能判断DTS工作节点和源库、目标库的连通性，来确认是否使用了符合要求的网络环境和是否可执行正常的迁移任务。 操作指引 1. 在【数据迁移】页面，选择迁移实例，点击“实例配置”，进入配置页面，在源库窗口中选择数据库类型。 2. 输入需要测试连通性的IP和端口号。如果目标库为公网机器需输入其绑定的EIP。 3. 输入数据库账号密码等必要参数，点击测试连接。 4. 在目标库窗口中，输入账号、密码等必要参数，点击测试连接。 5. 源库和目标库都显示连接成功，即可进行下一步操作。

本文介绍已删除的数据在媒体存储中是否会有残留。 用户选择清除数据之后，系统会保证完全删除数据，不会留下残留信息，无需担心信息泄露。

实际场景举例 如：每天大概有500GB的日志数据写入，日志数据需要在线保存7天。根据存储容量规划公式，500GB的原始数据需要1500GB的磁盘空间。7天就是10TB。16 核 64G的数据节点单节点磁盘最大容量（日志）为2TB，所以需要购买5台规格为16 核 64G+2TB存储的Elasticsearch/OpenSearch实例。 规划节点类型 在订购天翼云云搜索服务时，正确规划集群节点类型非常重要。 目前天翼云云搜索服务支持数据节点、专属master节点、专属协调节点、冷数据节点四种节点类型。 数据节点 数据节点就是Elasticsearch/OpenSearch的data节点。数据节点是实例的核心数据存储和计算单元，负责分片存储、索引/搜索执行、聚合计算等基础操作。如果没有购买专属master节点，数据节点也会承担master节点的工作。 专属master节点 专属master节点负责集群元数据管理、分片分配、节点状态监控等核心控制任务，不存储数据。 部署必要性 小型实例（≤10节点）：可不单独配置Master节点，由普通节点兼任。 中大型集群实例：必须独立部署，避免元数据操作与数据计算争抢资源导致性能抖动。 高可用配置 数量要求：至少3个且为奇数，防止单点故障和脑裂问题。 规格建议：选择低配机型（如 esearch4c16g），因其不参与数据计算，资源消耗较低。 专属协调节点 接收用户请求并分发至数据节点，汇总结果返回客户端，缓解数据节点的负载压力。

本文主要介绍如何快速创建可信数据空间。 本章主要介绍如何快速创建可信数据空间产品。 1. ++注册天翼云账号++ 2. ++实名认证++ 3. 搜索可信数据空间产品 4. 按照订购流程选择空间具体配置，包括：产品规格、购买时长、项目描述等信息 5. 登录到++可信数据空间控制台++查看部署进度 6. 部署完成后可以在控制台查看访问方式

本文向您介绍私有数据是否支持物理邮寄 出于安全性考虑，云上的服务与数据基于物理存储介质的传递与交互。因此私有数据只能通过网络上传下载，不支持物理邮寄。 您可以通过以下两种方式，实现私有数据的上传或下载： 1、自建FTP服务，通过公网实现云主机实例与您本地服务器的数据传输。 Linux云主机搭建FTP方式请见：快速构建FTP站点（Linux）。 Windows云主机搭建FTP方式请见：快速构建FTP站点（Windows）。 2、通过私有镜像导入与导出的功能，将数据随私有镜像导入到云平台，或者从云平台下载。 私有镜像导入到云平台的操作步骤请见：通过镜像文件创建系统盘镜像。 私有镜像从云平台导出的操作步骤请见：导出镜像。

注意事项 建议只对确实需要审计或故障排查的表开启系统版本化，先使用测试环境验证后再进行实际操作，避免查询失败或查询结果不符合预期。 表数据闪回查询功能并不会备份表数据，因此，不能替代定期的数据备份与恢复，历史数据随时可能因被回收而无法查询。超出范围时，闪回查询可能出现少行、报错、查询结果与预期不符等，请勿当作备份恢复手段的唯一依赖。更多备份恢复信息，请参见备份与恢复。 表超过保留策略、服务器被回收、表中的行被删除且相关历史被回收后，均无法通过本功能查询到数据。 如果存在长时间未提交的事务，可能影响服务器回收历史数据的进度，进而影响您能查到多久以前的数据。 当您在维护窗口执行ADD SYSTEM VERSIONING / DROP SYSTEM VERSIONING操作时，可能短暂影响目标表的并发写入，建议在业务低峰时操作。 操作步骤 表数据闪回语法如下： plaintext SELECT FROM 表名 FOR SYSTEMTIME AS OF '时间点' WHERE id 1; 本操作以orders表在固定时间、相对当前时间和使用变量方式闪回查询数据为例，为您介绍具体操作步骤。请您以实际情况为准，进行相关操作。 1. 为目标表开启系统版本化配置。 注意 如果需要查看多张表，则您需要单独为每一张目标表进行开启操作。 plaintext ALTER TABLE orders ADD SYSTEM VERSIONING; 2. （推荐）由管理员设置可查询的时间范围。 plaintext 示例：尽量只保留约最近 1 小时内的历史（单位：秒） SET GLOBAL innodbbackquerywindow 3600; 查看当前值： plaintext SHOW VARIABLES LIKE 'innodbbackquerywindow'; 3. 按时间点查询表数据（即表数据闪回查询）。 plaintext 固定时间 SELECT FROM orders FOR SYSTEMTIME AS OF '20251216 09:00:00' WHERE id 100; 相对当前时间 SELECT FROM orders FOR SYSTEMTIME AS OF DATESUB(NOW(), INTERVAL 30 MINUTE) WHERE id 100; 使用变量 SET @t '20251216 09:00:00'; SELECT FROM orders FOR SYSTEMTIME AS OF @t WHERE id 100; 4. （可选）关闭系统版本化配置。 注意 您可以在不再需要该功能时，执行关闭操作。您需要注意，关闭后，不再按系统版本化方式维护该表，是否还能查询到历史数据取决于服务器的数据回收机制。 plaintext ALTER TABLE orders DROP SYSTEM VERSIONING;

介绍等保满足程度。 二级等保服务是指信息安全等级保护的一个级别，它是根据《中华人民共和国网络安全法》和《网络安全等级保护管理条例》等法律法规制定的一套完整的网络安全管理体系。 根据《网络安全等级保护定级指南》，需要进行二级等保服务的信息系统主要包括以下几类： 承载涉及国家秘密或者重要数据的政府部门、事业单位、企业单位、社会团体等组织机构的内部管理类信息系统； 承载涉及大量个人隐私数据或者重要数据的互联网平台类信息系统； 承载涉及大量个人隐私数据或者重要数据的云计算平台/系统； 承载涉及大量个人隐私数据或者重要数据的物联网； 承载涉及大量个人隐私数据或者重要数据的工业控制系统； 承载涉及大量个人隐私数据或者重要数据的移动互联技术。 如果需要满足等保二级合规要求，您需要购买企业版、旗舰版、容器版或者网页防篡改版才能满足等保二级及以上的认证，基础版的功能无法满足整改要求。

项目 描述 数据目录 单机版：所有数据目录所在磁盘已用容量总和、剩余容量总和、磁盘空间利用率，以及状态为健康、警告和错误的数据目录数量。 集群版：基础存储池所有数据目录所在磁盘已用容量总和、剩余容量总和、磁盘空间利用率，以及状态为健康、警告和错误的数据目录数量。 系统健康情况 许可证 软件许可证情况。 系统健康情况 存储池（仅集群版支持） 包括存储池的数量和基础存储池的基本信息。 存储池的基本信息包括： 基础存储池名称。 故障域级别。 状态为健康、警告和错误的故障域数量。 数据健康度：正常、降级、错误的比例。 如果存在降级状态的数据，会显示数据重建进度和预计剩余时间。 系统健康情况 卷 各类型卷（缓存卷、存储卷、本地卷）对应的个数及总容量、卷数据健康度（正常、降级、错误的比例）。 如果存在降级状态的数据，会显示数据重建进度和预计剩余时间。 系统带宽 读带宽 客户端从HBlock读取数据的带宽。 系统带宽 写带宽 客户端从HBlock写入数据的带宽。 系统带宽 总带宽 客户端从HBlock之间的总带宽。 系统IOPS 读IOPS 客户端从HBlock读取数据的IOPS。 系统IOPS 写IOPS 客户端从HBlock写入数据的IOPS。 系统IOPS 总IOPS 客户端从HBlock之间的总IOPS。 系统时延 读时延 客户端从HBlock读取数据的时延。采集周期内，系统中所有卷读时延的平均值。 系统时延 写时延 客户端向HBlock写入数据的时延。采集周期内，系统中所有卷写时延的平均值。 系统时延 总时延 客户端与HBlock之间的总时延。采集周期内，系统中所有卷读写时延的平均值。 上云带宽 上传带宽 HBlock向云上传数据的带宽。 上云带宽 下载带宽 HBlock向云上传数据的带宽。 上云带宽 总带宽 HBlock与云之间的总带宽。 告警信息 告警信息列表。

本文带您了解故障恢复相关产品。 您可以通过天翼云云主机备份产品和云硬盘备份产品，对弹性云主机上的数据进行备份，当云主机或主机上的云硬盘出现故障，或者软件造成的数据丢失损坏以及人为错误导致的数据误删时，您可以借助备份功能自助快速恢复数据。 云主机备份 云主机备份（CTCSBS，Cloud Server Backup Service）提供对弹性云主机的备份保护服务，支持基于云硬盘快照技术的备份服务，并支持利用备份数据恢复弹性云主机数据。通过云主机备份服务，可以在发生数据丢失、系统故障、人为错误或恶意攻击等情况下，还原云主机数据，确保业务的连续性和数据的安全性。 更多内容请参见云主机备份。 云硬盘备份 云硬盘备份（CTVBS，Volume Backup Service）是针对云主机的系统盘、数据盘提供的备份服务。用户可对存储重要数据的云硬盘进行备份，并在云硬盘故障、用户误删数据、遭到黑客攻击等情况下，使用备份快速恢复数据，最大限度保证用户数据的安全性。 更多内容请参见云硬盘备份。 云主机备份和云硬盘备份的差异 产品名称 备份对象 产品要点说明 场景说明 云主机备份 云主机 整机备份，通过存储快照技术，将云主机包含的多个云硬盘的数据备份到对象存储。 周期备份、手动备份。 支持恢复原云主机或创建新的云主机。 针对需要对整个云主机进行保护，或者希望通过备份创建云主机达到快速复制业务运行环境的场景，建议使用云主机备份。 云硬盘备份 云硬盘 通过存储快照技术，将云硬盘数据备份到对象存储。 周期备份、手动备份。 支持恢复原云硬盘，和使用备份数据创建新的云硬盘。 针对系统盘没有自定义数据的场景，可以选择使用云硬盘备份对系统盘和数据盘进行备份，保证数据安全的同时，降低备份成本。

本文主要介绍如何从数据管理服务跳转到云数据库控制台页面。 前提条件 已登录数据管理服务。 操作步骤 1. 点击 数据资产 > 实例管理 ，进入实例列表界面。 2. 在实例列表页面中，在点击 RDS控制台 按钮。 3. 选择对应的数据库类型以及目标资源池。 4. 点击 确定 按钮，即可跳到对应资源池的实例管理控制台页面。

本节主要介绍OBS的按需计费。 OBS服务默认为按需计费模式，即按实际使用的时长收费，以小时为单位，每小时整点结算，不设最低消费标准。 资费标准 目前OBS提供标准、低频访问、归档三种存储类型，计费项和具体资费如下： 1）标准型 资费项 计费项 标准资费 ::: 存储空间（元/GB/月） 数据存储(单AZ) 0.1 存储空间（元/GB/月） 数据存储(多AZ) 0.139 流量费用（元/GB） 内网流出/流入流量 免费 流量费用（元/GB） 公网流入流量 免费 流量费用（元/GB） 公网流出流量 0.5 流量费用（元/GB） 跨域复制流量 0.5 请求费用（元/万次） 请求次数 0.01 数据处理（元/GB） 图片处理空间 0.025 2）低频访问型 资费项 计费项 标准资费 ::: 存储容量（元/GB/月） 数据存储(单AZ) 0.08 存储容量（元/GB/月） 数据存储(多AZ) 0.11 流量费用（元/GB） 内网流出/流入流量 免费 流量费用（元/GB） 公网流入流量 免费 流量费用（元/GB） 公网流出流量 0.4 请求费用（元/万次） 请求次数 0.1 数据取回（元/GB） 数据读取流量 0.0325 数据取回（元/万次） 数据读取次数 0.1 3）归档型 资费项 计费项 标准资费 ::: 存储容量（元/GB/月） 数据存储(单AZ) 0.033 流量费用（元/GB） 内网流出/流入流量 免费 流量费用（元/GB） 公网流入流量 免费 流量费用（元/GB） 公网流出流量 0.4 请求费用（元/万次） 请求次数 0.1 数据取回（元/GB） 数据读取流量（标准） 0.06 数据取回（元/GB） 数据读取流量（直读） 0.2 数据取回（元/万次） 数据读取次数 0.1