后续操作 检查数据源：单击“操作”列的“检查”，若数据源已成功录入，则提示“数据源数据存在”。反之，提示“数据源数据不存在”。 编辑数据源：单击“操作”列的“编辑”，在跳转的页面中修改相关参数，修改完成后，单击“确认”即可完成修改。 说明 不支持对“统计字段”和“分组字段”进行修改。 删除数据源：单击“操作”列的“删除”，在跳出的小对话框中单击“确定”，完成删除操作。 说明 若有报表引用该数据源，则无法删除该数据源，提示“报表存在引用的数据源，不可删除！”。 清空：单击“清空”，提示“确认清空数据源已有数据”。确定后，该数据源内容被清空。 启用：打开 “启用”，系统将每天定时获取该任务数据。关闭“启用”，不再每天定时获取该任务数据。

名称 描述 Account 发出请求的账户名。 UserName 发出请求的用户名。如果根用户发送的该请求，则UserName为root。 StorageClass 存储类型： ALL：所有存储类型。 STANDARAD：标准类型。 STANDARADIA：低频访问类型。 TimeZone 返回数据的时区，统一为UTC +0800。 Freq 返回统计数据的采样粒度： byHour：统计数据的采样粒度为1小时。 byDay：统计数据的采样粒度为1天。 BucketName Bucket名字。如果用户在请求中没有携带Bucket参数，BucketName为空。 RegionName 数据位置，如果用户在请求中没有携带Region参数，RegionName为空。 Statistics.Date 返回结果对应的时间： 当请求参数Freq为byHour时，返回格式为yyyyMMdd HH:mm。 当请求参数Freq为byDay时，返回格式为yyyyMMdd。 Statistics.Standard.BilledStorage.BilledStorageUsage 标准存储数据收费容量，单位是Byte。 Statistics.Standard.BilledStorage.RemainderChargeStorageUsage 标准存储数据补齐容量（时长补齐和大小补齐容量的和值），值为0。 Statistics.Standard.BilledStorage.RemainderChargeOfDuration 标准存储数据存储时长补齐容量，值为0。 Statistics.Standard.BilledStorage.RemainderChargeOfSize 标准存储数据大小补齐容量，值为0。 Statistics.Standardia.BilledStorage.BilledStorageUsage 低频访问存储数据收费容量，单位是Byte。 Statistics.Standardia.BilledStorage.RemainderChargeStorageUsage 低频访问存储数据补齐容量（时长补齐和大小补齐容量的和值），单位是Byte。 Statistics.Standardia.BilledStorage.RemainderChargeOfDuration 低频访问存储数据时长补齐容量，单位是Byte。 Statistics.Standardia.BilledStorage.RemainderChargeOfSize 低频访问存储数据大小补齐容量，单位是Byte。

背景信息 在云原生和大数据成本优化的大趋势下，分布式消息Kafka引入弹性存储功能，正是为了应对传统架构中“高成本、难扩展、利用率低”的痛点。通过弹性存储能力，实现存储成本的显著下降和资源的按需使用，使企业能够以更经济的方式处理海量流数据。弹性存储能力核心优势如下： 显著降低存储成本 对象存储的费用通常仅为超高IO云盘费用的7.5%~10%，并且冷数据存储在远端只需存储一个副本。通过将不常访问的历史数据迁移到对象存储，企业可以在保留更长数据保留周期的同时，大幅降低总体拥有成本。 实现按需使用、弹性扩展 弹性存储解耦了计算与存储。对象存储具备近乎无限的扩展能力，无需预先规划容量。用户可以根据业务需求灵活延长数据保留时间（如从 7 天延长至 90 天甚至更久），而无需担心存储瓶颈。 提升资源利用率与运维效率 本地磁盘资源专注于服务高频访问的热数据，提升集群性能；冷数据由对象存储承载，减轻 Kafka服务端的存储压力。同时，减少了因存储不足而频繁扩容的运维负担。 支持更多数据应用场景 低成本的长期数据保留使得 Kafka 不仅可用于实时流处理，还可作为事件溯源、数据湖入湖前的缓冲层、合规归档等场景的统一数据平台，提升数据价值。

本章节主要介绍元数据采集的任务监控。 监控元数据采集任务运行情况，查看采集日志，支持重跑采集任务。 在数据目录页面，选择“元数据采集 > 任务监控”。在任务监控页面，对采集任务进行监控。 监控采集任务 参数名 说明 任务名称 采集任务的名称。 实例状态 实例（即采集任务）的状态。 成功 部分成功 执行中 失败 运行异常 暂停：因管理面升级，监控任务暂停，升级完成后监控继续执行。 调度方式 展示采集任务的调度状态，分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。 结束时间 重跑采集任务的结束时间。 运行时间 采集任务的运行时间。 操作 对被纳入监控的采集任务可进行如下操作： 重跑：实例状态为失败和成功状态的实例，支持重跑。 日志：查看实例日志。 说明 单击“日志”，可实时查看元数据采集、数据概要、数据分类三类任务的运行日志。 更多>取消：创建采集任务的时候，配置“数据分类”为“手动同步分类结果”时，才可进行此操作。状态为执行中的实例，单击取消，可终止重跑此实例。 更多>扫描结果：创建采集任务的时候，配置“数据分类”为“手动同步分类结果”时，才可进行此操作。可用于查看采集任务实例执行结果，确认分类结果是否匹配。勾选分类匹配字段前的复选框，单击“同步”，即可将分类和密级属性手动同步到资产。

本页介绍了文档数据库提升数据库的读写性能的方法。 常见的提高数据库读写能力方式： 1. 使用索引：确保你的文档数据库服务的数据库中有适当的索引，以加快查询速度。根据查询模式和数据访问模式创建合适的索引，避免全表扫描。 2. 写入优化： 1. 批量写入：对于大量数据的写入操作，使用批量写入可以减少写入操作的次数，提高写入性能。 2. 使用Unordered Bulk Write：对于不需要按顺序执行的批量写入操作，使用Unordered Bulk Write可以提高写入性能。 3. 关闭日志：对于写入密集的场景，可以考虑关闭写入日志（journal），以提高写入性能。但需要权衡数据的耐久性和丢失数据的风险。 3. 读取优化： 1. 使用读写分离：如果有高并发的读请求，可以使用文档数据库服务的读写分离策略，将读请求分发给多个Secondary节点，减轻Primary节点的读负载。 2. 选择合适的Read Preference：在读取操作中，根据数据的一致性要求，选择合适的Read Preference，平衡性能和数据一致性。 4. 调整连接池大小：根据应用程序的并发连接数和服务器硬件资源，适当调整文档数据库服务的连接池大小，以避免连接资源浪费和性能瓶颈。 5. 使用WiredTiger存储引擎：WiredTiger存储引擎在性能和存储方面通常优于MMAPv1引擎。对于大多数应用，推荐使用WiredTiger存储引擎。 6. 数据分片：如果数据规模非常大，可以考虑使用文档数据库的分片集群，将数据分散到多个节点上，实现水平扩展和负载均衡。 7. 硬件升级：确保文档数据库服务运行在性能良好的硬件上，包括CPU、内存和磁盘。SSD硬盘通常比传统机械硬盘更适合文档数据库，因为它可以提供更快的读写速度。 8. 维护：定期进行数据库维护操作，例如索引重建、压缩数据、日志清理等，可以优化数据库性能。

本节为您介绍云迁移服务迁移时限制数据访问相关内容。 云迁移期间限制对数据的访问对于力求安全传输信息的企业来说是至关重要的一步。您应该采取多个步骤来确保只有预期的用户才能在必要时访问数据。这些步骤包括如下： 实现和实施用户级身份验证和授权规则。 建立可靠的双因素身份验证流程。 使用来自云提供商的内置安全策略。 传输之前加密所有数据。 迁移期间定期审计谁拥有访问权。 迁移过程中，对拥有敏感信息的系统完成定期的漏洞扫描。 删除与被解雇员工相关的任何凭据或访问密钥。

等保合规场景 场景说明：业务系统需通过等级保护测评，存在账号权限混乱、操作无审计、数据未脱敏加密、缺乏安全管控等合规短板。 解决方案：建立统一运维权限与账号管控，实现全流程操作留痕，对敏感数据加密脱敏，持续监测安全风险。 推荐产品：云堡垒机、数据库审计、日志审计、数据分类分级 核心数据防护场景 场景说明：政务、医疗、金融、运营商等行业存有大量敏感与重要数据，面临泄露、篡改、越权访问、拖库等高风险。 解决方案：先做数据分类分级，再实施存储加密、动态脱敏，严格访问控制与操作阻断，支持泄露后水印溯源。 推荐产品：数据分类分级、数据加密、脱敏水印、数据库安全网关、数据安全运营中心 数据共享与开放场景 场景说明：跨部门、第三方合作、对外接口等数据共享场景，易发生敏感信息泄露、接口被爬取、越权调用等问题。 解决方案：API 全生命周期安全管理，传输中自动脱敏与水印嵌入，实施权限校验、流量限流与攻击防护。 推荐产品：API 安全网关、API 风险监测、数据脱敏水印、数据库审计 数据库运维安全场景 场景说明：内部与第三方运维人员直接访问生产库，存在越权查询、高危 SQL、批量导出、账号密码泄露等风险。 解决方案：统一运维入口，执行权限最小化与多级审批，阻断高危操作，全程录像审计并可回溯追责。 推荐产品：云堡垒机、数据库安全网关、数据库审计

本章主要介绍翼MapReduce的备份Hive业务数据功能。 操作场景 为了确保Hive日常用户的业务数据安全，或者系统管理员需要对Hive进行重大操作（如升级或迁移等），需要对Hive数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份Hive任务。支持创建任务自动或手动备份数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 Hive备份恢复功能不支持Hive on RDB数据表，需要在外部数据库中单独备份恢复原始数据表。 已创建的Hive备份任务且包含Hive on HBase表，如果本次备份任务在备集群的备份数据丢失，当下次执行增量备份时备份任务将失败，需要重新创建Hive的备份任务。若下次执行全量则备份正常。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照，否则无法创建备份任务。 如果数据要备份至NAS中，需要提前部署好NAS服务端。

本章节主要介绍使用咨询相关问题。 什么是DLI 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 DLI支持哪些数据格式 DLI支持如下数据格式： Parquet CSV ORC Json Avro DLI中的Spark组件与MRS中的Spark组件有什么区别？ DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，用户可以根据实际需求调整及优化Spark服务，支持各种接口调用。 DLI的数据可存储在哪些地方 DLI服务的数据可存储在如下地方： OBS：SQL作业，Spark作业，Flink作业使用的数据均可以存储在OBS服务中，降低存储成本。 DLI：DLI内部使用的是列存的Parquet格式，即数据以Parquet格式存储。存储成本较高。 跨源作业可将数据存储在对应的服务中，目前支持CloudTable，CSS，DCS，DDS，DWS，MRS，RDS等。 DLI表与OBS表的区别 DLI表表示数据存储在本服务内部，用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中，源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能，性能相较于外表性能更好，但是会收取存储费用。

版本 资产规格 并发数 标准资费（元/个/月） 推荐云主机规格 高级版 10资产 10并发上线 860 CPU：2核 内存：8GB 系统盘：40GB 数据盘：200GB 高级版 20资产 20并发上限 999 CPU：2核 内存：8GB 系统盘：50GB 数据盘：300GB 高级版 50资产 50并发上限 1888 CPU：4核 内存：16GB 系统盘：50GB 数据盘：500GB 高级版 100资产 100并发上限 2999 CPU：8核 内存：32GB 系统盘：50GB 数据盘：800GB 高级版 200资产 200并发上限 4350 CPU：8核 内存：32GB 系统盘：50GB 数据盘：800GB 高级版 500资产 500并发上限 6230 CPU：12核 内存：48GB 系统盘：50GB 数据盘：2048GB 高级版 1000资产 1000并发上限 11100 CPU：16核 内存：64GB 系统盘：50GB 系统盘：2048GB 高级版 2000资产 2000并发上限 14000 CPU：16核 内存：128GB 系统盘：50GB 数据盘：2048GB 高级版 5000资产 2000并发上限 20000 CPU：24核 内存：192GB 系统盘：50GB 数据盘：4096GB 高级版 10000资产 2000并发上限 29550 CPU：32核 内存：192GB 系统盘：50GB 数据盘：4096GB

本节介绍了巡检评分的相关内容。 巡检评分 数据管理服务支持对目标数据库实例进行巡检评分，您可以选择巡检时间段，手动发起巡检评分，及时了解数据库实例的运行情况。 本章节主要介绍如何在数据管理服务控制台进行巡检评分的操作。 使用须知 目前仅RDS for MySQL实例支持该功能。 数据管理服务支持的评分规则请参见评分规则。 前提条件 已成功登录目标RDS for MySQL实例，并且实例运行状态正常。 操作步骤 步骤 1 登录管理控制台。 步骤 2 单击管理控制台左上角的 ，选择区域和项目。 步骤 3 单击页面左上角的 ，选择“数据库 > 数据管理服务 DAS”，进入数据管理服务页面。 步骤 4 在左侧的导航栏中单击“DBA智能运维 > 实例列表”页签，进入DBA智能运维实例列表页面。 步骤 5 在实例列表页面右上角，按照引擎、实例名称或者实例IP筛选实例。 步骤 6 选择所需实例，单击“详情”，进入“实例概览”页面。 步骤 7 单击“日报”，进入日报页面。 步骤 8 单击右上角“发起诊断”，选择需要进行诊断的起止时间。时间跨度不能超过一天。 步骤 9 单击“确定”。 步骤 10 待诊断完成后，在巡检评分区域查看巡检评分的结果。 还可以单击操作列的“扣分详情”，查看具体扣分的项目和所扣分数。 结束

本节介绍天翼云电脑(公众版)产品支持多终端适配、支持投屏、数据安全等功能的内容介绍。 多终端适配 与传统PC一致的使用体验，多种外设无缝衔接，实现多终端适配。 多终端适配： 适配PC、Mac、 iOS、安卓等多终端。 多外设支持： 打印机、扫描仪等外设无缝衔接（备注：手机、pad等移动终端不支持USB外设）。 支持投屏 支持手机有线/无线投屏模式，大屏电视秒变电脑使用，娱乐、办公两不误。 无线投屏： 在手机投屏模式下，支持把手机设置为触控版模式，操控更便捷。 有线投屏： 支持搭配扩展坞、蓝牙键鼠使用，操控更流畅。 数据安全 系统数据云端集中存储，不但能释放本地空间，还能避免宕机与数据丢失，使用多重安全传输协议保障数据安全。 数据不落地： 所有桌面、应用和数据统一管理，集中存储在云端。 数据多副本： 采用三副本技术分布式存储，灵活应对各种突发情况。 数据加密： 使用多重加密算法，对数据传输、数据存储进行加密，保障用户信息安全。

本章节介绍密码服务产品功能。 数据加解密 提供重要数据的加密和解密服务，满足密评中对重要数据传输和存储的机密性要求，基于数据加密技术，能够在数据进入数据库之前对其进行加密处理，从而确保数据的机密性和完整性。 签名验签 提供重要数据的签名和验签服务，满足密评中对重要数据传输和存储的完整性要求以及操作的不可否认性要求。 密钥管理 提供集中的密钥全生命周期管理服务，满足密评中对密钥管理的安全性要求。 安全传输 提供网络通信通道的加密服务，满足密评中对网络和通信安全层面的数据传输机密性和完整性要求。 协同签名 配合移动端密码模块为应用系统移动端提供协同密码服务，满足应用终端身份认证、数据加密合规性要求。 密评服务 为租户侧提供密码方案设计、应用系统密改指导、应用系统密评支撑等服务。

本页介绍了多模态向量数据库Milvus版产品的高级防护优势。 多模态向量数据库Milvus版产品的高级防护主要体现为：访问控制、网络隔离、数据销毁、防DDoS攻击、安全保护。 访问控制 多模态向量数据库Milvus版实例创建时，可以在虚拟私有云中对实例所在的安全组入站和出站规则进行限制，从而实现基于安全组的访问控制。这样就能够控制可以连接数据库的网络范围，从而提升数据库的安全性。 网络隔离 为了实现对数据库服务的网络隔离，可以利用虚拟私有云（Virtual Private Cloud，简称VPC）和网络安全组等网络安全技术。使用虚拟私有云可以让租户配置入站IP地址范围，这样就能够控制可以连接数据库的IP地址段。同时，多模态向量数据库Milvus版实例可以运行在租户独立的虚拟私有云内，这样就能够提升数据库实例的安全性。通过综合运用子网和安全组的配置，可以进一步实现对多模态向量数据库Milvus版实例的网络隔离。 数据销毁 在删除多模态向量数据库Milvus版实例时，存储在数据库实例中的数据都会被删除，并且不会被恢复或重新创建。安全删除不仅包括数据库实例所对应的元数据和业务数据，同时还包括备份数据的存储空间。这样可以确保数据得到完全的清除和保护，防止数据被不当使用或者泄露给未经授权的人员。 安全保护 多模态向量数据库Milvus版处于多层防火墙保护之下，能够有效抗击各种恶意攻击，保障数据的安全性。为了进一步提升数据库的安全性，建议您使用内网方式访问多模态向量数据库Milvus版实例，这样可以有效地避免DDoS攻击的影响。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 主题 (topic，kafka的topic监控数据。) id id clientid和ip信息 ENUM LAST 主题 (topic，kafka的topic监控数据。) topic topic kafka的topic名称 ENUM LAST 主题 (topic，kafka的topic监控数据。) bytesConsumedRate 每秒消费字节 每秒消费字节 Byte INT AVG 主题 (topic，kafka的topic监控数据。) fetchSizeAvg 请求获取平均字节 请求获取平均字节 Byte INT AVG 主题 (topic，kafka的topic监控数据。) fetchSizeMax 请求获取最大字节 请求获取最大字节 Byte INT MAX 主题 (topic，kafka的topic监控数据。) recordsConsumedRate 每秒消费消息数 每秒消费消息数 INT AVG 主题 (topic，kafka的topic监控数据。) recordsPerRequestAvg 单次请求平均消息数 单次请求平均消息数 INT AVG 主题 (topic，kafka的topic监控数据。) seqIds Producer生成序列号 Producer生成序列号 STRING LAST 主题 (topic，kafka的topic监控数据。) recordConsumedTotal 总消费次数 总消费次数 INT SUM 主题 (topic，kafka的topic监控数据。) bytesConsumedTotal 总消费字节数 总消费字节数 INT SUM fetch (fetch，kafka的fetch监控数据) id id clientid和ip信息 ENUM LAST fetch (fetch，kafka的fetch监控数据) bytesConsumedRate 每秒消费字节 每秒消费字节 Byte INT AVG fetch (fetch，kafka的fetch监控数据) fetchLatencyAvg 请求平均时延 请求平均时延 ms INT AVG fetch (fetch，kafka的fetch监控数据) fetchLatencyMax 请求最大时延 请求最大时延 ms INT MAX fetch (fetch，kafka的fetch监控数据) fetchRate 每秒请求数 每秒请求数 INT AVG fetch (fetch，kafka的fetch监控数据) fetchSizeAvg 请求获取平均字节 请求获取平均字节 Byte INT AVG fetch (fetch，kafka的fetch监控数据) fetchSizeMax 请求获取最大字节 请求获取最大字节 Byte INT MAX fetch (fetch，kafka的fetch监控数据) recordsConsumedRate 每秒消费消息数 每秒消费消息数 INT AVG fetch (fetch，kafka的fetch监控数据) recordsLagMax 最大堆积消息数 最大堆积消息数 INT MAX fetch (fetch，kafka的fetch监控数据) recordsPerRequestAvg 单次请求平均消息数 单次请求平均消息数 INT AVG fetch (fetch，kafka的fetch监控数据) seqIds Producer生成序列号 Producer生成序列号 STRING LAST fetch (fetch，kafka的fetch监控数据) recordConsumedTotal 总消费次数 总消费次数 INT SUM fetch (fetch，kafka的fetch监控数据) bytesConsumedTotal 总消费字节数 总消费字节数 INT SUM partition (partition，kafka的partition监控数据。) id id clientid和ip信息 ENUM LAST partition (partition，kafka的partition监控数据。) partition partition kafka的partition名称 ENUM LAST partition (partition，kafka的partition监控数据。) recordsLag 堆积消息数 堆积消息数 INT LAST partition (partition，kafka的partition监控数据。) recordsLagAvg 平均堆积消息数 平均堆积消息数 INT AVG partition (partition，kafka的partition监控数据。) recordsLagMax 最大堆积消息数 最大堆积消息数 INT MAX partition (partition，kafka的partition监控数据。) seqIds Producer生成序列号 Producer生成序列号 STRING LAST kafka消费方法监控 (consumer，kafka消费方法监控。) method method 消费方法 ENUM LAST kafka消费方法监控 (consumer，kafka消费方法监控。) concurrentMax 最大并发 最大并发 INT MAX kafka消费方法监控 (consumer，kafka消费方法监控。) errorCount 错误数 错误数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) invokeCount 调用次数 调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) lastError 错误信息 发生错误时产生的错误信息 STRING LAST kafka消费方法监控 (consumer，kafka消费方法监控。) maxTime 最大响应时间 采集周期内最大响应时间 INT MAX kafka消费方法监控 (consumer，kafka消费方法监控。) range1 010ms 响应时间在010ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range2 10100ms 响应时间在10100ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range3 100500ms 响应时间在100500ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range4 5001000ms 响应时间在5001000ms范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range5 110s 响应时间在110s范围调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) range6 10s以上 响应时间在10s以上调用次数 INT SUM kafka消费方法监控 (consumer，kafka消费方法监控。) totalTime 总响应时间 总响应时间 INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） recordConsumedTotal 总消费次数 总消费次数 INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） bytesConsumedTotal 总消费字节数 总消费字节数 INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） recordsLag 总堆积消息数 总堆积消息数 INT LAST 异常 (exception，kafka消费异常信息。) causeType 异常发生类 异常发生类 ENUM LAST 异常 (exception，kafka消费异常信息。) exceptionType 异常类 异常类 ENUM LAST 异常 (exception，kafka消费异常信息。) count 数量 异常数量 INT SUM 异常 (exception，kafka消费异常信息。) message 异常消息 异常消息 STRING LAST 异常 (exception，kafka消费异常信息。) stackTrace 异常堆栈 异常堆栈 CLOB LAST

背景信息 在云原生和大数据成本优化的大趋势下，分布式消息Kafka引入弹性存储功能，正是为了应对传统架构中“高成本、难扩展、利用率低”的痛点。通过弹性存储能力，实现存储成本的显著下降和资源的按需使用，使企业能够以更经济的方式处理海量流数据。弹性存储能力核心优势如下： 显著降低存储成本 存储费用通常常仅为超高IO云盘费用的30%左右。通过将不常访问的历史数据迁移到对象存储，企业可以在保留更长数据保留周期的同时，大幅降低总体拥有成本。 实现按需使用、弹性扩展 弹性存储解耦了计算与存储。对象存储具备近乎无限的扩展能力，无需预先规划容量。用户可以根据业务需求灵活延长数据保留时间（如从 7 天延长至 90 天甚至更久），而无需担心存储瓶颈。 提升资源利用率与运维效率 本地磁盘资源专注于服务高频访问的热数据，提升集群性能；冷数据由对象存储承载，减轻 Kafka服务端的存储压力。同时，减少了因存储不足而频繁扩容的运维负担。 支持更多数据应用场景 低成本的长期数据保留使得 Kafka 不仅可用于实时流处理，还可作为事件溯源、数据湖入湖前的缓冲层、合规归档等场景的统一数据平台，提升数据价值。

背景信息 在云原生和大数据成本优化的大趋势下，分布式消息Kafka引入弹性存储功能，正是为了应对传统架构中“高成本、难扩展、利用率低”的痛点。通过弹性存储能力，实现存储成本的显著下降和资源的按需使用，使企业能够以更经济的方式处理海量流数据。弹性存储能力核心优势如下： 显著降低存储成本 存储费用通常常仅为超高IO云盘费用的30%左右。通过将不常访问的历史数据迁移到对象存储，企业可以在保留更长数据保留周期的同时，大幅降低总体拥有成本。 实现按需使用、弹性扩展 弹性存储解耦了计算与存储。对象存储具备近乎无限的扩展能力，无需预先规划容量。用户可以根据业务需求灵活延长数据保留时间（如从 7 天延长至 90 天甚至更久），而无需担心存储瓶颈。 提升资源利用率与运维效率 本地磁盘资源专注于服务高频访问的热数据，提升集群性能；冷数据由对象存储承载，减轻 Kafka服务端的存储压力。同时，减少了因存储不足而频繁扩容的运维负担。 支持更多数据应用场景 低成本的长期数据保留使得 Kafka 不仅可用于实时流处理，还可作为事件溯源、数据湖入湖前的缓冲层、合规归档等场景的统一数据平台，提升数据价值。

本章节介绍应用容灾多活的应用场景。 应用场景 应用容灾多活 提供的异地应用双活 和异地数据双活（单元化）解决方案，满足业务应用从数据级到业务级的容灾诉求，跨越不同距离的物理场景，客户可以根据自身业务的发展状况、业务规模、物理架构、容灾诉求和投入成本等，灵活选择合适的容灾架构。 本文介绍各解决方案的适用场景、架构特点、建设成本和容灾能力。 异地应用双活 适用场景 用户的业务应用部署在云上两个地域或可用区作为两个数据中心，数据中心资源不闲置，两个中心同时对外提供服务，业务流量跨中心双活，灾难发生时能够快速切换流量和数据，期望业务改造成本较低，不需要过多考虑数据一致性问题。 架构特点 两个数据中心之间距离相对较近，跨中心访问时延业务可接受。 应用、数据库、中间件等两地冗余部署，同时对外提供服务。 数据区分主备集群，两地应用单点读写主数据库，数据单向同步。 其他中间件角色对等，按需进行数据适配。 建设成本 开通新地域或可用区作为扩展中心。 应用、数据库、中间件等两地冗余部署。 数据库单向同步，中间件按需适配数据。 业务代码零改造或少改造。

本章节介绍应用容灾多活的基线推送。 概述 应用容灾多活采用控制面和数据面分离的架构，当控制面上的资源管理数据发生变化时，需要通过基线推送将更新的数据同步至数据面。 如果变更涉及数据层和接入层配置调整，多活系统将自动编排数据检查和数据禁写等步骤，以确保数据一致性。 图 基线推送 前提条件 已创建应用系统。 已完成系统架构配置以及路由规则配置。 已完成接入层配置。 已完成数据层配置。 已完成服务层配置。 创建推送任务 1. 登录应用高可用服务控制台。 2. 单击左侧菜单栏应用容灾多活 ，在应用容灾多活菜单下单击数据双活/应用双活 ，进入数据双活/应用双活管理页面。 3. 在应用系统列表中找到需要配置的应用系统，单击应用系统名称 ，进入应用系统概览页面。 4. 在左侧导航栏选择容灾配置 ，在容灾配置菜单下单击总览 ，在总览 页面单击基础配置推送按钮进入基础配置推送列表页面。 5. 在基础配置推送列表 页面，点击左侧推送配置按钮，查看下方各个单元组配置变更。 6. 输入任务名称 ，单击确定按钮，自动跳转到基础配置推送任务列表页面。 7. 选择刚刚创建的任务，点击状态列，可以查看任务的各个步骤详情以及任务进度。 8. 在任务处理结果列，点击任务结果，可以查看任务详情信息。

本章节主要介绍 ALM27004 DBService主备数据不同步的告警。 告警解释 DBService主备数据不同步，每10秒检查一次主备数据同步状态，如果连续6次查不到同步状态，或者同步状态不正常，产生告警。 当同步状态正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27004 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Local DBService HA Name 本地DBService HA名称。 Peer DBService HA Name 对端DBService HA名称。 SYNCPERCENT 同步百分比。 对系统的影响 主备DBServer数据不同步，如果此时主实例异常，则会出现数据丢失或者数据异常的情况。 可能原因 主备节点网络不稳定。 备DBService异常。 备节点磁盘空间满。 处理步骤 检查主备节点网络是否正常 1. 在FusionInsight Manager页面，选择“集群 > 服务 > DBService > 实例”，查看备DBServer实例的业务IP地址。 2. 以root用户登录主DBService节点。 3. 执行ping 备DBService心跳IP地址命令检查备DBService节点是否可达。 是，执行步骤6。 否，执行步骤4。 4. 联系网络管理员查看是否为网络故障。 是，执行步骤5。 否，执行步骤6。 5. 修复网络故障，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行步骤6。

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在金融、交通、互联网、医疗、能源和政府部门等行业均可以使用翼MR服务进行大数据处理。 批量数据处理场景 HDFS服务负责存储海量日志数据。 YARN服务负责调度离线平台上运行的所有任务。 Hive、Spark、Trino等主流计算框架从数据加工、数据挖掘到数据分析，快速获取数据洞察力。 分析后的数据回写进HDFS服务，为上层数据可视化等产品提供数据支撑。 离线数据分析场景 将海量数据通过导入或者外表等形式引入到OLAP分析引擎里，例如，Trino提供高效、实时和灵活的数据分析能力。 满足用户画像、人群圈选、位置服务、BI报表和业务分析等一系列的业务场景。 流式数据处理场景 基于Flink流式计算框架，对各类业务日志或者消息等实时数据进行分析处理。 相应分析结果同步进HDFS存储服务中。 在线查询场景 基于Web和移动应用程序等生成的PB级别的结构化、半结构化或非结构化数据进行在线分析。 方便客户的Web应用或者数据可视化产品获取分析结果进行实时展示。

本文介绍DMS的工单系统,使用户可以快速熟悉工单系统。 前提条件 用户已将可用实例添加至组织。添加云数据库的具体操作流程请参考添加云数据库，添加公网/直连数据库的具体操作流程请参考添加公网/直连数据库。 注意事项 基础版与企业版均包含工单系统，企业版工单系统的功能更加丰富。 重试工单和重试任务的区别：重试工单针对的是工单的整体流程，允许用户在工单状态处于预检查失败或工单异常时重新执行工单的当前流程，恢复由于预检查失败或系统异常导致中断的工单流程；重试任务针对的是工单的任务执行阶段，允许用户在工单状态处于执行失败时重新执行任务。 预检查阶段的检查项根据工单类型的不同有所差异。 工单流程中的审批过程可能根据预检查阶段的风险评级跳过，此时为免审批执行；或者根据风险评级直接中止，此时为预检查失败。 在审批结束之前均可以进行工单撤回操作，审批结束后不允许撤回。 功能介绍 工单系统用于管理敏感操作，确保敏感操作能够规范化执行。 工单类型 DMS工单系统当前支持以下类型： 数据导出 数据导入 SQL变更（仅限企业版） 数据权限（仅限企业版） 数据对比（仅限企业版） 结构对比（仅限企业版） 团队申请 数据追踪（仅限企业版） SQL审核（仅限企业版）

本页介绍天翼云TeleDB数据库元数据pgxcshardmap的内容。 存储shard分片映射信息。 名称 类型 定义 disgroup Oid 分布组的OID shardgroupid int32 分片组的ID ncopy int16 复制份数 primarycopy Oid 主副本的数据节点OID copy1 Oid 第一个副本的数据节点OID copy2 Oid 第二个副本的数据节点OID primarystatus char 主副本的状态 status1 char 第一个副本的状态 status2 char 第二个副本的状态 extended int16 扩展信息 ntuples int32 分片中的元组数

参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mrslink Manager IP MRS Manager的浮动IP地址，可以单击输入框后的“选择”来选定已创建的MRS集群，CDM会自动填充下面的鉴权参数。 127.0.0.1 认证类型 访问MRS的认证类型： SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE3X 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建快照，这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。 说明 如果CDM集群为2.9.0版本及之后版本，且MRS集群为3.1.0及之后版本，则所创建的用户至少需具备Managerviewer的角色权限才能在CDM创建连接；如果需要对应组件的进行库、表、数据的操作，还需要添加对应组件的用户组权限。 如果CDM集群为2.9.0之前的版本，或MRS集群为3.1.0之前的版本，则所创建的用户需要具备Manageradministrator或Systemadministrator权限，才能在CDM创建连接。 仅具备Managertenant或Managerauditor权限，无法创建连接。 cdm 密码 访问MRS Manager的用户密码。 OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 运行模式 “HIVE3X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式或者配置不同的Agent。 说明 STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通性。 否 是否使用集群配置 用户可以在“连接管理”处创建集群配置，用于简化Hadoop连接参数配置。 否 属性配置 其他Hive客户端配置属性。

二、 添加节点时可以不要100G数据盘吗？ 不可以，100G数据盘是必须要的。 新建节点会给节点绑定一个100G的docker专用数据盘。CCE数据盘默认使用LVM（Logical Volume Manager）进行磁盘管理，开启后您可以通过空间分配调整数据盘中不同资源的空间占比。 若数据盘卸载或损坏，会导致docker服务异常，最终导致节点不可用。 三、 CCE集群使用EVS做持久卷，在卷被删除或者过期后是否可以恢复？ 云硬盘EVS存储需要人工配置备份策略。如果卷被删除或者释放，可以使用云硬盘备份恢复数据。

本文主要介绍将数据挂载至开发机和训练任务的方式。 将数据挂载至开发机和训练任务有以下两种方式： 手动将数据挂载PVC存储 创建开发机和训练任务时选择数据集并获取挂载路径， 打开vscode即可直观地在左边目录文件中看到挂载路径下挂载的数据集内容。在代码中直接读取挂载路径即可访问。 默认挂载目录 为了让用户使用更流畅，我们提供了全局的存储目录，创建多个开发机均可指向同一套存储目录。 /work/cache目录：创建开发机实例后提供的临时目录，开发机实例关闭后目录内容清空、目录消失。 /work/home目录：对于使用分布式训练的大客户，在开发机和训练任务中提供的永久个人目录，上限512G，关闭开发机和训练任务不会导致数据丢失。 /work/share目录：为了方便租户内用户分享数据，给专属集群和独立资源的大客户开通共享目录，租户下所有用户均可读写此目录下的数据，且关闭开发机和训练任务也不会丢失数据。

本章节介绍如何将MySQL同步到MySQL。 支持的源和目标数据库 表支持的数据库 源数据库 目标数据库 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL RDS for MySQL 前提条件 已登录数据复制服务控制台。 满足实时同步支持的数据库类型和版本，详情请参见下文实时同步。 使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。如果同步不可避免业务高峰期，推荐使用同步限速功能，即“流速模式”选择“限速”。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 同步无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定 正在同步的数据被其他事务长时间锁死，可能导致读数据超时 由于MySQL固有特点限制，CPU资源紧张时，存储引擎为Tokudb的表，读取速度可能下降至10%。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合 对比同步项的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。 如果涉及表级汇集的多对一同步任务，则不支持DDL，否则会导致同步全部失败。

本章节主要介绍高质量数据集平台的算子广场功能。 算子广场提供高质量数据集平台所有算子（包括内置算子及用户自定义算子）的全局视图，用户可以通过算子广场查看算子的功能介绍、所用算法支持的输入格式、所需配置项及算子实现的功能实例等信息，对算子有初步的了解，有助于后续使用对应的算子进行数据的处理。 算子广场左侧为算子分类及算子标签，可对算子根据标签进行更细致的筛选。 点击算子卡片后会进入算子详情页面，如下所示： 算子详情页面可查看算子的详细功能介绍以及算法信息等； 算法信息包括支持处理的文件格式：image（图片）、video（视频）、audio（音频）、text（文本），以及每个算法需要用户配置的参数信息等。 同时，在算子详情页还会以功能示例的形式，以处理前的数据形态和处理后的数据形态对比展示，让用户实际感受到算子的具体功能，对算子有进一步的了解。

证券及加密货币交易数据 GeminiDB Influx接口存储用户银行的银行流水，可应用于金融行业的风控体系，构建反欺诈系统。 优势： 高效查询：就近区域部署，快速响应查询。 实时分析：数据同步上云，支持云上时序数据分析。 软硬件设备实时监控 使用GeminiDB Influx接口保存用户行为数据，支撑精准营销和用户画像。 优势： 高效写入和查询：最高每天处理万亿级时间点写入能力，多节点多线程并行高性能查询。 实时分析：数据同步上云，支持云上时序数据分析。 都市环保数据采集 GeminiDB Influx接口支持海量时间线的写入，为环保采集点提供稳定可靠的数据库支撑。 优势： 高效写入和查询：向量化查询接口，高效的聚合、卷积等时序数据查询算子，可高效处理高并发大数据量写入和查询。

本章节主要介绍质量稽核任务监控功能。 质量稽核任务为数据的质量提供保障，通过建立监控任务，按照一定的时间周期执行数据质量的稽核任务。 创建质量稽核任务的流程为： 步骤 描述 步骤一：新建监控任务 设置监控对象，选择需要监控的数据源、库、表；设置监控规则，为字段配置用于稽核的质量规则 步骤二：创建调度 配置质量稽核监控任务的信息，包括执行周期、任务类型、运行信息等 步骤三：调度上线/调度下线 将配置好调度信息的监控任务上线/下线，该任务则会根据调度信息按周期执行/停止执行质量稽核。稽核结果需要在报告查询界面查看 用户在此界面可以创建数据质量稽核任务，当前支持创建结构化数据对象、主数据、元数据、数据标准等质量稽核任务 新增稽核任务 新建任务 点击【+新建监控】按钮，进入新建监控业务界面 设置监控对象 配置基础信息和监控对象。基础信息包括监控名称（必填）、监控负责人（必选）及描述；当数据类型为数据库表时，监控对象配置项包括、数据源类型（必选）、数据库、表（必选）、过滤筛选条件 后续操作示例将展示数据库表类型的配置步骤 点击【下一步】按钮，设置监控规则。 设置监控规则 监控规则界面展示规则的规则名称、规则来源、校验类型、规则类型、状态等。 点击【新建规则】，弹出规则绑定界面，依次选择模板类型、校验类型、规则类型等基础配置后，可选择分属于以上维度的具体规则模板，用户可自定义规则名称，以及具体的规则内容配置，可选输入规则描述，点击确定后即可保存，新建规则默认为启用状态 完成规则配置后点击下一步，进入规则配置预览界面，在此界面可以查看已配置的稽核规则的具体SQL语句，点击保存即可完成质量稽核任务的配置 任务创建完成后，后续在监控任务界面进行调度配置。

本章节主要介绍备份元数据。 操作场景 为了确保元数据信息安全，或者用户需要对元数据功能进行重大操作（如扩容缩容、安装补丁包、升级或迁移等）前后，需要对元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。元数据包含OMS数据、LdapServer数据、DBService数据和NameNode数据。备份Manager数据包含同时备份OMS数据和LdapServer数据。 默认情况下，元数据备份由“default”任务支持。该任务指导用户通过MRS Manager创建备份任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 需要准备一个用于备份数据的备集群，且网络连通。每个集群的安全组，需分别添加对端集群的安全组入方向规则，允许安全组中所有弹性云主机全部协议全部端口的访问请求。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 操作步骤 创建备份任务 1. 在MRS Manager，选择“系统设置 > 备份管理”。 2. 单击“创建备份任务”。 设置备份策略 1. 在“任务名称”填写备份任务的名称。 2. 在“备份类型”选择备份任务的运行类型，“周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 创建周期备份任务，还需要填写以下参数： “开始时间”：表示任务第一次启动的时间。 “周期”：表示任务下次启动，与上一次运行的时间间隔，支持“按小时”或“按天”。 “备份策略”：表示任务每次启动时备份的数据量。支持“首次全量备份，后续增量备份”、“每次都全量备份”和“每n次进行一次全量备份”。选择“每n次进行一次全量备份”时，需要指定n的值。

接口功能介绍 生成数据密钥 接口约束 请保证账户余额大于0 URI POST /v1/keyCompute/generateDataKey 路径参数 无 Query参数 无 请求参数 请求头header参数 请参见请求消息头 请求体body参数 参数 是否必填 参数类型 说明 示例 下级对象 cmkUuid 是 String 密钥唯一标识id 474e569e8814474a948bdbcf6d853eff keySpec 否 String 指定生成的数据密钥的长度，取值范围： AES256：256比特的对称密钥 AES128：128比特的对称密钥 （也可通过numberOfBytes参数指定密钥长度，若均为空，默认返回AES256) AES256 numberOfBytes 否 String 生成的数据密钥长度，取值范围：11024，单位：字节 256 响应参数 参数 参数类型 说明 示例 下级对象 code String 返回码，取值范围： 200：成功 400：参数缺失或错误 401：用户验证错误 404：操作目标不可用 500：系统内部错误 200 errorCode String 错误码 KMS.0514 msg String 调用结果信息 生成数据密钥成功 data Object 接口返回结果 returnObj 表 returnObj 参数 参数类型 说明 示例 下级对象 plaintext String 数据密钥明文，且经过Base64编码后返回 csedLEchgF5ijFx9nEc5Y0DpzWb cmkUuid String 密钥唯一标识id，可选对称密钥类型 474e569e8814474a948bdbcf6d853eff keyVersionId String 密钥版本id f2ffbff9940a41a4ba9afe1fd8f22792 ciphertextBlob String 数据密钥密文，即被指定CMK的主版本加密后的密文，且经过Base64编码后返回 itIb4kN84JKrbv8P5ZTZJyn3cbu0SLvblB5/csedLEchgF5ijFx9nEc5Y0DpzWba