功能模块 权限名称 DTSadmin DTSuser DTSviewer 能力管理 获取特定用户的能力信息表 Y Y 告警管理 获取告警规则详情 Y Y Y 告警管理 添加告警规则 Y Y 告警管理 修改告警规则 Y Y 告警管理 查询所有告警项 Y Y Y 告警管理 查询告警列表 Y Y Y 告警管理 删除告警规则 Y Y 任务管理 获取源库中的位点信息 Y Y Y 任务管理 获取预检查项 Y Y Y 任务管理 进行预检查 Y Y Y 任务管理 获取特定表的列信息 Y Y Y 任务管理 获取结构详情 Y Y Y 任务管理 获取全量详情 Y Y Y 任务管理 获取增量详情 Y Y Y 任务管理 结构迁移状态 Y Y Y 任务管理 全量迁移状态 Y Y Y 任务管理 全量迁移状态 Y Y Y 任务管理 增量状态 Y Y Y 任务管理 判断是否满足一键切换条件 Y Y Y 任务管理 一键切换任务 Y Y 任务管理 判断是否已执行一键切换 Y Y Y 任务管理 获取任务详情 Y Y Y 任务管理 校验SQL语句 Y Y 任务管理 通过id获取dataMediaPair Y Y Y 任务管理 获取源库中存在的schema信息 Y Y Y 任务管理 获取某个schema下的迁移对象 Y Y Y 任务管理 检查数据库连通性 Y Y Y 任务管理 获取实例列表信息 Y Y Y 任务管理 获取实例详情 Y Y Y 监控管理 全量传输性能监控接口 Y Y Y 监控管理 增量传输性能监控接口 Y Y Y 监控管理 获取全量开始结束时间 Y Y Y 监控管理 获取增量开始结束时间 Y Y Y 许可证管理 核查许可证是否过期 Y Y Y 任务管理 错误日志详情信息 Y Y Y 任务管理 错误日志列表 Y Y Y 机器管理 获取所有机器 Y Y Y 机器管理 获取通过id单台机器 Y Y Y 机器管理 新增机器 Y Y 机器管理 添加时测试机器信息是否准确 Y Y Y 环境管理 添加时检查java版本 Y Y Y 环境管理 检查能否连接到zookeeper Y Y Y 环境管理 部署Node Y Y 任务管理 获取操作日志列表 Y Y Y 任务管理 存储前端数据 Y Y 任务管理 编辑前端数据 Y Y 任务管理 查看前端数据 Y Y Y 任务管理 获取pipeline信息 Y Y Y 任务管理 插入数据 Y Y 任务管理 编辑数据 Y Y 任务管理 数据库修改密码 Y Y 任务管理 启动任务 Y Y 任务管理 任务列表 Y Y Y 任务管理 任务详情 Y Y Y 任务管理 任务筛选 Y Y Y 任务管理 批量启停任务 Y Y 任务管理 数据稽查 对象级 Y Y Y 任务管理 对象级迁移数据对比 Y Y Y 任务管理 数据稽查 数据级 Y Y Y 任务管理 内容对比列表 Y Y Y 任务管理 内容稽核任务概要信息查询 Y Y Y 任务管理 内容稽核任务中不一致的chunk对的详细结果查询 Y Y Y 任务管理 内容稽核任务获取未检查表信息 Y Y Y 任务管理 开始内容对比任务 Y Y 任务管理 执行数据稽查 Y Y 任务管理 获取数据级对比任务详情 Y Y Y 任务管理 数据级迁移数据对比 Y Y 任务管理 根据任务类型查询任务列表 Y Y Y 任务管理 校检日志位点信息 Y Y Y 任务管理 获取任务配置参数 Y Y Y 任务管理 修复任务配置参数 Y Y 任务管理 获取数据修正详情 Y Y Y 任务管理 执行数据修正 Y Y 标签管理 绑定标签 Y Y 标签管理 解绑标签 Y Y 标签管理 删除标签 Y Y 任务管理 获取任务时间线 Y Y Y 资源管理 文件上传 Y Y 用户管理 用户登录 Y Y Y 用户管理 用户退出 Y Y Y 资源管理 获取控制台版本 Y Y Y OpenAPI 配置任务 Y Y OpenAPI 启动任务 Y Y OpenAPI 查询任务详情 Y Y Y OpenAPI 查询任务列表及各任务执行详情 Y Y Y OpenAPI 查询任务的子任务执行详情 Y Y Y OpenAPI 暂停任务 Y Y OpenAPI 结束任务 Y Y OpenAPI 释放任务 Y Y OpenAPI 修改任务源或目标库的账号密码 Y Y OpenAPI 修改任务名称 Y Y OpenAPI 查询所有的告警项 Y Y Y OpenAPI 创建告警规则 Y Y OpenAPI 修改告警规则 Y Y OpenAPI 查询告警规则列表 Y Y Y OpenAPI 创建标签 Y Y OpenAPI 查询标签 Y Y Y OpenAPI 解绑标签 Y Y OpenAPI 查询实例的所有标签 Y Y Y OpenAPI 查询标签键对应的所有值 Y Y Y

MRS数据源使用概述 MRS集群简介 翼MapReduce（MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。有关MRS服务的详细信息，请参考《翼MapReduce服务用户操作指南》。 用户可以将海量业务数据，存储在MRS的分析集群，即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。DWS支持在相同网络中，配置一个DWS集群连接到MRS集群，然后将数据从HDFS中的文件读取到DWS。 使用流程 从MRS导入数据到集群流程如下： 1. 前提条件 a. 创建一个MRS集群，具体操作步骤请参见《MapReduce服务用户操作指南》中“购买自定义集群”章节。 b. 创建一个HDFS外表，外表通过外部服务器的接口，从MRS集群查询数据。 具体操作步骤请参见《数据仓库服务数据库开发指南》中“导入数据 > 从MRS导入数据到集群”章节。 说明 同一个网络下可以有多个MRS数据源， 但是DWS集群每次只能和一个MRS集群建立连接。 2. 在DWS集群创建一个MRS数据源连接，具体操作步骤请参见下文 创建MRS数据源连接。 3. 使用MRS数据源导入数据到集群，具体操作步骤请参见《数据仓库服务数据库开发指南》中的“导入数据 > 从MRS导入数据到集群”章节。 4. （可选）当MRS集群的HDFS配置发生变更时，在DWS服务中，需要执行MRS数据源配置的更新操作，详情请参见下文 更新MRS数据源配置。

本章节将介绍如何创建Elasticsearch脱敏任务。 创建Elasticsearch脱敏任务后，可以对指定Elasticsearch数据源中的表/列进行敏感信息脱敏。 前提 已完成云资源委托授权，具体请参见云资产委托授权/停止授权。 已授权Elasticsearch索引。 已在“敏感数据识别”中完成了敏感数据识别，具体操作请参见创建敏感数据识别任务。 约束条件 数据源目前仅支持“Elasticsearch”。 创建并运行Elasticsearch脱敏任务 1. 登录管理控制台。 2. 单击左上角的，选择区域或项目。 3. 在左侧导航树中，单击，选择“安全>数据安全中心”，进入数据安全中心总览界面。 4. 在左侧导航树中选择“数据资产保护 > 数据脱敏”，并选择Elasticsearch页签，进入Elasticsearch脱敏页面。 5. 单击，将“Elasticsearch”设置为，开启Elasticsearch脱敏。 6. 单击“新建任务”，进入“数据源配置”页面，如下图所示，具体参数说明如下表所示。 参数名称 参数说明 任务名称 您可以自定义脱敏任务的名称。 任务名称需要满足以下要求： 1~255个字符。 字符可由中文、英文字母、数字、下划线或中划线组成。 数据源选择 选择数据来源。目前仅支持“Elasticsearch”。 数据源 说明 如果没有可使用的Elasticsearch实例，可单击“授权ES源”，授权Elasticsearch索引，具体的操作可参见授权大数据资产。 Elasticsearch实例：选择脱敏数据所在的Elasticsearch实例。 数据源 说明 如果没有可使用的Elasticsearch实例，可单击“授权ES源”，授权Elasticsearch索引，具体的操作可参见授权大数据资产。 索引(Index)：选择脱敏数据所在的索引。 数据源 说明 如果没有可使用的Elasticsearch实例，可单击“授权ES源”，授权Elasticsearch索引，具体的操作可参见授权大数据资产。 Type：选择脱敏数据所在的Type。 7. 单击“下一步”，进入“脱敏算法配置”页面。 1. 勾选需要脱敏的Field。 2. 选择脱敏算法。脱敏算法更多详细信息请参见配置脱敏规则。 8. 可以点击“下一步”，进入“脱敏周期”页面，配置脱敏周期。 选择并设置脱敏任务的执行周期： 手动：由用户自行启动的，且基于脱敏规则执行脱敏任务。 每小时：每几个小时执行一次脱敏任务。 示例：如果需要每2小时执行一次脱敏任务，则此处设置为：02:00 每天：每天几点几分执行一次脱敏任务。 示例：如果需要每天12:00执行一次脱敏任务，则此处设置为：12:00:00 每周：每周几的几点几分执行一次脱敏任务。 示例：如果需要每周一的12:00执行一次脱敏任务，则此处设置为：每周一12:00:00 每月：每月几日几时执行一次脱敏任务。 示例：如果需要每月12日的12:00执行一次脱敏任务，则此处设置为：每月12日12:00:00 说明 如果设置每月31日执行一次脱敏任务，在当月日期少于31日的情况下，系统自动在当月最后一日执行任务。 9. 单击“下一步”，进入“数据目标配置”页面。 1. 选择“Elasticsearch实例”、“索引(Index)”，并输入“Type”。 如果输入的Type已存在，系统将刷新目标数据源中该Type中的数据。 如果输入的Type不存在，系统将自动在目标数据源中新建该名称的Type。 注意 如果需要填写已有的Type，请勿选择业务Type，以免影响业务。 2. 设置数据目标列名。 系统默认将生成与数据源列相同的名称，您可以保持默认名称，也可以根据需要进行修改。 10. 单击“完成”，完成脱敏任务的创建。 11. 进入“Elasticsearch”页签，在目标脱敏任务的“操作”列，单击“立即运行”。 12. 运行后，系统开始按照设置的脱敏周期执行脱敏任务。 说明 如果“启用/禁用任务”的状态为，即该任务处于禁用状态，则无法单击“立即运行”，启动任务。

备份和容灾的区别是什么？ 对比维度 备份 容灾 使用目的 避免数据丢失，一般通过快照、备份等技术构建数据的数据备份副本， 故障时可以通过数据的历史副本恢复用户数据。 避免业务中断，一般是通过复制技术（应用层复制、主机I/O层复制、存储层复制） 在异地构建业务的备用主机和数据， 主站点故障时备用站点可以接管业务。 使用场景 针对病毒入侵、人为误删除、软硬件故障等场景， 可将数据恢复到任意备份点。 针对软硬件故障以及海啸、火灾、地震等重大自然灾害，运行故障切换，尽快恢复业务。 源端可用区恢复正常时，可轻松利用故障恢复能力重新切换回到源端可用区。 成本 通常是生产系统的1~2%。 通常是生产系统的20%~100%（根据不同的RPO/RTO要求而定），高级别的双活容灾， 要求备用站点也要部署一套和主站点相同的业务系统，基础设施成本需要翻倍计算。 说明： RPO（Recovery Point Objective）：最多可能丢失的数据的时长。 RTO（Recovery Time Objective）：从灾难发生到整个系统恢复正常所需要的最大时长。 备份和快照的区别是什么？ 备份和快照为存储在云硬盘中的数据提供冗余备份，确保高可靠性，两者的主要区别如下表所示。 指标 存储方案 数据同步 容灾范围 业务恢复 备份 与云硬盘数据分开存储，存储在对象存储（OBS）中， 可以实现在云硬盘存储损坏情况下的数据恢复 保存云硬盘指定时刻的数据，可以设置自动备份。 如果将创建备份的云硬盘删除，那么对应的备份不会被同时删除 与云硬盘位于同一个AZ内 通过恢复备份至云硬盘，或者通过备份创建新的云硬盘， 找回数据，恢复业务。数据持久性高。 快照 与云硬盘数据存储在一起说明备份由于数据搬迁会耗费一定的时间， 创建快照和回滚快照数据的速度比备份快。 保存云硬盘指定时刻的数据。如果将创建快照的云硬盘删除， 那么对应的快照也会被同时删除 与云硬盘位于同一个AZ内 通过回滚快照至云硬盘，或者通过快照创建新的云硬盘， 找回数据，恢复业务。

本节为您介绍如何通过云主机创建整机镜像,包括Linux和Windows操作系统。 操作场景 您可以使用弹性云主机将其挂载的数据盘一起创建整机镜像，云主机整机镜像包含系统盘与数据盘，使用挂载有数据盘的云主机创建的整机镜像包含操作系统、应用软件，以及用户的业务数据。可用于快速发放相同配置的弹性云主机，实现数据迁移。 前提条件 系统盘或数据盘加密的云主机不可创建整机镜像。 整机镜像只能通过云主机创建，不能通过镜像文件创建。 如果只有系统盘的云主机，不支持创建整机镜像，请选择系统盘镜像。 当删除整机镜像时，对应的整机备份同时删除。 使用整机镜像购买云主机时，在磁盘选项里面，系统盘与数据盘的类型与整机镜像的系统盘数据盘类型相同，不可更改。数据盘大小不可更改，系统盘大小必须大于等于整机镜像中的系统盘大小。如整机镜像有多块数据盘，则购买页面亦有多块数据盘，且不能删除数据盘。计费标准与正常挂载数据盘一致。 整机镜像不支持导入、导出功能。 节省关机状态下的云主机不支持创建镜像。 整机镜像占用磁盘大小范围为1 GiB~2048 GiB，且整机镜像的单盘大小不超过1024GiB。 注意 请确保已删除实例中的敏感数据，避免数据安全隐患。 弹性云主机与其创建的私有镜像属于同一个地域，不能跨地域使用。 创建私有镜像的过程中，请勿对所选云主机及其相关联资源进行任何操作。 创建整机镜像所需时间取决于云主机系统盘的大小，私有镜像创建完成才可以使用，请您耐心等待。

本节将介绍工作空间的定义、类型和基本操作等内容。 什么是工作空间？ 工作空间（Workspace）属于态势感知（专业版）顶层工作台。 空间管理： 单个工作空间可绑定普通项目，可支撑不同场景下的工作空间运营模式。 空间托管： 工作空间数据委托：单租所有工作空间按照租户实际运营汇聚到某一个工作空间做集中安全运营，跨租汇聚安全运营。 工作空间委托：跨账号安全运营，可实现工作空间委托集中安全运营查看统一资产风险、告警和事件等。 什么是数据空间？ 数据空间是进行数据分组、负载、流控单元。同一数据空间的数据共享同一载均衡策略。 什么是数据管道？ 数据传输消息主题和存储索引组合为数据管道。 工作空间通用规则 单账号单Region内最多创建5个工作空间。 一个工作空间中最多可创建5个数据空间。 一个数据空间中最多可创建20个数据管道。

已经删除的应用云主机不可以恢复数据。 用户执行资源退订后，应用云主机服务以下资源均会被退订和释放： cpu、内存资源 云盘资源 绑定的IP与带宽网络 后台系统将会自动销毁已退订的资源，并清除相关的用户数据，已销毁的数据和资源将无法再找回，也不支持用户通过再次开通的方式重建，故请用户谨慎操作。 请用户务必在退订资源前核对重要信息数据是否已进行保存或迁移，已防止删除后无法找回的事故发生。

本章节介绍如何将Oracle同步到DWS。 支持的源和目标数据库 表支持的数据库 源数据库 目标数据库 本地自建数据库 ECS自建数据库 DWS集群 前提条件 已登录数据复制服务控制台。 满足实时同步支持的数据库类型和版本，详情请参见实时同步。 使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合对比同步项的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

本章节介绍如何将Oracle同步到DRDS。 支持的源和目标数据库 表支持的数据库 源数据库 目标数据库 本地自建数据库 ECS自建数据库 DRDS实例 前提条件 已登录数据复制服务控制台。 满足实时同步支持的数据库类型和版本，详情请参见实时同步。 使用建议 注意 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合对比同步项的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

本章节为您介绍数据资产目录相关能力。 数据资产目录集中展示数据分类分级结果。展示范围主要是已同步并完成分类分级任务的数据源，不包括未同步的数据源； 针对已同步但未完成分类分级任务的数据源，只展示数据库结构信息（表、字段名等），分类分级相关信息由于尚未形成，相关统计数据显示默认值0。 每张卡片的展示字段包括：数据表名、数据表注释、数据源、主机、库名、Schema、行业模板、分类、分级、是否梳理、业务系统、部门、责任人、最后梳理时间、字段数、敏感字段数、已梳理占比等。 您可以通过输入表名/表注释、分类（表）、分级（表）、是否梳理（表）、业务系统、部门、责任人、最后梳理时间，查询数据表。

本章节主要介绍（可选）管理作业的 移动作业/作业目录。 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业，请参见开发作业。 操作步骤 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 移动作业或作业目录。 a.通过右键的“移动”功能。 在作业目录中选择需要移动的作业或作业文件夹，右键单击作业或作业文件夹名称，选择“移动”。 在弹出的“移动作业”或“移动目录”页面，配置作业要移动到的目录。 移动作业/作业目录参数 参数 说明 选择目录 选择作业或作业文件夹要移动到的目录，父级目录默认为根目录。 单击“确定”，移动作业。 b.通过拖拽的方式。 单击选中待移动的作业或作业文件夹，拖拽至需要移动的目标文件夹松开鼠标即可。

恢复操作步骤 1. 登入++天翼云ClickHouse 控制台++，在实例列表选择对应的实例，进入实例详情页面单击备份恢复。 2. 进入备份任务，选择相应的备份任务，在操作中单击恢复，选择相应的目标进行恢复。选中了目标实例，会根据备份库表所在节点的top结构自动匹配目标实例下对应的恢复top节点，如果分片和副本top没有匹配，将无法支持恢复任务。 3. 创建恢复任务后，会在源备份和目标恢复实例的恢复任务列表下都显示此次恢复任务。为了数据安全，数据恢复操作会先把数据恢复到目标集群临时库下，通过后台和人工check，由用户自主确定是否做临时库的数据切换。 4. 数据检查可通过恢复任务里的详情来check源目标节点相应表下的数据是否一致。 说明 因为对象存储中表备份数据还有一个额外文件，所以会比目标备份节点实际临时表数据多100多KB数据。 5. 人工核对恢复数据没有问题，可点击数据切换 按钮，会秒级把数据从临时表切换到正式表里。如果核对数据有问题，也可以点击取消按钮，暂停并删除此次目标集群的恢复任务。 注意 无论元数据还是数据恢复操作，都会把目标集群下相应恢复表的数据删除（如果有），请谨慎操作。

本章节主要介绍已有数据的物理集群转换逻辑集群. 场景介绍 大规模数据库集群通常会同时包含很多业务数据，不同业务有不同的数据表，可以通过资源管理功能创建多个资源池来实现不同业务的资源隔离。DWS支持将不同业务用户分配给不同资源池，以便减少业务之间资源（CPU资源、内存资源、IO资源和存储资源）竞争。 但随着业务规模不断扩大，集群系统中的业务数目越来越多，通过划分多个资源池来管理越来越难以控制资源竞争。由于DWS的分布式架构，业务数据被分散存储在多个节点上即每个表都会分布在数据库集群的所有DN节点上，因此每次数据表操作都可能会涉及所有DN节点，导致网络压力增大和系统资源大量消耗，仅通过扩大集群规模也很难解决，DWS建议用户划分多个逻辑集群来解决业务数量扩大带来的网络压力和资源消耗问题。 通过划分独立的逻辑集群，将新增的业务分配到独立的逻辑集群上，这样新增业务对原有业务的影响会很小。而原有逻辑集群中的业务规模如果扩大，也可以通过对原有逻辑集群扩容来解决。 如图 跨逻辑集群访问数据所示，假设某企业原有业务数据表都在原物理集群dwsdemo（绿色部分），切换到逻辑集群lc1（蓝色部分）后，物理集群再通过扩容方式，新增一套新的逻辑集群lc2，原有业务数据表统一切换到逻辑集群lc1，新的业务数据表统一写入到逻辑集群lc2，实现新老业务的数据隔离。而新的逻辑集群lc2关联的用户u2，通过授权可以跨逻辑集群访问逻辑集群lc1的表。 图 跨逻辑集群访问数据

迁移类型 描述 全量迁移 该模式为Redis的一次性迁移，适用于可中断业务的迁移场景。全量迁移过程中， 如果源Redis有数据更新，这部分更新数据不会被迁移到目标Redis 。 全量迁移＋增量迁移 该模式为Redis的持续性迁移，适用于对业务中断敏感的迁移场景。增量迁移阶段通过解析日志等技术， 持续保持源Redis和目标端Redis的数据一致。增量迁移， 迁移任务会在迁移开始后，一直保持迁移中状态，不会自动停止 。需要您在合适时间，在“操作”列单击“停止”，手动停止迁移。停止后，源端数据不会造成丢失，只是目标端不再写入数据。增量迁移在传输链路网络稳定情况下是秒级时延，具体的时延情况依赖于网络链路的传输质量。

参数说明 说明 数据来源 描述数据来源，也就是数据的产生者。 指标管理部门 指标的管理部门。 指标责任人 指标的责任人，可以手动输入名字或直接选择已有的责任人。

本文向您介绍如何查看当前组织信息以及如何切换不同组织。 背景信息 组织是数据管理服务中的一个基础概念。每一个天翼云主账号进入数据管理服务系统均自动创建一个组织并把该主账号作为该组织的超级管理员。此外，该主账号下的子账号进入数据管理服务会自动加入到对应主账号的同组织。主账号可添加其他账号进入组织。主账号或子账号均可以加入不同组织。每个组织下的用户和数据库实例均互相隔离，操作互不影响。 查看组织信息 1. 登录数据管理服务。 2. 访问控制台首页，点击右上角的头像查看个人信息，其中包含当前所在组织信息。 切换组织 1. 登录数据管理服务。 2. 访问控制台首页，点击右上角的头像，显示个人信息，再点击切换组织显示切换组织弹窗。 3. 在切换组织弹窗中，界面展示所有用户已加入的组织列表。选中其中一个组织，点击确定进行切换。

本章节主要介绍Manager日志清单。 日志描述 日志存储路径 ：Manager相关日志的默认存储路径为“/var/log/Bigdata/Manager 组件 ”。 ControllerService：/var/log/Bigdata/controller/（OMS安装、运行日志） Httpd：/var/log/Bigdata/httpd（httpd安装、运行日志） logman：/var/log/Bigdata/logman（日志打包工具日志） NodeAgent：/var/log/Bigdata/nodeagent（NodeAgent安装、运行日志） okerberos：/var/log/Bigdata/okerberos（okerberos安装、运行日志） oldapserver：/var/log/Bigdata/oldapserver（oldapserver安装、运行日志） MetricAgent：/var/log/Bigdata/metricagent（MetricAgent运行日志） omm：/var/log/Bigdata/omm（omm安装、运行日志） timestamp：/var/log/Bigdata/timestamp（NodeAgent启动时间日志） tomcat：/var/log/Bigdata/tomcat（Web进程日志） watchdog：/var/log/Bigdata/watchdog（watchdog日志） upgrade：/var/log/Bigdata/upgrade（升级OMS日志） UpdateService：/var/log/Bigdata/updateservice（升级服务日志） Sudo：/var/log/Bigdata/sudo（sudo脚本执行日志） OS：/var/log/message文件 （OS系统日志） OS Performance：/var/log/osperf（OS性能统计日志） OS Statistics：/var/log/osinfo/statistics（OS参数配置信息日志） 日志归档规则 ： Manager的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过10MB的时候，会自动压缩，压缩后的日志文件名规则为：“ .[编号].log.zip”。最多保留最近的20个压缩文件。 Manager日志列表 日志类型 日志文件名 描述 Controller运行日志 controller.log 记录组件安装、升级、配置、监控、告警和日常运维操作日志。 Controller运行日志 controllerclient.log Rest接口运行日志。 Controller运行日志 acs.log Acs运行日志。 Controller运行日志 acsspnego.log acs中spnego用户日志 Controller运行日志 aos.log Aos运行日志。 Controller运行日志 plugin.log Aos插件日志 Controller运行日志 backupplugin.log 备份恢复进程运行日志 Controller运行日志 controllerconfig.log 配置运行日志 Controller运行日志 controllernodesetup.log Controller加载任务日志 Controller运行日志 controllerroot.log Controller进程系统日志 Controller运行日志 controllertrace.log Controller与NodeAgent之间RPC通信日志 Controller运行日志 controllermonitor.log 监控日志 Controller运行日志 controllerfsm.log 状态机日志 Controller运行日志 controlleralarm.log Controller发送告警日志 Controller运行日志 controllerbackup.log Controller备份恢复日志 Controller运行日志 install.log，restorepackage.log，installPack.log，distributeAdapterFiles.log，installosoptimization.log oms安装日志 Controller运行日志 omsctl.log oms启停日志 Controller运行日志 preInstallclient.log 客户端安装前预处理日志 Controller运行日志 installntp.log ntp安装日志 Controller运行日志 modifymanagerparam.log 修改Manager参数日志 Controller运行日志 backup.log OMS备份脚本运行日志 Controller运行日志 supressionAlarm.log 告警脚本运行日志 Controller运行日志 om.log 生成om证书日志 Controller运行日志 backuppluginctl.log 备份恢复插件进程启动日志 Controller运行日志 getLogs.log 采集日志脚本运行日志 Controller运行日志 backupAuditLogs.log 审计日志备份脚本运行日志 Controller运行日志 certStatus.log 证书定期检查日志 Controller运行日志 distribute.log 证书分发日志 Controller运行日志 ficertgenetrate.log 证书替换日志，包括生成二级证书、cas证书、httpd证书的日志。 Controller运行日志 genPwFile.log 生成证书密码文件日志 Controller运行日志 modifyproxyconf.log 修改HTTPD代理配置的日志 Controller运行日志 importTar.log 证书导入信任库日志 Httpd install.log Httpd安装日志 Httpd accesslog, errorlog Httpd运行日志 logman logman.log 日志打包工具日志。 NodeAgent install.log，installosoptimization.log NodeAgent安装日志 NodeAgent installntp.log ntp安装日志 NodeAgent startntp.log ntp启动日志 NodeAgent ntpChecker.log ntp检查日志 NodeAgent ntpMonitor.log ntp监控日志 NodeAgent heartbeattrace.log NodeAgent与Controller心跳日志 NodeAgent alarm.log 告警日志 NodeAgent monitor.log 监控日志 NodeAgent nodeagentctl.log，startagent.log NodeAgent启动日志 NodeAgent agent.log NodeAgent运行日志 NodeAgent cert.log 证书日志 NodeAgent agentplugin.log 监控agent侧插件运行日志 NodeAgent omaplugin.log OMA插件运行日志 NodeAgent diskhealth.log 磁盘健康检查日志 NodeAgent supressionAlarm.log 告警脚本运行日志 NodeAgent updateHostFile.log 更新主机列表日志 NodeAgent collectLog.log 节点日志采集脚本运行日志 NodeAgent hostmetriccollect.log 主机指标采集运行日志 NodeAgent checkfileconfig.log 文件权限配置检查运行日志 NodeAgent entropycheck.log 熵值检查运行日志 NodeAgent timer.log 节点定时调度日志 NodeAgent pluginmonitor.log 组件监控插件日志 NodeAgent agentalarmpy.log NodeAgent检查文件权限发送告警日志 okerberos addRealm.log，modifyKerberosRealm.log 切域日志 okerberos checkservicedetail.log Okerberos健康检查日志 okerberos genKeytab.log 生成keytab日志 okerberos KerberosAdmingenConfigDetail.log 启动kadmin进程时，生成kadmin.conf的运行日志 okerberos KerberosServergenConfigDetail.log 启动krb5kdc进程时，生成krb5kdc.conf的运行日志 okerberos omskadmind.log kadmin进程的运行日志 okerberos omskerberosinstall.log，postinstalldetail.log okerberos安装日志 okerberos omskrb5kdc.log krbkdc运行日志 okerberos startdetail.log okerberos启动日志 okerberos realmDataConfigProcess.log 切域失败，回滚日志 okerberos stopdetail.log okerberos停止日志 oldapserver ldapserverbackup.log Oldapserver备份日志 oldapserver ldapserverchkservice.log Oldapserver健康检查日志 oldapserver ldapserverinstall.log Oldapserver安装日志 oldapserver ldapserverstart.log Oldapserver启动日志 oldapserver ldapserverstatus.log Oldapserver进程状态检查日志。 oldapserver ldapserverstop.log Oldapserver停止日志 oldapserver ldapserverwrap.log Oldapserver服务管理日志。 oldapserver ldapserveruninstall.log Oldapserver卸载日志 oldapserver restartservice.log Oldapserver重启日志 oldapserver ldapserverunlockUser.log 记录解锁Ldap用户和管理帐户的日志 metricagent gc.log MetricAgent JAVA虚拟机gc日志 metricagent metricagent.log MetricAgent运行日志 metricagent metricagentqps.log MetricAgent内部队列长度及qps信息记录日志 metricagent metricagentroot.log MetricAgent所有运行日志 metricagent start.log MetricAgent启停信息日志 omm omsconfig.log OMS配置日志 omm checkomsheartbeat.log OMS心跳运行日志 omm monitor.log OMS监控日志 omm hamonitor.log HAMonitor操作日志 omm ha.log HA操作日志 omm fms.log 告警日志 omm fmsha.log 告警的HA监控日志 omm fmsscript.log 告警控制日志 omm config.log 告警配置日志 omm iam.log IAM日志 omm iamscript.log IAM控制日志 omm iamha.log IAM的HA监控日志 omm config.log IAM配置日志 omm operatelog.log IAM操作日志 omm heartbeatcheckha.log OMS心跳的HA监控日志 omm installoms.log OMS安装日志 omm pmsha.log 监控的HA监控日志 omm pmsscript.log 监控控制日志 omm config.log 监控配置日志 omm plugin.log 监控插件运行日志 omm pms.log 监控日志 omm ha.log HA运行日志 omm cepha.log CEP的HA监控日志 omm cepscript.log CEP控制日志 omm cep.log CEP日志 omm config.log CEP配置日志 omm ommgaussdba.log gaussdb的HA监控日志 omm gaussdb.log gaussdb运行日志 omm gsctl.log gaussdb控制日志的归档日志 omm gsctlcurrent.log gaussdb控制日志 omm gsguccurrent.log gaussdb操作日志 omm encrypt.log omm加密日志 omm ommagentctl.log OMA控制日志 omm omamonitor.log OMA监控日志 omm installoma.log OMA安装日志 omm configoma.log OMA配置日志 omm ommagent.log OMA运行日志 omm acs.log acs资源日志。 omm aos.log aos资源日志 omm controller.log controller资源日志 omm feedwatchdog.log feedwatchdog资源日志 omm floatip.log floatip资源日志 omm hantp.log ntp资源日志 omm httpd.log httpd资源日志 omm okerberos.log okerberos资源日志 omm oldap.log oldap资源日志 omm tomcat.log tomcat资源日志 omm sendalarm.log 管理节点HA告警发送脚本运行日志 timestamp restartstamp NodeAgent启动时间 tomcat cas.log，localhostaccesscaslog.log cas运行日志 tomcat catalina.log，catalina.out，hostmanager.log，localhost.log，manager.log tomcat运行日志 tomcat localhostaccessweblog.log 记录访问FusionInsight Manager系统REST接口的日志 tomcat web.log web进程运行日志 tomcat northboundftpsftp.log，snmp.log 北向日志 tomcat perfStats.log 性能数据统计日志 watchdog watchdog.log，feedwatchdog.log watchdog.log运行日志 updateservice ommupdserver.log updserver的运行日志 updateservice ommupdagent.log updagent的运行日志 updateservice updatemanager.log updmanager的运行日志 updateservice install.log 升级服务安装日志 updateservice uninstall.log 升级服务卸载日志 updateservice catalina. .log，catalina.out，hostmanager. .log，localhost. .log，manager. .log，manageraccesslog. .txt，webserviceaccesslog. .txt，catalina.log，gcupdateservice.log.0.current，updatemanager.controller，updatewebservice.controller，updatewebservice.log，commitrmdistributed.log ，commitrmuploadpackage.log，commonomagentoperator.log，forbidmonitor.log，initializepackageatoms.log，initializeunzippack.log，ommupd.log，registerpatchpack.log，resumemonitor.logrollbackclearpatch.log，unregisterpatchpack.log，updatercommupd.log，updatercupdatemanager.log，updateservice.log 升级服务运行日志 upgrade upgrade.log 升级OMS日志 upgrade rollback.log 回滚OMS日志 sudo sudo.log sudo脚本执行日志

数据集配置 针对不同场景下，以下是数据量级的建议： 简单文本分类任务：对于基础的分类任务，如判断文本情感倾向（积极、消极、中性）或对新闻文章进行简单类别划分（体育、科技、娱乐等），若用户使用较小规模模型（如 7B及以下），通常5k20k条的数据量即可取得不错效果；若使用更大参数模型（如30B及以上），由于模型学习能力更强，对数据量要求相对降低，2k10k条也可能实现较好微调。但数据量的大小也与分类数以及任务难易度强相关，类别较多/任务较难的场景可能需要20k条以上的数据，且要做到类别均衡。 信息抽取任务：像从文本中抽取人名、地名、组织机构名等实体，或抽取事件的时间、地点、参与者等关键信息这类任务，任务难易度更大，因此对数据量需求相对较高。若用户使用13B及以下模型时，建议有30k80k的数据量；若使用30B及以上模型时，20k60k的数据量较为合适。这是因为信息抽取任务复杂，模型需学习多种实体和关系模式，足够数据量才能让模型有效捕捉这些模式。例如，在医疗领域的实体抽取微调中，50k条的高质量医疗文本数据，能使13B模型的F1值达到75%左右。 生成任务（如文本续写、文案生成）：生成任务对模型创造力和语言理解能力要求高，数据量需求更大。对于7B及以下的模型，一般需要100k300k条以上数据；而13B30B的模型，50k 200k条数据较为适宜；30B以上模型，30k150k数据可能满足需求。数据不仅要量大，还应多样化，涵盖不同风格、主题和语境文本。如在小说续写微调中，200k条包含各种题材小说片段的数据，可让7B模型生成更连贯、富有想象力的续写内容。 复杂问答任务：如开放域问答、专业领域深度问答、领域内长思考链生成问答，数据量要求与生成任务相近甚至更高。7B的模型可能需要50k150k条数据；13B30B的模型，40k100k条数据；30B及以上的模型，则需要50k80k数据。这类任务需模型理解复杂问题语义，检索知识并生成准确回答，大量的数据帮助模型学习各类问题模式和答案逻辑。但是如果数据中带有思考推理过程，也即cot数据集，则各类模型所需的数据量可以相对应减少50%80%。在医疗领域的带思考过程的问答微调中，10k数量的含各类疾病的治疗方式的数据，便能让14B的模型在开源医疗问题测评集上提点。 需注意，以上数据量仅为经验参考范围，实际微调中最佳数据量受数据质量、模型架构、任务复杂度及训练方法等多种因素影响。例如，若数据质量极高且与任务高度相关，可能用较少数据量就能取得好效果。在微调前，可通过小规模实验评估不同数据量对模型性能影响，确定适合特定任务和模型的最优数据量。

本文介绍存储桶复制的适用场景。 通过存储桶复制功能，可满足用户以下场景需求： 合规性要求：因合规性要求，数据需要在不同存储区域或存储桶保存一份副本。通过存储桶复制，可在媒体存储的存储区域之间复制数据，以满足业务要求。 数据迁移：因业务发展需要，将业务数据从一个存储桶复制到另一个存储桶，实现数据的迁移。 数据备份与容灾：因业务运行需要，希望所有写入媒体存储对象存储服务的数据能够在另一存储区域进行备份，以预防在数据发生不可逆损毁时，有安全、可用的备份数据，可实时切换业务访问路径，保证业务不中断。

指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 方法监控（detail，以方法维度统计接口调用数据。） method method 请求的方法 ENUM LAST 方法监控（detail，以方法维度统计接口调用数据。） concurrentMax 最大并发 该方法的最大并发 INT MAX 方法监控（detail，以方法维度统计接口调用数据。） errorCount 错误数 该方法的错误数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） invokeCount 调用次数 该方法的调用次数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） maxTime 最大响应时间 该方法在采集周期内最大响应时间 INT MAX 方法监控（detail，以方法维度统计接口调用数据。） runningCount 正在执行数 该方法在采集时间点正在执行数量 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range1 010ms 响应时间在010ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range3 100500ms 响应时间在100500ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range4 5001000ms 响应时间在5001000ms范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range5 110s 响应时间在110s范围请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） range6 10s以上 响应时间在10s以上请求数 INT SUM 方法监控（detail，以方法维度统计接口调用数据。） totalTime 总响应时间 该方法的总响应时间 INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） clusterId 集群id 调用方的集群id ENUM LAST 集群调用（cluster，以调用方集群id维度统计接口调用数据。） invokeCount 调用次数 该集群的调用次数 INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） totalTime 总响应时间 该集群调用的总响应时间 INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） errorCount 错误次数 该集群调用的错误次数 INT SUM

名称 描述 根节点 根节点名称默认为default。点击右键，可以选择“添加子节点”或“编辑”节点。 根节点 添加子节点 父节点类型。 根节点 添加子节点 父节点名称。 根节点 添加子节点 子节点类型，可以选择： room：机房。选择room时，可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（ ）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 描述：节点描述，取值：1~50位字符串。 rack：机架。选择rack时，可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（ ）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 描述：节点描述，取值：1~50位字符串。 server：服务器。选择server，添加服务器。添加服务器时，待添加的服务器安装HBlock后，才可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 服务器IP：指定需要添加的服务器IP，支持IPv4和IPv6地址。 端口号：指定API端口号。取值范围是[1, 65535]，默认值是1443。需要和该服务器安装HBlock时设置的API端口号保持一致。 数据目录：包括数据目录、容量配额、操作。 数据目录：服务器中，用于存储用户数据的绝对路径。 容量配额：一旦达到配额，就立刻阻止数据写入。支持输入数字（默认单位为GiB），或者输入“数字+单位”，数字应精确到两位小数，单位可为KiB、MiB、GiB、TiB或者PiB，并且配额需要不大于数据目录总容量，0表示禁止写入，负数或者不填表示无限制。 操作：点击“移除”，可以移除添加的数据目录。点击“添加”，可以添加数据目录。 描述：节点描述，取值：1~50位字符串。 根节点 编辑 节点名称：修改节点名称。取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 根节点 编辑 描述：节点描述，取值：1~50位字符串。 room类型节点 机房类型的节点。将鼠标放至节点名称处，可以显示节点名称、类型及描述信息。点击右键，可以选择添加子节点、移除或编辑节点。 room类型节点 添加子节点 父节点类型。 room类型节点 添加子节点 父节点名称。 room类型节点 添加子节点 子节点类型，可以选择： rack：机架。选择rack时，可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（ ）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 描述：节点描述，取值：1~50位字符串。 server：服务器。选择server，添加服务器。添加服务器时，待添加的服务器安装HBlock后，才可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（ ）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 服务器IP：指定需要添加的服务器IP，支持IPv4和IPv6地址。 端口号：指定API端口号。取值范围是[1, 65535]，默认值是1443。需要和该服务器安装HBlock时设置的API端口号保持一致。 数据目录：包括数据目录、容量配额、操作。 数据目录：服务器中，用于存储用户数据的绝对路径。 容量配额：一旦达到配额，就立刻阻止数据写入。支持输入数字（默认单位为GiB），或者输入“数字+单位”，数字应精确到两位小数，单位可为KiB、MiB、GiB、TiB或者PiB，并且配额需要不大于数据目录总容量，0表示禁止写入，负数或者不填表示无限制。 操作：点击“移除”，可以移除添加的数据目录。点击“添加”，可以添加数据目录。 描述：节点描述，取值：1~50位字符串。 room类型节点 移除 当room节点没有子节点时，可以点击移除按钮，删除该节点。 room类型节点 编辑 节点名称：修改节点名称。取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 room类型节点 编辑 描述：节点描述，取值：1~50位字符串。 rack类型节点 机房类型的节点。将鼠标放至节点名称处，可以显示节点名称、类型及描述信息。点击右键，可以选择添加子节点、移除节点、编辑节点或重映射。 rack类型节点 添加子节点 父节点类型。 rack类型节点 添加子节点 父节点名称。 rack类型节点 添加子节点 子节点类型，可以选择server，添加服务器。添加服务器时，待添加的服务器安装HBlock后，才可以编辑下列信息： 子节点名称：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 服务器IP：指定需要添加的服务器IP，支持IPv4和IPv6地址。 端口号：指定API端口号。取值范围是[1, 65535]，默认值是1443。需要和该服务器安装HBlock时设置的API端口号保持一致。 数据目录：包括数据目录、容量配合、操作。 数据目录：服务器中，用于存储用户数据的绝对路径。 容量配额：一旦达到配额，就立刻阻止数据写入。支持输入数字（默认单位为GiB），或者输入“数字+单位”，数字应精确到两位小数，单位可为KiB、MiB、GiB、TiB或者PiB，并且配额需要不大于数据目录总容量，0表示禁止写入，负数或者不填表示无限制。 操作：点击“移除”，可以移除添加的数据目录。 描述：节点描述，取值：1~50位字符串。 rack类型节点 移除 当rack节点没有子节点时，可以点击“移除”按钮，删除该节点。 rack类型节点 编辑 节点名称：修改节点名称。取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 rack类型节点 编辑 描述：节点描述，取值：1~50位字符串。 rack类型节点 重映射 变更父节点。通过下拉框，重新选择父节点名称。 server类型节点 服务器类型的节点。 将鼠标放至节点名称处，可以显示节点名称、类型、服务器ID、业务IP、集群IP、数据目录容量、数据目录已用容量、服务器状态及描述信息。 点击右键，可以选择添加子节点、移除节点、编辑节点或重映射。 server类型节点 添加子节点 父节点类型。 server类型节点 添加子节点 父节点名称。 server类型节点 添加子节点 子节点类型，可以选择path，添加数据目录。 数据目录：服务器中，用于存储用户数据的绝对路径，一次可以添加多个数据目录，数据目录以英文逗号（,）分开。 容量配额：一旦达到配额，就立刻阻止数据写入。支持输入数字（默认单位为GiB），或者输入“数字+单位”，数字应精确到两位小数，单位可为KiB、MiB、GiB、TiB或者PiB，并且配额需要不大于数据目录总容量，0表示禁止写入，负数或者不填表示无限制。 操作：点击“移除”，可以移除添加的数据目录。点击“添加”，可以添加数据目录。 server类型节点 移除 点击“移除”按钮，可以移除服务器。 注意 如果移除已损毁或者宕机的服务器，需要使用强制移除。强制移除服务器，会产生数据丢失风险，请谨慎操作。 如果移除服务器上有iSCSI目标，该iSCSI目标对应卷的高可用类型是ActiveStandby，移除服务器时，业务不会中断，此卷对应的iSCSI目标会切换到其他服务器上，客户端需要重新连接Target对应的新服务器IP。 如果移除服务器上有iSCSI目标，该iSCSI目标对应卷的高可用类型是Disabled，移除服务器时，业务会中断，此卷对应的iSCSI目标会切换到其他服务器上，客户端需要重新连接Target对应的新服务器IP。但服务器移除时，会有数据丢失风险。 如果执行日志采集后，产生的日志保存在服务器安装目录下，在服务器移除之后，该日志将被删除。如果产生的日志保存在HBlock的数据目录内，并且移除服务器时删除服务器HBlock数据目录中的数据，该日志也将被删除。 有服务器正在移除时，不能再移除其他服务器。如果必须移除，请使用强制移除，但有丢数据风险。 该节点的所有数据目录不属于任何存储池，允许移除该服务器。否则不能移除，如果必须移除，请使用强制移除，但有丢数据风险。 如果要移除服务器的某个数据目录属于基础存储池，且是基础存储池中仅剩的一个可用故障域中的节点，不允许移除。 server类型节点 编辑 节点名称：修改节点名称。取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 server类型节点 编辑 描述：节点描述，取值：1~50位字符串。 server类型节点 重映射 变更父节点。通过下拉框，重新选择父节点名称。 path类型节点 数据目录类型的节点。 将鼠标放至节点名称处，可以显示节点名称、类型、数据目录容量、数据目录已用容量、容量配额、已用容量配额、健康状态、健康详情、存储池。 点击右键，可以移除数据目录。 注意 强制移除数据目录，有产生数据丢失风险。 如果执行日志采集后，产生的日志保存在HBlock的数据目录内，移除数据目录时删除数据目录上的HBlock数据，该日志将被删除。 有数据目录正在移除时，不能再移除其他数据目录。如果必须移除，请使用强制移除，但有丢数据风险。

SQL Server请求分析支持统计并分析数据库中的SQL语句，帮助您快速定位TOP SQL。 前提条件 仅限来源为天翼云RDS的SQL Server数据库。 已录入DMS中，且实例状态正常的数据库实例。 操作步骤 1. 登录数据管理服务。 2. 在左侧导航栏中，单击 SQL治理 > SQL审计，在上方切换到审计日志统计分析界面。 3. 在左上方选择SQL Server数据库，进入SQL Server审计日志统计分析界面。 注意事项 SQL记录为业务实例节点内存中的累计数据，节点重启后数据会清空，并重新计数。 功能介绍 请求分析支持SQL模板执行趋势和SQL模板列表查看。 SQL模板执行趋势查看 选择需要查看的节点，查看自节点启动以来，不同维度的TOP 10 SQL模板趋势。 SQL模板列表查看 选择需要查看的节点，查看自节点启动以来，SQL模板的累计性能数据，支持按不同维度进行SQL模板排序、SQL模板关键字搜索、及SQL模板列表下载。

本节介绍了服务端加密的相关内容。 服务端加密简介 关系型数据库服务的管理控制台目前支持数据加密服务（Data Encryption Workshop，简称DEW）托管密钥的服务端加密，即使用数据加密服务提供的密钥进行服务端加密。 数据加密服务通过使用硬件安全模块 (Hardware Security Module，简称HSM) 保护密钥安全的托管，帮助用户轻松创建和控制加密密钥。用户密钥不会明文出现在硬件安全模块之外，避免密钥泄露。对密钥的所有操作都会进行访问控制及日志跟踪，提供所有密钥的使用记录，满足监督和合规性要求。 当启用服务端加密功能后，用户创建实例和扩容磁盘时，磁盘数据会在服务端加密成密文后存储。用户下载加密对象时，存储的密文会先在服务端解密为明文，再提供给用户。 使用服务端加密方式加密磁盘 用户首先需要在数据加密服务中创建密钥（或者使用数据加密服务提供的默认密钥）。创建实例时，在“磁盘加密”项选择“加密”，选择或创建密钥，该密钥是最终租户密钥，使用该密钥进行服务端加密，使磁盘更安全。 已通过统一身份认证服务添加关系型数据库所在区域的KMS Administrator权限。 如果用户需要使用自定义密钥加密上传对象，则需要先通过数据加密服务创建密钥。目前关系型数据库只支持对称密钥。 RDS购买磁盘加密后，在实例创建成功后不可修改磁盘加密状态，且无法更改密钥。选择“磁盘加密”，存放在对象存储服务上的备份数据不会被加密。 设置了磁盘加密或备份数据加密后，提醒您保存好密钥，一旦密钥被禁用、删除或冻结，会导致数据库不可用，并且可能无法恢复数据，具体场景如下： − 针对磁盘加密，备份数据不加密的场景：可以通过备份恢复到新实例的方式恢复数据。 − 针对磁盘加密，并且备份数据加密的场景：无法恢复数据。 选择磁盘加密的实例，新扩容的磁盘空间依然会使用原加密密钥进行加密。

本章节主要介绍翼MapReduce的配置监控指标数据转储操作。 操作场景 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件，并以FTP或SFTP的形式上传到指定的服务器中。 使用该功能前，管理员需要在FusionInsight Manager页面进行相关配置。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“系统 > 对接 > 监控数据上传”。 3. 单击“监控数据上传”右边的开关。 “监控数据上传”默认为不启用，开关显示为表示启用。 4. 根据下表所示的说明填写上传参数： 上传配置参数 参数名称 参数说明 FTP IP地址模式 必选参数，指定服务器IP地址模式，可选择“IPV4”或“IPV6”。 FTP IP地址 必选参数，指定监控指标数据对接后存放监控文件的FTP服务器。 FTP端口 必选参数，指定连接FTP服务器的端口。 FTP用户名 必选参数，指定登录FTP服务器的用户名。 FTP密码 必选参数，指定登录FTP服务器的密码。 保存路径 必选参数，指定监控文件在FTP服务器保存的路径。 转储时间间隔（秒） 必选参数，指定监控文件在FTP服务器保存的周期，单位为秒。 转储模式 必选参数，指定监控文件发送时使用的协议。可选协议为“SFTP”和“FTP”。建议使用基于SSH v2的SFTP模式，否则可能存在安全风险。 SFTP服务公钥 可选参数，指定FTP服务器的公共密钥，“转储模式”选择“SFTP”时此参数生效。 5. 单击“确定”，设置完成。 说明 选择转储模式为SFTP，当SFTP服务公钥为空时，先进行安全风险提示，确定安全风险后再保存配置。

本节主要介绍云存储网关的功能特性。 接口适配 支持SAN网络存储类型，即通过标准iSCSI协议支持块存储。 访问加速 采用分布式双控架构，提升读写性能，延迟极低。同时也实现了本地缓存和云端存储的冷热数据分离，提高了数据访问速度。 统一管理 提供统一管理功能，支持单机和集群部署，并可以集中管理服务器和存储卷。 支持系统监控和报警，可以监控服务器CPU、内存、数据读写速度等信息，系统运行异常时立即发出告警。 自动部署 支持部署在通用硬件服务器上，支持一键自动化软件部署、滚动升级，运维简单、易用、高效。 通过在线增加服务器或者磁盘进行扩容，且在扩容过程中，不影响用户业务，数据平滑迁移。 数据保护 支持多副本和纠删码数据冗余保护机制，可以提高空间的利用效率并获得较好的数据保护效果，保证了海量数据的存储可靠性和持续可用性。 支持数据完整性校验、传输加密，确保数据安全可靠，同时利用了OOS独有的原子操作，能够真正确保云上数据的一致性。 上云能力 支持多种数据上云方式，本地既可只缓存热数据，又可以保留全量数据，数据自动同步到云端，实现存储空间弹性扩展。 云存储网关功能特性 功能模块 功能特性 安装部署 支持单机版、集群版部署具备安装、初始化、密码修改、升级、卸载功能。 基础服务 卷：创建、查询、删除、启用、禁用、扩容、修改。 基础服务 iSCSI Target：创建、查询、删除、修改。 基础服务 服务器：添加、查询、移除、修改、启动、停止、重启、还原。 基础服务 数据目录：添加、移除。 系统设置 邮件通知：启用、禁用、查询、删除。 系统设置 远程协助：启用、禁用、查询、删除。 系统设置 备份配置：启用、禁用、查询、删除、执行备份。 系统设置 系统信息：查询部署信息、状态信息、版本信息。 监控 CPU使用率、内存使用率、各数据目录的磁盘使用率和使用量、数据传输情况（当天写入量，当前读取量，当天写请求成功率，当天读请求成功率，累计写入量，累计读取量）。

本文主要介绍 快照与备份。 CCE通过云硬盘EVS服务为您提供快照功能，云硬盘快照简称快照，指云硬盘数据在某个时刻的完整拷贝或镜像，是一种重要的数据容灾手段，当数据丢失时，可通过快照将数据完整的恢复到快照时间点。 您可以创建快照，从而快速保存指定时刻云硬盘的数据。同时，您还可以通过快照创建新的云硬盘，这样云硬盘在初始状态就具有快照中的数据。 使用须知 快照功能仅支持v1.15及以上版本的集群，且需要安装基于CSI的Everest插件才可以使用。 基于快照创建的云硬盘，其子类型（普通IO/高IO/超高IO）、是否加密、磁盘模式（VBD/SCSI）、共享性(非共享/共享)、容量等都要与快照关联母盘保持一致，这些属性查询和设置出来后不能够修改。 只有可用或正在使用状态，且存储格式为CSI的磁盘才能创建快照。快照免费试用期间，单个磁盘最大支持创建7个快照。 加密磁盘的快照数据以加密方式存放，非加密磁盘的快照数据以非加密方式存放。 使用场景 快照功能可以帮助您实现以下需求： 日常备份数据 通过对云硬盘定期创建快照，实现数据的日常备份，可以应对由于误操作、病毒以及黑客攻击等导致数据丢失或不一致的情况。 快速恢复数据 更换操作系统、应用软件升级或业务数据迁移等重大操作前，您可以创建一份或多份快照，一旦升级或迁移过程中出现问题，可以通过快照及时将业务恢复到快照创建点的数据状态。 例如，当由于云主机A的系统盘 A发生故障而无法正常开机时，由于系统盘 A已经故障，因此也无法将快照数据回滚至系统盘A。此时您可以使用系统盘 A已有的快照新创建一块云硬盘 B并挂载至正常运行的云主机 B上，从而云主机 B能够通过云硬盘 B读取原系统盘 A的数据。 说明 当前CCE提供的快照能力与K8S社区CSI快照功能一致：只支持基于快照创建新云硬盘，不支持将快照回滚到源云硬盘。 快速部署多个业务 通过同一个快照可以快速创建出多个具有相同数据的云硬盘，从而可以同时为多种业务提供数据资源。例如数据挖掘、报表查询和开发测试等业务。这种方式既保护了原始数据，又能通过快照创建的新云硬盘快速部署其他业务，满足企业对业务数据的多元化需求。

本文介绍如何校验上传对象的数据一致性。 应用场景 媒体存储提供了数据一致性校验功能，可以避免因为网络劫持、数据缓存等原因导致的数据不一致问题。 能力概述 媒体存储提供通过计算MD5值的方式对上传的数据进行一致性校验。默认情况下，服务不会进行一致性校验。 上传对象时，客户端需要先计算出对象的MD5值然后携带上传至媒体存储，媒体存储服务端再根据上传的对象内容计算出MD5值，最终与携带上传的MD5值进行对比。 如果对比结果一致，对象上传成功，否则上传失败。 具体校验逻辑如下图所示： 校验方法 本地对象计算出的MD5值作为请求头。 上传时设置请求消息参数ContentMD5为本地计算得出的校验值，具体示例如下： 请求示例： PUT /v1/testbucket/test HTTP/1.1 请求头header： Host:gdoss.xstore.ctyun.cn Date:Wed, 28 Oct 2023 09:32:00 GMT Authorization:authorization string ContentType:text/plain ContentLength:1145 ContentMD5:gnzLDuhOew 请求体body： 实际文件数据。 MD5计算方式为：openssl dgst md5 binary 上传的对象（example.txt） base64 。

指标 存储方案 数据同步 容灾范围 业务恢复 备份 与云硬盘数据分开存储，存储在对象存储（OBS）中，可以实现在云硬盘存储损坏情况下的数据恢复 保存云硬盘指定时刻的数据，可以设置自动备份。如果将创建备份的云硬盘删除，那么对应的备份不会被同时删除 与云硬盘位于同一个AZ内 通过恢复备份至云硬盘，或者通过备份创建新的云硬盘，找回数据，恢复业务。数据持久性高。 快照 与云硬盘数据存储在一起 备份由于数据搬迁会耗费一定的时间，创建快照和回滚快照数据的速度比备份快。 保存云硬盘指定时刻的数据。如果将创建快照的云硬盘删除，那么对应的快照也会被同时删除。重装操作系统或切换操作系统后，系统盘快照会自动删除；数据盘快照不受影响，可以照常使用 与云硬盘位于同一个AZ内 通过回滚快照至云硬盘，或者通过快照创建新的云硬盘，找回数据，恢复业务。

随云主机一起购买的数据盘可以卸载吗？ 可以，具体步骤请参考卸载云硬盘。 此外，在云主机删除/退订时，随云主机一起订购的系统盘不支持单独退订/删除，数据盘可以卸载后单独退订/删除。如果未执行过卸载操作，随云主机一起订购的数据盘将被同时删除/退订。而执行过卸载操作又再次挂载的数据盘和挂载在云主机上的单独创建的数据盘将会被自动卸载，如果不再需要可在自动卸载后手动删除/退订该云硬盘。 卸载云硬盘时数据会丢失吗？ 卸载云硬盘不会导致数据丢失，但也分为几种情况。 卸载非加密云硬盘，数据不会丢失，卸载下来的数据盘还可以重新挂载。卸载云硬盘流程请参见卸载云硬盘。 卸载加密云硬盘，当用户主密钥正常可用时，数据是不会丢失的。 卸载加密云硬盘，若用户主密钥被禁用或要删除时，可能会造成部分数据丢失。主密钥被禁用或要删除状态下是无法支持长期正常读写的，可能在此过程中造成数据的丢失，同时这样状态下的云硬盘卸载后是无法正常重新挂载的。因此用户在卸载前需要谨慎应对密钥状态，密钥状态异常时请勿直接卸载，可恢复其状态后再卸载。 卸载已挂载到Windows云主机的云硬盘前，请确保没有程序正在对该云硬盘进行读写操作。否则，有可能造成数据丢失或卸载失败。 卸载已挂载到Linux云主机的云硬盘前，请先登录云主机，执行umount命令，并确保没有程序正在对该云硬盘进行读写操作。否则，有可能造成数据丢失或卸载失败。

日志查询与分析 日志查询指对采集至云日志服务的日志数据进行过滤、搜索、统计分析的功能。 对于采集到的日志数据，支持秒级日志查询，从日志采集到可查询的时间<2分钟。 提供丰富的查询语法，方便用户进行关键词查询、模糊查询、范围查询等日志查询操作。 支持模糊查询、全文查询、字段查询、时间范围查询。 支持上下文查询功能。 支持各类查询分析场景。 日志查询 日志SQL统计分析概述 日志可视化 对原始日志结构化后，即可在日志控制台设置日志分析场景，并通过可视化的方式呈现结果。 统计图表：云日志服务可通过统计图表的方式对日志的检索分析结果进行可视化展示，使您能方便直观地了解应用运行情况。在统计图表页面，您可选择合适的图表类型，目前支持表格、柱状图、时序图、饼图、数值图等多种多表。 自定义仪表盘：仪表盘支持对日志数据进行实时分析，通过查询分析的日志结果可由多种统计图表展示，并能将多个统计图表同步保存到仪表盘中，提供数据分析监控的全局视图。 日志可视化概述 数据加工 支持对日志数据进行加工，包括数据的规整、脱敏和过滤。 数据规整：由于日志数据通常来自于不同的系统组件、应用程序或设备，其格式和结构可能各异，导致在对日志数据进行分析、搜索和可视化时出现困难。数据规整可针对混乱格式的日志进行字段提取、格式转换，统计为一致性格式以便后续的处理与分析。 数据脱敏：对日志数据中的敏感信息（如密码、手机号、地址等）进行脱敏。 数据过滤：针对关键业务或服务的日志进行过滤，用于后续重点分析等场景。 数据加工概述

DataNode DataNode是HDFS的数据节点，负责管理存储在其上的实际数据，并定期向NameNode发送心跳和数据块报告。 核心职责 存储和管理数据块（Block）。 执行客户端的数据读写请求。 定期向NameNode发送心跳和数据块状态报告。 在NameNode的指导下进行数据块的复制。 参与数据均衡操作。 处理数据块的校验和修复。 ZooKeeper 集群 协调服务，用于Leader选举和状态同步。 核心职责 协助ZKFC进行故障转移决策。 维护集群状态信息。 提供分布式协调能力。 ZKFC (ZooKeeper Failover Controller) 故障控制器，每个NameNode节点都有一个ZKFC进程。 核心职责 监控NameNode的健康状态。 定期检查NameNode是否正常运行。 当检测到Active节点故障时，自动触发故障转移。 管理NameNode在ZooKeeper中的注册和会话。

管理衍生指标 进入数据架构的“技术指标 > 衍生指标”页面，您可以对衍生指标进行编辑、发布、下线、查看发布历史或删除操作。 1. 在数据架构控制台，单击左侧导航树中的“技术指标”，选择“衍生指标”页签，进入衍生指标页面。 2. 您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建衍生指标并发布。 编辑 执行3。 发布 执行4。 查看发布历史 执行5。 预览SQL 执行6。 下线 执行7。 查看汇总表 执行8。 删除 执行9。 导入 执行10。 导出 执行11。 3. 编辑 a. 在需要编辑的衍生指标右侧，单击“编辑”，进入编辑衍生指标页面。 b. 根据实际需要编辑相关内容。 c. 在页面下方，单击“试运行”按钮，然后在弹出框中单击“试运行”按钮，测试所设置的衍生指标是否可以正常运行。 如果试运行失败，请根据错误提示定位错误原因，将配置修改正确后，再单击“试运行”按钮进行重试。 d. 如果试运行成功，单击“发布”，提交发布审核。 4. 发布 a. 在需要发布的衍生指标右侧，单击“发布”，弹出“提交发布”对话框。 b. 在下拉菜单中选择审核人。 c. 单击“确认提交”。 5. 查看发布历史 a. 在列表中，找到需要查看的衍生指标，在右侧单击“更多 > 发布历史”，将显示“发布历史”页面。 b. 在“发布历史”中，您可以查看衍生指标的发布历史和版本对比信息。 6. 预览SQL a. 在列表中，找到所需要的衍生指标，在右侧单击“更多 > 预览SQL”，弹出“预览SQL”对话框。 b. 在“预览SQL”中，您可以查看SQL语句，也可以复制SQL。 7. 下线 说明 下线衍生指标的前提是无依赖引用，即无复合指标引用。 a. 在需要下线的衍生指标右侧，单击“更多 > 下线”，系统弹出“提交下线”对话框。 b. 在下拉菜单中选择审核人。 c. 单击“确认提交”。 8. 查看汇总表 当前仅支持查看自动汇聚的汇总表详情。在需要查看汇总表的指标右侧，选择“更多 > 查看汇总表”，跳转到汇总表详情页面。 9. 删除 说明 删除衍生指标的前提是无依赖引用，即无复合指标引用。 a. 在衍生指标列表中，勾选需要删除的衍生指标，单击页面上方“更多 > 删除”，系统弹出“删除”对话框。 b. 单击“是”。 10. 导入 可通过导入的方式将衍生指标批量快速的导入到系统中。 a. 在汇总表上方，单击“更多>导入”，进入“导入配置”页签。 b. 下载衍生指标导入模板，编辑完成后保存至本地。 c. 选择是否更新已有数据。 说明 如果系统中已有的编码和模板中的编码相同，系统则认为是数据重复。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 d. 单击“添加文件”，选择编辑完成的导入模板。 e. 单击“上传文件”，上传完成后，自动跳转到“上次导入”页签，查看已导入的数据。 f. 单击“关闭”。 11. 导出 可通过导出的方式将衍生指标导出到本地。 a. 在衍生指标列表选中待导出的指标。 b. 在列表上方，单击“更多>导出”，即可将系统中的衍生指标导出到本地。 说明 在左侧主题树中选中某个主题，可以导出该主题下的所有衍生指标； 当该空间下不超过500条衍生指标数据时可以全部导出。