本章节介绍如何投递日志数据至OBS桶。 约束与限制 跨账号投递仅支持投递到其他账号管道中，不支持投递到其他云服务。 如果新增的数据投递为跨账号投递，则需要登录目的账号进行授权操作。 步骤一：创建数据投递任务 1. 登录管理控制台。 2. 单击页面左上方的，选择“安全 > 态势感知（专业版）”，进入态势感知（专业版）管理页面。 3. 在左侧导航栏选择“工作空间> 空间管理”，并在工作空间列表中，单击目标工作空间名称，进入目标工作空间管理页面。 4. 在左侧导航栏选择“日志审计 > 安全数据”，进入安全分析页面。 5. 在左侧数据空间导航栏中，单击数据空间名称，展开数据管道后，单击目标管道名称后的“更多 > 投递”，右侧弹出现在数据投递设置页面。 6. （可选）在弹出的授权提示中，确认无误后，单击“确定”，完成授权。 首次投递到目的投递类型需要进行授权，如果已经授权，则无需执行此步骤。 7. 在新增投递配置页面中，配置数据投递相关参数。 1. 配置基本信息。 参数名称 参数说明 投递名称 自定义投递名称。 投递资源消耗 默认生成，无需配置。 2. 配置数据源。 数据源配置中，显示当前管道数据的详细信息，无需配置。 参数名称 参数说明 投递类型 数据投递类型，默认显示为PIPE，即默认从态势感知（专业版）管道投递数据。 区域 当前管道所在区域。 工作空间 当前管道所属的工作空间。 数据空间 当前管道所属的数据空间。 管道 管道的名称。 数据位置策略 当前管道中数据位置的策略。 读取身份 数据源读取身份信息说明。 3. 配置数据目的，请根据投递目的进行配置。 OBS：将当前管道数据投递到OBS服务。 投递到OBS中，需要已有一个桶策略为私有、公共读或公共读写的可用的桶（暂不支持并行文件桶）。 参数名称 参数说明 账号类型 选择数据投递目的地的账号类型。投递到OBS服务仅支持选择“本账号”类型。 投递类型 选择投递类型，此处选择OBS。 桶名称 选择目的OBS桶名称。 写入身份 默认生成，无需配置。 4. 在“访问授权”中，查看步骤6中授予的权限。 投递请求需要获取访问您云资源的读写权限，授权后，投递任务才能拥有对您云资源相应的访问权限。 8. 单击“确定”。

本章主要介绍翼MapReduce的恢复Hive业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Hive数据。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动Hive的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查Hive备份文件保存路径。 停止Hive的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节主要介绍高质量数据集平台如何管理标注数据集。 标注数据集是由标注模块产生的数据集。 【查看】支持查看标注数据集详情； 【授权】支持将数据集授权给个人或团队； 【更新元数据】点击后会将该数据集元数据信息进行更新。

本页为您介绍数据传输服务DTS如何保护用户的数据。 数据传输服务DTS通过多种数据保护手段和特性，保障传输中数据的安全性和完整性。 断点续传 当用户暂停任务，或源库发生异常不可连接时，DTS数据传输服务会记录最后迁移的位点，待用户重新启动任务、源库恢复正常时，继续从当前位点开始迁移，保障用户迁移数据的完整性。 回收任务完成资源 在用户的迁移、同步任务完成后，DTS数据传输服务将会销毁迁移、同步的工作节点，不保留任何用户数据，充分保障用户的数据安全。 安全的云服务 DTS数据传输服务构建在高效、可靠、安全的弹性云主机和云存储上，结合其能力，保证迁移、同步任务稳定运行。

数据订阅功能支持您订阅指标或者告警数据,配置订阅任务后可以将数据转发到您配置的Topic或URL地址。 操作场景 对于实时指标/告警数据，您如需要进行二次消费使用，可以通过数据订阅功能配置订阅任务，实现数据的实时订阅消费， 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 说明 数据订阅功能当前为受限开放阶段，仅支持部分资源池，如有需要可以联系客户经理提单开通。 创建数据订阅任务前提需先创建订阅渠道。 管理数据订阅任务 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控服务”，进入监控概览页面。 4. 选择“数据订阅”菜单，即可进入数据订阅任务列表页面。

查看数据质量评分 质量评分的满分可设置为5分，10分，100分。默认为5分制，是以表关联的规则为基础进行评分的。而表、数据库等不同维度的评分均基于规则评分，本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您可以查询所创建数据连接下数据库、数据库下的数据表以及数据表所关联规则的评分，具体评分对象的计算公式，请参见下表。 对象评分计算公式 对象 评分计算公式 规则 创建质量作业时，作业关联的规则中结果说明列包含“比率”、“值率”的系统内置规则及用户自定义规则可以生成质量评分报告。 包含“比率”、“值率”的规则可以分为正向规则及反向规则，正向规则即比值越高，代表数据质量越好；反向规则即比值越高，则数据质量越差。 正向规则包含唯一值率、重复值率、合法比率规则，反向规则包含空值率规则。 正向规则评分满足规则的数据行数/数据总行数满分（5，10，100）。 反向规则评分（1满足规则的数据行数/数据总行数）满分（5，10，100）。 数据表 表评分计算公式：∑(表关联的所有规则评分规则权重)/∑规则权重 数据库 数据库下所有数据表评分的加权求平均值，即：∑数据库下所有数据表评分/表的数量。 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据质量”模块，进入数据质量页面。 选择数据质量 2.选择“数据质量监控 > 质量报告”。 3.在“技术报告”页签，选择数据连接及截至日期，查询截至日期前7天的数据质量评分，如下图所示。 选择数据连接 说明 以评分满分为5分为例。其中45分评价为优秀，34分为良好，23分为不及格，12分为较差，01分为极差。 当天质量评分数据在次日凌晨生成。 质量评分历史趋势中的实线为截至日期前7天质量评分组成的连线，虚线为这7天质量评分的平均分。 若一天多次运行该作业，当天的质量评分为最后一次的得分。 4.单击“表评分”列的评分值链接，展开该表关联的规则评分。 5.单击“规则评分”列的评分值链接，展开该规则关联的字段评分，如下图所示。 表关联规则评分界面

本章节主要介绍数据架构使用流程。 DataArts Studio数据架构的流程如下： 1.准备工作 ： −添加审核人 ：在数据架构中，业务流程中的步骤都需要经过审批，因此，需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 −管理配置中心 ：数据架构中提供了丰富的自定义选项，统一通过配置中心提供，您需要根据自己的业务需要进行自定义配置。 2.数据调研 ：基于现有业务数据、行业现状进行数据调查、需求梳理、业务调研，输出企业业务流程以及数据主题划分。 −主题设计 ：通过分层架构表达对数据的分类和定义，帮助厘清数据资产，明确业务领域和业务对象的关联关系。 主题域分组 ：基于业务场景对主题域进行分组。 主题域 ：互不重叠数据的高层面的数据分类，用于管理其下一级的业务对象。 业务对象 ：指企业运作和管理中不可缺少的重要人、事、物信息。 −流程设计 ：针对流程的一个结构化的整体框架，描述了企业流程的分类、层级以及边界、范围、输入/输出关系等，反映了企业的商业模式及业务特点。 3.标准设计 ：新建码表&数据标准。 −新建码表 ：通常只包括一系列允许的值和附加文本描述，与数据标准关联用于生成值域校验质量监控。 −新建数据标准 ：用于描述公司层面需共同遵守的属性层数据含义和业务规则。其描述了公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 4.模型设计： 应用关系建模和维度建模的方法，进行分层建模。 −关系建模 ：基于关系建模，新建SDI层和DWI层两个模型。 SDI ：Source Data Integration，又称贴源数据层。SDI是源系统数据的简单落地。 DWI ：Data Warehouse Integration，又称数据整合层。DWI整合多个源系统数据，对源系统进来的数据进行整合、清洗，并基于三范式进行关系建模。 −维度建模 ：基于维度建模，新建DWR层模型并发布维度和事实表。 DWR ：Data Warehouse Report，又称数据报告层。DWR基于多维模型，和DWI层数据粒度保持一致。 维度 ：维度是用于观察和分析业务数据的视角，支撑对数据进行汇聚、钻取、切片分析，用于SQL中的GROUP BY条件。 事实表 ：归属于某个业务过程的事实逻辑表，可以丰富具体业务过程所对应事务的详细信息。 5.指标设计 ：新建业务指标和技术指标，技术指标又分为原子指标、衍生指标和复合指标。 −指标 ：指标一般由指标名称和指标数值两部分组成，指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。 业务指标用于指导技术指标，而技术指标是对业务指标的具体实现。 −原子指标 ：原子指标中的度量和属性来源于多维模型中的维度表和事实表，与多维模型所属的业务对象保持一致，与多维模型中的最细数据粒度保持一致。 原子指标中仅含有唯一度量，所含其它所有与该度量、该业务对象相关的属性，旨在用于支撑指标的敏捷自助消费。 −衍生指标 ：是原子指标通过添加限定、维度卷积而成，限定、维度均来源于原子指标关联表的属性。 −复合指标 ：由一个或多个衍生指标叠加计算而成，其中的维度、限定均继承于衍生指标。 注意，不能脱离衍生指标、维度和限定的范围，去产生新的维度和限定。 6.数据集市建设 ：新建DM层并发布汇总表。 −DM (Data Mart) ：又称数据集市。DM面向展现层，数据有多级汇总。 −汇总表 ：汇总表是由一个特定的分析对象（如会员）及其相关的统计指标组成的。组成一个汇总逻辑表的统计指标都具有相同的统计粒度（如会员），汇总逻辑表面向用户提供了以统计粒度（如会员）为主题的所有统计数据（如会员主题集市）。

本章节主要介绍新建一个对账作业实例的操作。 场景说明 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。 环境准备 需要准备好对账的数据源，即通过管理中心分别创建数据连接，用于跨源数据对账。 操作步骤 1.建立跨源数据连接。 a.创建DLI数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据湖探索（DLI）”，输入数据连接名称，单击“测试”，提示连接成功，单击“确定”。 b.创建DWS数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据仓库服务（DWS）”，输入数据连接名称，设置其他参数，如下图所示，单击“测试”，提示连接成功，单击“确定”。 2.创建对账作业。 a.在DataArts Studio数据质量模块，单击左侧导航菜单“对账作业”。 b.单击“新建”，配置对账作业的基本信息，如下图所示。 c.单击“下一步”，进入规则配置页面。您需要点击规则卡片中的，然后配置对账规则，如下图所示。 说明 要分别配置源端和目的端的信息。 配置告警条件，其中点击左侧的表行数 （${11}）表示左侧源端选中表的行数，点击右侧表行数 （${21}）表示目的端表行数。此处配置告警条件为 ${11}!${21}，表示当左侧表行数与右侧表行数不一致时，触发报警并显示报警状态。 d.单击“下一步”，配置订阅信息，如下图所示。 说明 勾选触发告警表示作业报警时发送通知到对应的smn主题，勾选运行成功表示不报警时发送通知到SMN主题。 e.单击“下一步”，配置调度方式，如下图所示。 说明 单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置。 3.查看对账作业 a.单击对应的对账作业操作列中的运行链接，运行对账作业后，自动跳转到运维管理页面。 b.单击结果&日志查看运行结果和运行日志，等待作业运行结束后，如下图所示。

本文为您说明初始化数据盘场景及磁盘分区形式介绍。 操作场景 针对挂载至物理机的云盘数据盘或者物理机的本地数据盘，需要登录服务器初始化磁盘，即格式化磁盘，之后磁盘才可以正常使用。 系统盘 系统盘不需要初始化，创建物理机时会自带系统盘并且自动初始化，默认磁盘分区形式为主启动记录分区（MBR，Master boot record）。 数据盘 创建物理机时直接创建云盘数据盘，云盘数据盘会自动挂载至服务器。 单独创建云盘数据盘，然后将该云盘数据盘挂载至物理机。 物理机的本地数据盘。 以上三种情况创建的数据盘挂载至物理机后，均需要初始化后才可以使用，请您根据业务的实际规划选择合适的分区方式。

本章节主要介绍逆向数据库维度建模操作。 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的关系模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见任务管理。 逆向数据库导入表到维度模型中 1. 在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据架构”模块，进入数据架构页面。 2. 在DataArts Studio数据架构控制台，单击左侧导航栏的“维度建模”进入维度建模页面。 3. 打开需要逆向数据库导入的维度或表的页签，然后单击列表上方的“逆向数据库”。 4. 在“逆向数据库”对话框中配置参数。 参数名称 说明 所属主题 单击“选择主题”按钮选择所属的主题信息。 数据连接类型 选择维度建模的逆向数据库。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中，需要先在DataArts Studio管理中心创建一个数据连接，以便连接数据源。创建数据连接的操作，请参见创建数据连接。 数据库 选择数据库。 队列 仅限DLI连接类型，需选择DLI队列。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 更新已有表 在导入时，只有创建或更新操作，不会删除已有的表。 不更新 ：如果表已存在，将直接跳过，不更新。 更新 ：如果表已存在，更新已有的表信息。如果表处于“已发布”状态，表更新后，您需要重新发布表，才能使更新后的表生效。 数据表 选择“全部”时，将数据库中的所有的表都导入。 选择“部分”时，请选择需要导入的表。 5. 单击“确定”开始执行逆向数据库操作。等待操作执行完成，即可在“上次逆向”中查看结果或者执行重新逆向操作。

本文介绍重装/切换操作系统/变更规格对磁盘数据有影响吗 对系统盘数据的影响 重装系统（linux）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，请做好数据备份； 重装系统（windows）会清除系统盘数据，包括系统盘的系统分区和所有其他分区挂载点配置，软件安装后的注册表信息，请做好数据备份。 变更规格对系统盘没有影响。 对数据盘的影响 重装系统（windows），相关软件需要试用可能造成程序不可用，需要重新安装，但是之前程序在数据盘的数据会保留。 变更规格对数据盘没有影响。

创建OBS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 详见下图：选择连接器类型 2.连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从MRS HDFS导出数据到OBS的任务。 详见下图：创建MRS HDFS到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建MRS HDFS连接中的“hdfsllink”。 −源目录或文件：待迁移数据的目录或单个文件路径。 −文件格式：传输数据时所用的文件格式，这里选择“二进制格式”。不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 −其他可选参数一般情况下保持默认即可，详细说明请参见 配置HDFS源端参数。 目的端作业配置 −目的连接名称：选择创建OBS连接中的“obslink”。 −桶名：待迁移数据的桶。 −写入目录：写入数据到OBS服务器的目录。 −文件格式：迁移文件类数据到文件时，文件格式选择“二进制格式”。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置OBS目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持多个文件的并发抽取，调大参数有利于提高迁移效率 是否写入脏数据：否，文件到文件属于二进制迁移，不存在脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本文介绍RDSPostgreSQL实例数据被损坏的可能场景。 主机损坏或异常 在数据盘损坏的场景下，实例数据库可能会被损坏以至数据丢失。 数据库主机服务器断电，可能会导致数据页损坏，可能会导致数据库发生异常。 数据遭恶意篡改 在一些安全漏洞被利用的场景下，可能数据会遭到恶意篡改。为了防止这种情况发生，建议严格权限管理，避免非授权用户操作数据库。

本文主要介绍MySQL数据迁移后sql执行速度慢的原因分析及解决方案。 场景描述 数据迁移至MySQL实例后，sql语句执行明显慢于原数据库。 原因分析 数据迁移至MySQL实例后，第一次执行的sql比在原数据库执行的性能差， 是由MySQL的bufferpool机制决定的：sql语句第一次执行时，由于执行计划和查询数据等信息未加载至bufferpool中，需要生成执行计划，并从磁盘加载数据，磁盘IO读写性能明显差于内存bufferpool的读写性能，因为第一次执行速度会慢很多；sql第一次执行完后，读取的数据会被存放于内存的bufferpool中，当第二次执行相同语句时，数据直接从bufferpool中读取，因此数据的访问速度明显快于第一次从磁盘访问数据速度。 该场景中，在原数据库中执行sql读取的数据一般来源于bufferpool，访问速度极快。当数据迁移到云上MySQL时，第1次执行同样的sql语句，需要从磁盘读取，就会访问较慢，当再次执行相同sql会从内存读取，执行速度就会恢复正常。 解决方案 该场景属于正常现象，在同一个数据库中，第1次执行sql时很慢，但再次执行由于数据已经被加载到bufferpool中，执行速度会明显提升。

本文介绍如何在科研助手中创建数据集。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据存储】的【数据集管理】。 3. 在【数据集管理 】页面，点击左上角的【个人数据集 】选项卡。 4. 在【个人数据集】页面，点击左上角的【创建数据集】按钮。 5. 在弹出的【创建数据集 】页面中，存储类型选择【SFS 】，配置参数。创建数据集页面如下： 6. 点击右下角的【确认】，即可完成数据集的创建。 7. 具体参数如下表所示： 参数 说明 是否必选 名称 作业名称。要求如下：长度范围为4~36个字符。名称由小写字母、数字、中划线（）组成。以小写字母开头。以小写字母或数字结尾。 是 可用区 开发机可选的可用区。 是 存储类型 数据集使用的存储类型，默认为SFS。 是 选择IO类型 IO类型，默认为超高IO云硬盘。 是 存储容量 数据集的存储容量大小，要求输入为数字，单位为GiB。 是

关于媒体存储数据迁移的能力概述。 适用场景 媒体存储为客户提供在线迁移服务，客户可以通过在线迁移服务实现以下数据迁移场景： 将同个账号的媒体存储的某个bucket数据迁移至另一个bucket。 跨不同的天翼云账号迁移媒体存储间的数据。 将第三方数据，如阿里云、AWS等数据迁移到媒体存储。 说明 目前数据迁移为内测能力，如有需要，可联系客户经理或 功能说明 数据迁移具备以下能力： 用户可以通过媒体存储控制台页面，快速配置数据迁移策略；可指定需要迁移的对象范围、覆盖方式。 提供任务管理页面，用户可随时掌握迁移进度，管理迁移任务。 采用HTTPS数据加密通道，保证迁移传输安全；服务会自动比对数据，保证迁移数据的准确性。 提供迁移报告，用户可直观了解迁移总数、成功数、失败数，支持失败对象一键重试。 使用方式 操作途径 使用方式 控制台 可参考：创建迁移任务。

本章节主要介绍ALM38008 Kafka数据目录状态异常的告警。 告警解释 系统每60秒周期性检测Kafka数据目录状态，当检测到某数据目录状态异常时产生该告警。 平滑次数为1，当数据目录状态恢复正常后，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 目录名 产生告警的目录名称。 Trigger Condition Kafka数据目录状态异常。 对系统的影响 Kafka数据目录状态异常，会导致该数据目录上所有Partition的当前副本下线，多个节点同时出现数据目录状态异常，可能会导致部分Partition不可用。 可能原因 数据目录权限被篡改。 数据目录所在磁盘故障。 处理步骤 检查故障的数据目录权限 根据告警提示的主机信息，登录到该节点上。 1. 查看告警详细信息中所提示的数据目录及其子目录，属组是否为omm:wheel。 是，记录当前节点主机名，并执行步骤4。 否，执行步骤3。 2. 恢复数据目录及其子目录的属组为omm:wheel。 检查数据目录所在磁盘是否故障 使用omm用户，在所提示的数据目录的上一级目录下，进行创建、删除文件测试，看能够正常读写磁盘。 是，执行步骤6。 否，执行步骤5。 3. 更换或者修复数据目录所在磁盘，保证其可以正常读写。 4. 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，进入Kafka实例页面，重启步骤2中主机名上的Broker实例。 5. 等待Broker启动完成之后，观察界面告警是否清除。 是，处理完毕。 否，执行步骤8。

可信数据空间是融合数据沙箱、隐私计算、区块链、高速传输网等前沿技术打造的数据流通利用基础设施。在可信数据空间中,各参与方通过连接器接入,空间提供各类开发能力以及可信管控能力,实现对各种数据流通场景的支持。其中,数据沙箱提供了安全隔离环境和集中式的开发能力,隐私计算实现原始数据可用不可见的端到端交付,区块链实现数据全生命周期的存证溯源,高速传输网实现即时组网、弹性带宽和安全加密,保障数据在空间中安全、合规、高速、高效地流通和利用。

本章节主要介绍ALM25004 LdapServer数据同步异常的告警。 告警解释 系统按30秒周期性检测LdapServer数据，如果连续12次检测，Manager的主备LdapServer的数据内容都不一致，产生该告警，当两者的数据一致时，对应告警恢复。 系统按30秒周期性检测LdapServer数据，如果连续12次检测，集群中的LdapServer的数据与Manager的LdapServer数据都不一致，产生该告警，当两者的数据一致时，对应告警恢复。 告警属性 告警ID 告警级别 是否自动清除 25004 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机节点信息。 对系统的影响 LdapServer数据不一致时，有可能是Manager上的LdapServer数据损坏，也有可能是集群上的LdapServer数据损坏，此时数据损坏的LdapServer进程将无法对外提供服务，影响Manager和集群的认证功能。 可能原因 LdapServer进程所在的节点网络故障。 LdapServer进程异常。 OS重启导致的LdapServer数据损坏。 处理步骤 检查LdapServer所在的节点网络是否故障 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。记录该告警定位信息中的“主机名”的IP地址为IP1（若出现多个告警，则分别记录其中的IP地址为IP1、IP2、IP3等）。 2.联系运维人员，登录IP1节点，在这个节点上使用ping命令检查该节点与主OMS节点的管理平面IP是否可达。 是，执行步骤4。 否，执行步骤3。 3.联系网络管理员恢复网络，然后查看“LdapServer数据同步异常”告警是否恢复。 是，处理完毕。 否，执行步骤4。

前提条件 已完成脚本开发任务。 提交版本并解锁 “提交”会将当前开发态的最新脚本保存并提交为版本，并覆盖之前的脚本版本。为了便于后续其他开发者对此脚本进行修改，建议您在“提交”后通过“解锁”解除该脚本锁定。 1.登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2.在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3.在脚本目录中，双击已开发完成的脚本名称，进入脚本开发页面。 4.在脚本编辑器上方单击“提交”，提交版本描述内容长度最多为128个字符，并勾选是否在下个调度周期使用新版本，不勾选则无法点击确认。 详见下图：提交 5.“提交”后在脚本编辑器上方单击“解锁”，解除锁定，便于后续其他开发者对此脚本进行修改更新。 详见下图：解锁 版本回滚 提交版本后，可以在版本列表中看到已经提交过的版本信息（当前最多保存最近10条版本信息）。点击“回滚”，可以回退到任意一个已提交的版本。 回滚内容包括： DLI：数据连接、数据库、资源队列、脚本内容。 DWS：数据连接、数据库、脚本内容。 HIVE：数据连接、数据库、资源队列、脚本内容。 SPARK：数据连接、数据库、脚本内容。 SHELL：主机连接、参数、交互式参数、脚本内容。 RDS：数据连接、数据库、脚本内容。 PRESTO：数据连接、模式、脚本内容。 PYTHON：主机连接、参数、交互式参数、脚本内容。 FLINK：脚本内容。 操作如下： 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录中，双击脚本名称，进入脚本开发页面。 4. 在页面右侧单击“版本”，查看版本提交记录，找到需要回滚的版本单击“回滚”即可。 如果当前有开发态的编辑内容没有提交，将会被覆盖。回滚之后需要重新提交才能生效，调度默认使用最新提交的版本进行调度。 详见下图：版本回滚

本章节主要介绍导入数据至DLI表的方式。 通过OBS导入数据 在DLI管理控制台，将存储在OBS服务上的数据导入DLI表中入口有两个，分别在“数据管理”>“库表管理”>“表管理”页面和“SQL编辑器”页面。具体操作请参考导入数据。 通过CDM导入数据 通过数据迁移服务（CDM）将OBS上的数据导入到DLI，导入需要创建CDM队列。 具体操作请参见《数据治理中心 DataArts Studio用户指南》中的的“OBS数据迁移到DLI服务”章节。 在操作过程中请注意以下关键配置： DLI所在的VPC与CDM队列的VPC一致。 需要创建两个连接，即DLI连接，OBS连接。 传输数据的文件格式支持“CSV格式”和“JSON格式”。

本文介绍如何使用数据缓存创建实例。 创建数据缓存后，您可以使用数据缓存创建ECI实例，将缓存好的数据直接挂载到ECI实例中，免去拉取数据的等待时间，加速业务启动。 前提条件 确保数据缓存已经处于可用状态。 配置说明 1. 创建容器组过程中，输入数据缓存的bucket名称，点击添加，选择缓存目录和目标容器。 2. 创建容器组完成，等待一段时间变成Running状态后，点击远程连接，进入容器查看刚刚使用的数据缓存。 3. 可以在容器testdir目录查看之前拉取的数据。

实时实例指标查看 实时实例运行起来之后，可以查看flink相关的运行指标，在列表页，点击【更多】按钮，点击【查看指标】即可跳转至指标页面。 注意：只有处于【运行中】状态的实时实例才可查看指标。查看指标中可以查看任务运行情况、业务延迟情况、资源情况、I/O情况、checkpiont情况与返压情况等。 补数实例 对周期任务发起补数据操作后，将根据周期类型和业务日期产生不同的补数据实例。您可以根据业务需求对补数据实例进行运维管理，包括查看运行日志、重跑等操作。 注意：补数操作需要任务处于生效状态才能使用。 应用场景 新开发的周期任务，只能从第二天开始调度。如果您需要马上查看历史分区数据，可以执行补数据操作。 上游依赖的任务重跑或补数据导致历史分区数据刷新。您可以通过补数据功能，回刷下游任务的历史分区数据。 业务的历史数据存在遗漏，需补充历史数据，相当于将写入数据至历史的对应时间分区。 业务历史数据有遗漏需要补充历史数据的示例说明： 步骤一：进入周期任务列表页，点击补数操作 进入运维中心页面。 按照以下操作指引，进入周期任务列表页。 依次单击数据运维>任务运维>周期任务>操作栏更多>补数据 步骤二：填写补数日期 选中某生效任务，在其操作栏点击更多按钮再操作补数据功能，弹出弹窗。 需要选中补数的业务日期，其中开始时间到结束时间都只能是历史时间，没法选中未来的时间节点，如当天为10号，我需要补9号的数据，则在任务生效的情况下，开始时间和结束时间都选择9号，即可生成9号的数实例。 补数任务一次性只能提交50个业务日期。 步骤三：运行补数实例 补数据实例生成后将自动触发运行。

本章节主要介绍如果进行物理建表。 物理表 物理表是指按照一定规则和方法，将物理表中所定义的实体、属性、属性约束、关系等要素转换为数据库软件所能够识别的表关系图(Table Relationship Diagram)的一种物理描述。 可视化建模： 前提条件 需要完成主题规划和数仓分层设计信息配置后，才能进行物理建模操作，主题划分和数仓分层设计请参见数仓主题规划与数仓分层设计。 需要完成数据源接入，才可进行物理建模操作。 使用流程 1. 登录数据中台，单击上侧导航栏的数据建模>物理建表，进入物理表页面。 2、创建物理表 a.在物理表页面，鼠标点击新建图标，创建物理表。 3、在“新建物理表”页面，根据页面提示完成相关配置。 a.填写基本配置参数。 参数名称 说明 所属主题 选择所属的主题信息 数据源 选择处于已发布状态的数据源 表中文名 以中文、英文、数字、下划线，且以中文或英文开头,最少4字符,最多64字符 表英文名 以英文、数字、下划线组成，且以英文开头,最少4字符,最多64字符表英文名 表类型 物理表支持以下表类型： 表：表是数据库中用于存储数据的物理结构，它由行和列组成，每一行代表一个记录，每一列代表一个字段。当需要长期存储数据，且数据需要频繁更新和查询时，选择表。 视图：视图是基于一个或多个表的虚拟表，它不存储数据，而是通过SQL查询语句动态生成数据，需要提供数据的抽象层，简化用户查询时，选择视图。 关联逻辑模型 选择物理表所需关联的逻辑模型 关联逻辑实体 关联当前【关联逻辑模型】中生效的逻辑实体 分区类型 当数据库类型是DM、可选如下分区类型： 范围分区（Range Partition)：是根据表中某个列或多个列的值的范围来创建分区。应用场景为时间序列数据和数值范围数据。 列表分区（List Partition)：列表分区是通过指定表中某个列的离散值集来创建分区，应用场景为地区或分类数据、状态或类型数据 当数据库类型是GaussDB、可选如下分区类型 Range：根据分区键的值范围将数据映射到分区，适用于时间序列数据，如按日期范围分区。 list：通过指定分区键的离散值列表来控制数据映射到分区，适用于已知离散值的场景，如按特定分类或状态分区。 hash：基于分区键使用哈希算法将数据均匀映射到分区，适用于数据分布均匀且无明显分区键的场景。 当数据库类型是Doris、可选如下分区类型 Range（范围分区）：根据指定列的值范围进行分区，适用于数据具有连续数值范围的场景。 List（列表分区）：根据指定列的离散值列表进行分区，适用于数据具有离散值集合的场景。 是否外部表 当数据库类型是Hive、需选是否外部表信息 用于指定Hive表是否为外部表。外部表允许用户访问存储在Hive外部的文件系统中的数据，而不必将其移动到Hive的默认存储位置. 文件格式 当数据库类型是Hive、需选文件格式信息 RCFILE：列式存储格式，支持压缩，适用于Hive分析。 TEXTFILE：行式存储，默认编码UTF8，简单通用。 GBKTEXTFILE：行式存储，GBK编码，适合中文数据。 SEQUENCEFILE：二进制存储，支持压缩，效率高。 PARQUET：列式存储，支持复杂数据类型，查询优化。 ORC：列式存储，高效压缩，适合大规模数据分析。 列分隔符 当数据库类型是Hive、需定义列分隔符信息 指定Hive表中字段值之间的分隔方式，以便正确解析行式存储文件中的数据 压缩类型 当数据库类型是Hive、需定义压缩类型信息 压缩类型配置用于指定数据存储时采用的压缩算法，以减少存储空间和提高I/O效率 当数据库类型是KingBase、需选压缩类型信息。 (5，5)压缩算法：性能与压缩比相对均衡的压缩模式 (3，1)压缩算法：压缩率最大的压缩模式。 表类型 当数据库类型是KingBase、需选择如下表类型。 复制表：数据完整存放在各个主机上，适用于配置表、字典表等数据量小的表。 哈希表：数据按hash策略分布存储与不同主机上，以实现分布式存储和计算 当数据库类型是Doris、需选择如下表类型。 Aggregate：聚合表，用于存储聚合后的数据，适用于快速查询统计结果。 Unique：唯一表，保证表中每一行数据的唯一性，适用于需要去重的数据存储。 Duplicate：重复表，允许表中存在重复数据，适用于存储原始数据，不进行去重处理。 Nocopies表 当数据库类型是KingBase、需选Nocopies表信息。 0：表示该表是复制表，即在数据库集群中，该表的数据会复制到所有的节点上，以保证数据的高可用性。 1：表示该表是非复制表，即在数据库集群中，该表的数据只存储在创建表的节点上，不会复制到其他节点，适用于存储不经常访问或不需要高可用性的数据。 行列模式 当数据库类型是KingBase、需选行列模式信息。 行存储：数据整行存储，适用于经常需要关注整行数据的OLTP(在线联机事务处理系统 。 哈希表：数据按hash策略分布存储与不同主机上，以实现分布式存储和计算) TTL 当数据库类型是kafka、需填TTL信息。 TTL用于设置Kafka主题中消息的存活时间，超过此时间的消息将被自动删除。 单位是天（day）、小时（hours）或分钟（minutes） 分区个数 当数据库类型是kafka、需填分区个数信息。 分区个数的作用是提高并行处理能力和消息吞吐量，分区数越多，可同时处理的消费者和生产者请求就越多。对于小型集群（少于6个broker），可以选择是broker数量的3倍；对于大型集群（超过12个broker），可以选择是broker数量的2倍。 当前分区 当数据库类型是kafka、需填当前分区信息。 指定创建主题（topic）时的初始分区数量，如果没有指定，则使用集群配置的默认值，默认的当前分区数值取决于Kafka集群的配置 备份数 当数据库类型是kafka、需填备份数信息。 备份数（Replication Factor）：是指定每个分区的副本数量，以提高数据的可靠性和容错能力 数据类型 当数据库类型是kafka、需填数据类型信息。 json：用于指定消息体为JSON格式，这是一种轻量级的数据交换格式。 json数组：用于指定消息体为JSON数组格式，允许单个消息包含多个JSON对象，适用于批量处理数据的场景。 Csv：用于指定消息体为CSV格式，其中的数据通常由纯文本组成，字段由逗号分隔，适用于存储表格数据的场景。 字符集 当数据库类型是kafka、需填写字符集信息。 f8：指定使用UTF8字符集，是一种广泛使用的字符编码，能够表示任何Unicode字符，适用于国际化场景 gbk：指定使用GBK字符集，是一种用于简体中文的字符编码，适用于涉及简体中文字符的场景 结构类型 当数据库类型是kafka、需选择结构类型。 单一模式：消息体只包含单一结构的数据，如单个JSON对象或CSV记录，适用于简单的数据模型。 复合模式：消息体包含复合结构的数据，如JSON数组或嵌套JSON对象，适用于复杂的数据模型，可以包含多个记录或字段。 表引擎 当数据库类型是ClickHouse、需选择如下表引擎信息。 MergeTree：一种高效的列式存储引擎，适用于处理大量数据的写入和快速查询，支持数据自动合并以优化存储和查询性能。 ReplacingMergeTree：类似于MergeTree，但具有去重功能，自动删除具有相同主键的旧记录，保留最新的记录。 TinyLog：轻量级的日志引擎，适用于小规模数据的写入，不支持索引，查询性能不如MergeTree。 Log：简单的行式存储引擎，适用于快速写入和简单查询，不支持复杂的查询操作，数据存储为纯文本格式。 当数据库类型是Doris、需选择如下表引擎信息。 OLAP：由Doris负责数据管理和存储，适用于分析型查询。 分桶类型 当数据库类型是Doris、需填分桶类型信息。 "hash"分桶：即根据哈希值将数据均匀分配到不同的桶中，以实现负载均衡 分桶数量 当数据库类型是Doris、需填分桶数量信息。 自动分桶：默认选择"auto"让系统根据数据量和查询模式自动决定最优的分桶数量。 手动分桶：支持用户手动设置分桶数，分桶数量的最小值为 15000。 拓展属性 当数据库类型是Doris、需填写拓展属性。 拓展属性：允许用户为表设置额外的配置选项，如副本数量、存储介质和数据冷却时间等，以满足特定的性能和存储需求。 b.在“物理表属性”页面添加所需要的物理表字段属性，物理表字段属性参数说明参考。 参数名称 说明 英文名称 以英文、数字、下划线组成，且以英文开头,最少4字符,最多64字符。 属性名 以中文、英文、数字、下划线，且以中文或英文开头，最少4字符,最多64字符。 数据类型 设置属性的数据类型。 数据标准 选择一个已发布数据标准与逻辑实体属性关联 主键 表中唯一标识每条记录的字段或字段组合 分区 选中表示基于该字段值进行数据分区 不为空 选中表示该字段不可为空 索引信息 当数据库类型是DM、需填写索引信息。 无索引：不配置索引。 唯一索引：要求索引列的值在表中唯一，用于确保数据的唯一性，提高查询效率。 组合索引：在表的多个字段上建立的索引，适用于需要同时在多个字段上进行查询过滤的场景，可以提高多字段联合查询的效率。 加密方式 当数据库类型是Hive、需填写加密方式信息。 AESENC：通过AESENCRYPT函数实现，适用于快速加密大量敏感数据，如用户信息和财务数据 。 SM4ENC：是一种对称加密算法，适用于需要符合国家标准和法规要求的场景，如政府数据、金融数据等。 日期表达式 当数据库类型是kafka、需填写日期表达式信息。 用于定义Kafka消息中日期字段的格式，例如：yyyyMMdd 选择器表达式 当数据库类型是kafka、需填写选择器表达式信息。 jsonpath：使用JSONPath表达式从JSON格式的消息中提取特定字段，适用于处理JSON消息。 xpath：使用XPath表达式从XML格式的消息中提取数据，适用于处理XML消息。 列表下标：通过指定列表的下标来提取数组中的特定元素，适用于处理包含数组的数据结构。 分布排序键 当数据库类型是ClickHouse、需设置分布排序键。 分布排序键”（Distribution Key）：用于指定数据在分布式表中的分布方式，通常选择一个或多个列作为分布键，以确保数据按照这些列的值分布到不同的节点上，从而优化查询性能和负载均衡。 分桶字段 当数据库类型是Dorise、需设置分桶字段。 设置该字段为分桶字段，这个字段的值将影响数据在不同桶中的分布，从而对查询性能和负载均衡产生影响。 聚合key 当数据库类型是Dorise、需设置聚合key字段。 设置改字段为聚合字段，这些字段决定了数据的聚合方式，如SUM、MAX、MIN等，适用于数据预聚合场景 聚类类型 当数据库类型是Dorise、需选择聚合类型。 SUM：对数值列进行求和，适用于需要计算总量或累计值的场景。 REPLACE：用于替换Value列的值。当新数据的Key列与已有数据的Key列相同时，新数据的Value列会替换掉旧数据的Value列 MAX：找出数值列的最大值，适用于需要确定最大值的场景。 MIN：找出数值列的最小值，适用于需要确定最小值的场景。 分区key 当数据库类型是Dorise、需设置分区key。 “分区key”参数用于指定表的分区键 c.在“属性信息”页面，单击“创建关系”进入创建数据表之间关系。 参数名称 说明 当前表 默认选择上一步骤创建的物理表 当前字段 默认选择上一步骤创建的物理表的属性信息 关系 1:1表示此物理表数据在关联物理表中只有一条数据与之对应。 1:N表示此物理表数据在关联物理表中至少有一条数据与之对应。 N:1表示此物理表数据有多条数据与关联物理表中一条数据与之对应。 关联表 与同模型下已生效物理表进行关联 关联字段 与同模型下已生效物理表字段进行关联 6、 完成物理表基本信息后，单击“确定”，完成物理表信息创建。 后续步骤 您可进行物理表物化、上线转为已生效状态，已生效的物理表可在其他模块应用。

本文介绍申请数据权限功能，使用户可以快速熟悉申请数据权限页面的相关操作，以及如何申请数据权限。 前提条件 用户需要具有进入申请数据权限页面的功能权限。 注意事项 申请数据权限功能仅限企业版。 用户仅限申请已加入团队内实例的相关数据权限。 每次申请仅限一种类型的资源粒度，资源粒度从大到小依次是实例、库/模式、表。 数据权限支持按资源粒度继承，即用户拥有大粒度资源的数据权限时，则默认拥有该大粒度资源下所有小粒度资源的数据权限。 用户多次申请同一资源、同一权限后，最后一次申请的结果会覆盖之前申请的结果。 操作步骤 用户可以在个人中心>我的权限 页面中点击“申请数据权限”按钮进入申请数据权限页面，也可以在安全协作>工单列表>数据权限工单页面中点击“申请数据权限”按钮进入申请数据权限页面。 申请数据权限的具体流程如下： 1. 选择资源的粒度。进入申请数据权限页面后，默认选择库/模式授权，也可以点击其他标签，切换到其他资源粒度，每次申请仅限一种类型的资源粒度。 2. 选择申请的资源。在左侧”请选择“框内勾选想要申请的资源的复选框，然后点击中间的”>“按钮，即可将当前页选中的资源加入到右侧”已选择“框内。如果想要删除右侧“已选择”框内的资源，可以勾选想要删除的资源的复选框，然后点击中间的“<”按钮，即可将右侧“已选择”框内的资源删除。每次申请可以同时选择多个资源。 3. 选择权限的类型，根据用户需要，勾选对应权限类型的复选框。每次申请可以同时选择多种权限。 4. 选择权限的有效期。权限有效期默认为1个月，根据用户需要，可以选择3个月、半年或者1年，也可以点击时间栏，直接指定权限的到期时间。 5. 确定信息无误后，点击页面右下角的“提交申请”按钮即可提交工单，并跳转到数据权限工单页面，查看当前工单的流程。

本节为Oracle RAC搭建最佳实践的Oracle数据库初始化进行说明。 静默安装 与grid和database安装相同，预先准备response文件，然后以静默安装的方式进行Oracle数据库的配置。 response文件位于：/u01/app/oraclehome/assistants/dbca/dbca.rsp 。 切换到oracle用户，并切换到 /u01/app/oraclehome ，执行dbca命令： [oracle@racnode01 oraclehome]$ dbca silent createDatabase responseFile assistants/dbca/dbca.rsp 以上安装命令可能会失败，需要检查执行日志文件，处理失败项，然后跳过非关键问题后继续执行： [oracle@racnode01 oraclehome]$ dbca silent ignorePrereqFailure createDatabase responseFile assistants/dbca/dbca.rsp 检查状态 检查配置的ora.racdb.db是否正常 ONLINE 。 [root@racnode01 ~] crsctl stat res t ... ora.racdb.db 1 ONLINE ONLINE racnode01 Open,HOME/u01/app/o raclehome,STABLE 2 ONLINE ONLINE racnode02 Open,HOME/u01/app/o raclehome,STABLE 安装完成之后，可以通过Oracle相关测试工具（如 swingbench ），进行功能、性能、稳定性测试。

本文介绍运营后台数据概览页面内容。 概览 用户可在数据概览页面查看本租户的应用使用数据，包括累计数据与趋势图。 操作步骤 1. 在产品页左侧导航栏中，选择【设置】的【运营管理】，进入运营后台 2. 在运营后台左侧导航栏中，选择【系统管理】的【数据概览】 3. 在【数据概览】页面，展示了本租户应用的使用数据，包括 1. 累计数据：总活跃用户数、总活跃次数、用户平均交互次数、总新增用户数、累计使用用户数 2. 趋势及占比数据：活跃用户数趋势图、活跃次数趋势图、用户平均活跃次数趋势图、新增用户数趋势图、累计用户数趋势图、各应用交互占比、3 日留存率趋势图、7 日留存率趋势图 4. 用户可选择指定时间范围内的数据进行查询。

本章节主要介绍迁移文件时加解密。 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式： AES256GCM加密 KMS加密 AES256GCM加密 目前只支持AES256GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下。 源端支持的数据源：OBS、FTP、SFTP、HDFS（使用二进制格式传输时支持）、HTTP（适用于OBS共享文件的下载场景）。 目的端支持的数据源：OBS、FTP、SFTP、HDFS（使用二进制格式传输时支持）。 下面分别以OBS导出加密文件时解密、导入文件到OBS时加密为例，介绍AES256GCM加解密的使用方法。其它数据源的使用方法一样。 源端配置解密 创建从OBS导出文件的CDM作业时，源端数据源选择OBS后，在“源端作业配置”的“高级属性”中，配置如下参数。 a.加密方式：选择“AES256GCM”。 b.数据加密密钥：这里的密钥必须与加密时配置的密钥一致，否则解密出来的数据会错误，且系统不会提示异常。 c.初始化向量：这里的初始化向量必须与加密时配置的初始化向量一致，否则解密出来的数据会错误，且系统不会提示异常。 这样CDM从OBS导出加密过的文件时，写入目的端的文件便是解密后的明文文件。 目的端配置加密 创建CDM导入文件到OBS的作业时，目的端数据源选择OBS后，在“目的端作业配置”的“高级属性”中，配置如下参数。 a.加密方式：选择“AES256GCM”。 b.数据加密密钥：用户自定义密钥，密钥由长度64的十六进制数组成，不区分大小写但必须64位，例如“DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B”。 c.初始化向量：用户自定义初始化向量，初始化向量由长度32的十六进制数组成，不区分大小写但必须32位，例如“5C91687BA886EDCD12ACBC3FF19A3C3F”。 这样在CDM导入文件到OBS时，目的端OBS上的文件便是经过AES256GCM算法加密后的文件。

本章节主要介绍数据治理中心的数据目录的数据权限简介。 为确保数据使用安全可控，使用数据表需要先申请权限。数据权限模块为用户提供便捷的权限管控能力，提供可视化申请审批流程，并可以进行权限的审计和管理。提高数据安全的同时，还可以方便用户进行数据权限管控。

本文主要介绍云日志服务的数据加工概述。 云日志服务提供可扩展、高可用的数据加工服务。数据加工服务可用于日志的规整、富化、流转、脱敏和过滤等。 加工流程 日志加工服务通过如下三个步骤完成加工处理。 1. 通过消费组对源日志单元的已分词日志进行读取。 2. 通过加工规则对读取到的每一条分词日志进行加工处理。 3. 将加工后的日志写入目标日志单元。加工完成后，您可以在目标日志单元中查看加工后的日志。 功能特性 数据规整：由于日志数据通常来自于不同的系统组件、应用程序或设备，其格式和结构可能各异，导致在对日志数据进行分析、搜索和可视化时出现困难。数据规整可针对混乱格式的日志进行字段提取、格式转换，统计为一致性格式以便后续的处理与分析。 数据脱敏：对日志数据中的敏感信息（如密码、手机号、地址等）进行脱敏。 数据过滤：针对关键业务或服务的日志进行过滤，用于后续重点分析等场景。 加工语法 加工SPL（Semistructured Processing Language）是云日志服务数据加工使用的类Linux Shell脚本，支持对半结构化的日志数据做结构化处理，比如信息提取、字段操作、数据过滤等操作。SPL提供类类似Linux Shell脚本的管道级联功能，其中第一级管道前的表达式是数据源（可以是索引过滤条件或其他SPL语句的命名引用），后面的多级管道前后都是SPL命令表达式。

创建数据集 1. 创建普通存储数据集：登录智算服务控制台，单击左侧菜单栏的“智算资产”>“我的数据集”菜单项进入我的数据集模块，点击“基础数据集“菜单，选择“普通/智算存储”，点击【+创建普通/智算存储数据集】，进入创建页面 2. 填写相关配置并提交。基础数据集创建目前仅支持使用自有存储，创建完成后，自动为您创建拼接此数据后缀的容器内挂载路径。 类型 字段 说明 存储基本信息 数据集名称 数据集名称，不超过25个字符 存储基本信息 描述 数据集描述信息 权限配置 可见范围 读写权限范围，支持设置仅文件所有者可见、指定工作空间内的算法开发角色可见两种权限策略 存储位置 自有ZOS存储 您租户账号下的自有ZOS存储，若您还未创建，您可点击【去创建】跳转到存储控制台进行创建。 存储桶：选择您自有的ZOS存储桶名称； 数据源路径：您对应存储的具体的目录路径，您可根据提示示例进行填写，平台会对您填写路径的存在性进行校验，若校验不通过会进行提示，并禁止提交。对于管理员用户，此项选填；对于普通子用户，此项必填。 存储位置 自有HPFS存储 您租户账号下的自有HPFS存储，若您还未创建，您可点击【去创建】跳转到存储控制台进行创建。 HPFS名称：选择您自有的HPFS名称； 数据源路径：您对应存储的具体的目录路径，您可根据提示示例进行填写，平台会对您填写路径的存在性进行校验，若校验不通过会进行提示，并禁止提交。对于管理员用户，此项选填；对于普通子用户，此项必填。 存储位置 自有其他存储 您租户账号下的自有其他存储。 数据源路径：您对应存储的具体的目录路径，您可根据提示示例进行填写，此项必填。 特殊配置 设为保密数据集 仅存储委托的自有ZOS与自有HPFS类型支持该功能。 对于某些行业客户，在大模型训练时会涉及到保密数据的处理问题，比如需要避免用户下载到本地造成数据泄漏，针对这类问题，平台推出了特色的数据保密功能，以应对用户下载或拷贝保密数据的行为。相关配置仅对管理员用户开放，且此功能会增加操作复杂度和资源占用，建议您只在需要的时候使用。 开启此按钮后，可将本数据集设置为保密数据集。开启保密后，此数据集将：1）仅支持读操作，禁止写操作，运行后的输出将单独写入到保密输出路径；2）数据挂载到容器时禁止访问外网。 特殊配置 设为保密数据集的输出路径 若您已设置保密数据集，您还需再创建一个保密输出数据集，专门用于存储保密数据集的输出，并谨慎设置相关权限：1）若您使用了自有存储，建议您只给自己或管理者读写权限（需前往对应存储控制台设置），即您需要确保这是由您完全可控的存储；2）此数据集的可见范围（在本页面的权限配置设置），建议您只对需要的用户设置。 特殊配置 云审计 您设置好保密输出路径后，会自动弹出云审计设置，此设置对使用了对应保密输出数据集的任务生效。开启云审计后，使用此保密输出数据集的任务在容器内的命令操作将会被记录并发送到云审计，并标识拷贝等高危操作。 特殊配置 审计频率 您开启云审计后，会弹出审计频率设置。审计频率是指审计上报的时间间隔，支持输入11440的整数。如果您设置的时间间隔太短，频繁扫描将会增加损耗，如时间太长，上报的事件信息较密集，建议您根据业务实际情况填写合适的时间。

本文主要介绍云日志服务中如何管理数据加工任务。 本文介绍如何在云日志服务控制台上管理数据加工任务，包括查看任务详情与状态，修改、启动、停止和删除任务，设置告警等操作。 查看任务详情 1. 登录云日志服务控制台。 2. 左侧点击【日志加工】菜单，进入日志加工列表页面。 3. 在加工任务列表中，点击目标加工任务名称进入加工任务概览页面，即可查看加工任务各详情状态。 停止任务 对于状态为运行中的任务，您可在数据加工概览页面，单击停止，即可停止当前加工任务。 启动任务 对于状态为已终止的任务，您可在数据加工概览页面，单击启动，即可启动当前加工任务。 重新执行 任何状态的任务都支持重新执行。您可在在数据加工概览页面，点击重新执行按钮，数据加工任务将会重新执行。 修改加工规则 1. 在数据加工概览页面，点击修改规则按钮。 2. 在修改页面，您可根据需求修改数据加工规则，步骤请参考创建数据加工任务。 删除任务 在数据加工概览页面，点击删除，即可删除当前数据加工任务。