本文介绍缓存实例的数据被删除找回问题 如果缓存实例执行了备份操作，实例的数据被删除后，可通过备份文件对数据进行恢复，但是恢复会覆盖备份时间到恢复这段时间的写入数据。 实例通过控制台的“备份与恢复”功能将已备份的数据恢复到缓存实例中，参考备份还原 另外，如果缓存实例被删除，实例中原有的数据将被删除，实例的备份数据也会删除，请谨慎操作。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 图名称 是 可以直接选择需要导入的图，也支持手动输入图名称。如需新建GES图，请前往GES管理控制台进行新建。 元数据 是 可以直接选择对应的元数据，也支持手动输入元数据的OBS路径。 边数据集 是 可以直接选择对应的边数据集，也支持手动输入边数据集的OBS路径。 点数据集 否 可以直接选择对应的点数据集，也支持手动输入点数据集的OBS路径。若不选择，则以边数据集中的点作为点数据集来源。 边处理 是 边处理支持如下几种方式： 允许重复边 不允许重复，忽略之后的重复边 不允许重复，覆盖之前的重复边 离线导入 否 是否离线导入，取值为是或者f否，默认取否。 是：表示离线导入，导入速度较快，但导入过程中图处于锁定状态，不可读不可写。 否：表示在线导入，相对离线导入，在线导入速度略慢，但导入过程中图并未锁定，可读不可写。 重复边忽略Label 否 重复边的定义，是否忽略Label。取值为是或者否，默认取是。 是：表示重复边定义不包含Label，即用<源点，终点>标记一条边，不包含Label。 否：表示重复边定义包含Label，即用<源点，终点，Label>标记一条边。 日志存储路径 否 用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。

项目 描述 数据目录 数据目录的具体路径。 容量 数据目录的容量。 已用容量配额 数据目录已用容量配额，当HBlock的使用空间一旦达到配额，就立刻阻止数据写入，不允许再使用超出配额的空间。 容量配额 数据目录的容量配额。可以点击“修改”按钮，修改容量配额。 健康状态 数据目录的健康状态： 健康：数据目录可正常读写，且数据目录所在磁盘使用率未超过阈值（系统默认值为95%）。 警告：数据可读，但存在以下情况的任意一种：慢盘；数据目录所在磁盘使用率超过阈值（系统默认值为95%）；磁盘剩余空间不足1GiB；HBlock对这个目录停写；数据目录配额使用率超过阈值（系统默认值为95%）；数据目录配额为0。 错误：数据目录无法访问，原因可能是：所在磁盘出现I/O错误导致无法读写，数据目录未正确挂载等。 说明 如果“健康状态”为“警告”或“错误”，显示警告或错误的详细信息。 默认数据目录 是否是默认存储LUN数据的数据目录（仅单机版支持）。 存储池 数据目录所属的存储池（仅集群版支持）。 数据服务 数据目录对应的ds进程（仅集群版支持）。 说明 数据目录加入存储池后才会展示ds进程。 操作 点击“修改”，可以修改数据目录的容量配额。 点击“默认路径”，可以修改数据默认存储的数据目录（仅单机版支持）。 点击“移除”，可以移除数据目录。 注意 对于单机版，如果要移除的数据目录为默认数据目录，需要先指定其他数据目录为默认数据目录，才可以移除该目录。 强制移除数据目录，有产生数据丢失风险。 如果执行日志采集后，产生的日志保存在HBlock的数据目录内，移除数据目录时删除数据目录上的HBlock数据，该日志将被删除。 有数据目录正在移除时，不能再移除其他数据目录。如果必须移除，请使用强制移除，但有丢数据风险。

本页为时延类常见问题。 数据迁移/同步全量阶段进度条不更新的原因是什么？ DTS在全量阶段停滞、进度条不动的原因可能有以下几种： 单表数据量过大：在全量同步过程中，进度条的计算和表数量相关，如果源库中某些表数据量过大，需要耗费较长来进行迁移，则可能导致数据库进度条长时间不动。 网络问题：在全量同步过程中，如果网络带宽过小或网络不稳定，可能会导致同步进度长时间不动。可以通过检查网络带宽和网络连接情况来判断是否是网络问题导致的问题。 数据库负载过高：在全量同步过程中，如果源库或目标库的负载过高，同步进度就会受到影响。数据库所在的磁盘有读写上限，当同一时间有其他任务占用过多的读写带宽，会影响DTS数据传输服务的任务进度。 数据迁移/同步增量阶段延迟高的原因是什么？ 增量过程中延迟很高的原因可能有以下几种： 网络问题：在增量同步过程中，如果网络带宽不足或网络不稳定，同步的延迟就会相应增高。 数据变更频繁：在增量同步过程中，如果源库中的数据变更频繁，同步的延迟就会很高。这是因为每次数据变更都需要同步到目标库，如果变更频繁，同步的延迟就会累积，从而导致同步延迟增加。 磁盘读写速度慢：如果目标库的磁盘读写速度不足，写入同步数据的速度就会受到影响，从而导致同步延迟增加。 DTS系统规格限制：如果需要同步的数据过大，而DTS没有选用相应的规格来支撑，可能会导致增量阶段延迟过大。 针对上述延迟高的原因，可以采取以下措施来减少同步延迟： 增加网络带宽或优化网络连接，以提高数据传输速度和稳定性。 等待任务完成数据同步，优化业务逻辑，减少短时间内密集写入和大事务写入。 优化目标库磁盘，可以考虑优化磁盘分区或使用SSD等方式来提高磁盘读写速度。 重新购买更大规格的同步实例，以支撑现有业务。

本章节主要介绍脚本开发的新建脚本流程。 数据开发模块的脚本开发功能支持在线编辑、调试、执行脚本，开发脚本前请先新建脚本。 数据开发模块目前支持新建以下几种脚本，用户可根据需要新建相应的脚本。 DLI SQL脚本 Hive SQL脚本 DWS SQL脚本 Spark SQL脚本 Flink SQL脚本 RDS SQL脚本 Presto SQL脚本 Shell脚本 Python脚本 前提条件 已完成新建数据连接和新建数据库等操作。 操作步骤 新建目录（可选，如果已存在可用的目录，可以不用新建目录） 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”。 3. 在脚本目录中，右键单击目录名称，选择“新建目录”。 4. 在弹出的“新建目录”页面，配置如下表所示的参数。 脚本目录参数 参数 说明 目录名称 脚本目录的名称，只能包含英文字母、数字、中文字符、“”、“”，且长度为1~64个字符。 选择目录 选择该脚本目录的父级目录，父级目录默认为根目录。 5. 单击“确定”，新建目录。

本章节主要介绍数据开发的解决方案。 背景信息 解决方案定位于为用户提供便捷的、系统的方式管理作业，更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案 升级解决方案 删除解决方案 新建解决方案 在数据开发模块的开发页面，新建一个解决方案，设置解决方案名称并选择业务相关的作业。 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 脚本开发”或“数据开发 > 作业开发”。 3. 在左侧目录上方，单击解决方案图标，显示解决方案目录。 4. 单击解决方案目录上方的，弹出“新建解决方案”页面，配置如下表所示的参数。 解决方案参数 参数 说明 名称 自定义解决方案的名称。 选择作业 选择解决方案包含的作业。 5. 单击“确定”，新建的解决方案将在左侧目录中显示。

本章节主要介绍 ALM27006 数据目录磁盘空间使用率超过阈值的告警。 告警解释 系统每30秒周期性检查DBServer主节点的数据目录磁盘空间使用率，并把实际数据目录磁盘空间使用率和阈值相比较，当数据目录磁盘空间使用率连续5次（可配置，默认值为5）超过设定阈值时，系统将产生此告警。数据目录磁盘空间使用率的阈值设为80%（可配置，默认值为80%）。 平滑次数可配置，当平滑次数为1，数据磁盘目录空间使用率小于或等于阈值时，该告警恢复；当平滑次数大于1，数据磁盘目录空间使用率小于阈值的90%时，该告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27006 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 设备分区名 产生告警的磁盘分区。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程不可用。 当数据目录磁盘空间使用率超过90%时，数据库进入只读模式并发送告警“数据库进入只读模式”，业务数据丢失。

本章节主要介绍如何恢复租户数据。 操作场景 租户的数据默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，需要手动恢复。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.在左侧租户列表，单击某个租户节点。 3.检查租户数据状态。 a.在“概述”，查看“基本信息”左侧的圆圈，绿色表示租户可用，灰色表示租户不可用。 b.单击“资源”，查看“Yarn”或者“HDFS 存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 c.单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 d.任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4.单击“恢复租户数据”。 5.在“恢复租户数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

本页介绍如何查看数据同步实例的同步详情。 查看数据同步实例详情，包含：查看结构同步、查看增量数据同步详情。 操作步骤 1、点击实例ID进入【实例管理】页面。 在【数据同步】实例列表页面选择相应的实例数据，并点击实例ID进入【实例管理】页面。 2、进入详情页面。 在【实例管理】页面点击“实例详情”，进入【实例管理】页面。 3、进入【同步详情】页面查看同步详情。 在左侧菜单栏点击“同步详情”，进入【同步详情】页面。 结构同步 点击“结构同步”菜单，查看当前数据同步实例的结构同步详情，包括迁移的Tables、Views、Functions、Procedures的对象名称、源库、目标库、状态等信息。 点击页面中列表右方“操作”列的“创建语法”按钮，可以查看同步对象的创建语句。 增量数据同步 点击“增量数据同步”菜单，查看当前数据同步任务增量部分的同步详情，包括源库、目标库、当前的DTS拉取位点和源库最新位点、是否延迟等状态信息。 注意 1. 位点用BINLOGNAME:BINLOGPOSITION的格式记录。DTS拉取位点表示DTS的当前进度，与源库最新位点如果有差距就存在延迟。可以通过这两个值查看延迟有多大。 2. 如果针对同步的库未同步的表作了数据变更操作，DTS拉取位点由于过滤条件的存在，该值不会进行更新，但源库最新位点会实时更新。

本章节主要介绍记录数据迁移入库时间。 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 创建表/文件迁移作业 1.在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图 配置作业 2.单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图 配置字段映射 3.选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${timestamp()}，更多时间宏变量请参见下表。 图 添加字段 表 时间变量宏定义具体展示 宏变量 含义 实际显示效果 ${dateformat(yyyyMMdd)} 以yyyyMMdd格式返回当前时间。 20171016 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyyMMdd HH:mm:ss)} 以yyyyMMdd HH:mm:ss格式返回当前时间。 20171016 09:00:00 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 以yyyyMMdd HH:mm:ss格式返回时间，时间为当前时间的前一天。 20171015 09:00:00 ${timestamp()} 返回当前时间的时间戳，即1970年1月1日（00:00:00 GMT）到当前时间的毫秒数。 1508115600000 ${timestamp(10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 说明 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 4.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 5.单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 6.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfstocdm 基本参数 源目录或文件 “列表文件”选择为“否”时，才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 /user/cdm/ 基本参数 文件格式 传输数据时所用的文件格式，可选择以下文件格式： CSV格式：以CSV格式解析源文件，用于迁移文件到数据表的场景。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式：以Parquet格式解析源文件，用于HDFS数据导到表的场景。 CSV格式 基本参数 列表文件 当“文件格式”选择为“二进制格式”时，才有该参数。 打开列表文件功能时，支持读取OBS桶中文件（如txt文件）的内容作为待迁移文件的列表。该文件中的内容应为待迁移文件的绝对路径（不支持目录），文件内容示例如下： /mrs/jobproperties/application16348916046210014/job.properties /mrs/jobproperties/application16348916046210029/job.properties 是 基本参数 列表文件源连接 当“列表文件”选择为“是”时，才有该参数。可选择列表文件所在的OBS连接。 OBStestlink 基本参数 列表文件OBS桶 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶名。 01 基本参数 列表文件或目录 当“列表文件”选择为“是”时，才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。 /0521/Lists.txt 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。当“文件格式”选择为“CSV格式”时，才有该参数。 n 高级属性 字段分隔符 文件中的字段分隔符，使用Tab键作为分隔符请输入“t”。当“文件格式”选择为“CSV格式”时，才有该参数。 , 高级属性 首行为标题行 “文件格式”选择“CSV格式”时才有该参数。在迁移CSV文件到表时，CDM默认是全部写入，如果该参数选择“是”，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 否 高级属性 源文件处理方式 作业执行成功后对源端文件的处理方式： 不处理。 重命名：作业执行成功后将源文件重命名，添加用户名和时间戳的后缀。 删除：作业执行成功后将源文件删除。 不处理 高级属性 启动作业标识文件 选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业，否则会挂起等待一段时间，等待时长在下方“等待时间”中配置。 ok.txt 高级属性 过滤类型 满足过滤条件的路径或文件会被传输，该参数有“无”、“通配符”和“正则表达式”三种选择。 高级属性 路径过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录，符合过滤器规则的目录，允许进行迁移。支持配置多个路径，中间使用“,”分隔。 input 高级属性 文件过滤器 “过滤类型”选择“通配符”时，用通配符过滤目录下的文件，符合过滤器规则的文件，允许进行迁移。支持配置多个文件，中间使用“,”分隔。 .csv 高级属性 时间过滤 选择“是”时，可以根据文件的修改时间，选择性的传输文件。 是 高级属性 起始时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间大于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss,90,DAY))} 表示：只迁移最近90天内的文件。 20190701 00:00:00 高级属性 终止时间 “过滤类型”选择“时间过滤器”时，可以指定一个时间值，当文件的修改时间小于该时间才会被传输，输入的时间格式需为“yyyyMMdd HH:mm:ss”。 该参数支持配置为时间宏变量，例如${timestamp(dateformat(yyyyMMdd HH:mm:ss))} 表示：只迁移修改时间为当前时间以前的文件。 20190730 00:00:00 高级属性 创建快照 如果选择“是”，CDM读取HDFS系统上的文件时，会先对待迁移的源目录创建快照（不允许对单个文件创建快照），然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照，CDM作业完成后，快照会被删除。 否 高级属性 加密方式 “文件格式”选择“二进制格式”时，该参数才显示。 如果源端数据是被加密过的，则CDM支持解密后再导出。这里选择是否对源端数据解密，以及选择解密算法： 无：不解密，直接导出。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 AES256GCM 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成，且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成，且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 MD5文件名后缀 “文件格式”选择“二进制格式”时，该参数才显示。 校验CDM抽取的文件，是否与源文件一致。 .md5

参数名称 说明 模型名称 逻辑模型所需转换的物理模型的名称。您可以输入一个新的模型名称，系统会创建该新模型，也可以在下拉列表中选择一个已有的模型。 模型名称只能包含中文、英文字母、数字和下划线。 数据连接类型 在下拉列表中选择数据连接类型。如果没有所需要的数据类型，您可以参考 数据连接 选择所需要的数据连接。同一个关系模型一般建议使用统一的数据连接。 如果您还未创建与数据源之间的数据连接，请前往DataArts Studio管理中心控制台进行创建。 数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建。 选择表 全部：将所有的逻辑实体转换为物理表。 部分：将选择的部分逻辑实体转换为物理表。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS和POSTGRESQL的模式。该参数仅支持DWS和POSTGRESQL连接类型。 描述 描述信息。支持的长度为0~600个字符。

本页为您介绍数据传输服务DTS的产品优势。 不停服 基于天翼云DTS的不停服迁移/同步，是一种实时的在线逻辑处理过程。整个过程中，原始的应用系统在不停止的情况下，可以继续对外提供服务。如果原始数据量较多，可以选择合适的网络带宽，确保源数据快速地迁移至目标库。 针对新旧数据库异构的情况，天翼云DTS在工作时，底层进行了数据对象的转换映射，整个过程对用户来说是完全透明的，降低了用户的使用难度。 高性能 天翼云DTS通过数据合并、并行回放、数据压缩等技术，实现高效的数据传输能力，远高于数据库原生复制。 数据合并：合并算法执行后，单主键只有一条记录，可以减少数据量，同时提高并行回放的效率，例如：insert + update > insert， update + delete > delete。 并行回放：通过并行回放，加速数据入库的速度。 数据压缩：通过压缩数据降低数据传输延时，可适应跨数据中心的窄带宽网络。 稳定可靠 断点续传：当天翼云DTS组件、数据源或者网络发生故障，故障恢复后，支持断点续传，保证数据迁移/同步等DTS任务的继续进行。

本节介绍天翼云手机在数据存储方面的常见问题。 数据信息是否可以长期保持？ 已购的天翼云手机会保留数据。切换天翼云手机的使用平台，或重装APP均不影响，用户的文档和相关设置等数据信息在付费情况下是可以长期保持。如果退订天翼云手机或者欠费拆机，数据将不再保留且无法恢复。 云手机内的个人信息和数据安全吗？ 云手机内个人信息和数据存在云端，不落地，传输经过多重加密，有效防止被恶意泄露或窃取，提供云上安全防护保障。

本文介绍如何查看弹性文件服务的监控数据。 操作场景 文件系统创建后自动接入云监控内，无需手动开通。通过云监控查看文件系统的监控数据，您可以了解到文件系统的使用情况。 操作步骤 方式一：通过文件系统详情页查看 1. 登录天翼云控制中心，单击管理控制台左上角的，选择地域。 2. 选择“存储>弹性文件服务SFS Turbo”，进入SFS Turbo文件系统列表页面。 3. 点击文件系统名称进入详情页，页面下方点击“监控图表”即可查看监控指标。 方式二：通过云监控服务控制台查看 1. 登录天翼云控制中心，单击管理控制台左上角的，选择地域。 2. 单击“管理与部署>云监控服务”，进入云监控控制台页面。 3. 单击“云服务监控”下拉菜单，选择"弹性文件监控”。 4. 在弹性文件监控页面选定需要查看的文件系统名称，单击操作栏下面的“查看监控图标”，即可进入监控数据页面。 5. 您可以选择监控时间段，查看对应的弹性文件服务监控数据。也可以点击具体监控项图标右上角的“查看”按钮设定所需查看的监控时间段、周期等，获取想要的监控数据。 方式三：通过OpenAPI获取 弹性文件服务的监控指标支持通过云监控服务OpenAPI获取： 实时监控数据：查询指定文件系统的实时监控数据。 历史监控数据：查询指定时间段内的文件系统时序指标监控数据。 导出监控数据：导出指定时间段内的文件系统时序指标监控数据，导出格式为csv文件。

本页介绍天翼云TeleDB数据库的冷热数据转换语法。 热数据转冷数据语法 ALTER TABLE [分区主表名] ALTERPARTITION PARTITION [分区子表名] SET STORAGETYPE OSS STORAGEOPTION ( name1 val1, name2 val2, name3 val3…); STORAGE TYPE:：可以为OSS和LOCAL，OSS为远程对象存储，LOCAL为本地数据。 STORAGE OPTION： server 服务器名 filePath 对象存储全路径（不包括桶名） enableCache 是否使用缓存（true/false） 冷数据转热数据语法 ALTER TABLE [分区主表名] ALTERPARTITION PARTITION [分区子表名] SET STORAGETYPE LOCAL;

本章节主要介绍使用Hive加载HDFS数据并分析图书评分的实践。 MRS离线处理集群，可对海量数据进行分析和处理，形成结果数据，供下一步数据应用使用。 离线处理对处理时间要求不高，但是所处理数据量较大，占用计算存储资源较多，通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。 本实践基于天翼云翼MapReduce服务，用于指导您创建MRS集群后，使用Hive对原始数据进行导入、分析等操作，展示了如何构建弹性、低成本的离线大数据分析。 基本内容如下所示： 1. 创建MRS离线查询集群。 2. 将本地数据导入到HDFS中。 3. 创建Hive表。 4. 将原始数据导入Hive并进行分析。 场景描述 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query Language语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下： 海量结构化数据分析汇总。 将复杂的MapReduce编写任务简化为SQL语句。 灵活的数据存储格式，支持JSON，CSV，TEXTFILE，RCFILE，SEQUENCEFILE，ORC（Optimized Row Columnar）这几种存储格式。 本实践以某图书网站后台用户的点评数据为原始数据，导入Hive表后通过SQL命令筛选出最受欢迎的畅销图书。

数据盘扩容 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要变更规格的桌面所在行，点击“管理”，点击“数据盘扩容”操作； 4.根据需求选择扩容的规格； 5.点击“立即创建”，即完成桌面的数据盘扩容。 注意 1、通过资源包开通的桌面，数据盘扩容会直接扣取资源包资源；通过单实例开通的桌面，数据盘扩容需要付费才能完成扩容。 2、数据盘扩容，系统将自动重启以完成配置。 添加数据盘 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要添加数据盘的桌面所在行，点击“管理”，点击“添加数据盘”操作； 4.根据需求选择添加数据盘的规格； 5.点击“立即创建”，即完成添加数据盘。 注意 1、通过资源包开通的桌面，添加数据盘会直接扣取资源包资源；通过单实例开通的桌面，需要付费才能完成添加数据盘。 2、添加数据盘，系统将自动重启以完成配置。 退订/删除数据盘 通过单实例开通的桌面添加数据盘后是支持退订操作，通过资源包开通的桌面添加数据盘后是支持删除操作。 1.进入“AI云电脑（政企版）”控制台； 2.展开“AI云电脑管理”菜单栏，选择“桌面管理”，进入“桌面管理”页面； 3.在需要退订/删除数据盘的桌面所在行，点击“管理”，点击“退订数据盘”或“删除数据盘”操作； 4.根据需求选择需退订/删除的数据盘； 5.点击“确定”，即完成数据盘的退订/删除。 注意 由于退订/删除操作会导致数据盘清理，数据盘数据将无法恢复，因此，在退订/删除前请您做好数据备份工作。 通过资源包开通的数据盘，进行删除数据盘会直接将存储资源释放回资源包； 通过单实例开通的数据盘，进行退订数据盘将根据使用时长扣除已消费金额，余额将原路返还到您的付款账户； 通过其他渠道开通的数据盘，如需退订数据盘请咨询对应受理渠道。

本章节为您介绍数据识别相关内容。 数据识别模块包含数据标签和敏感数据两个子模块。主要功能是将 API 响应体解析后 ，根据标签对敏感数据进行识别，并展示识别到的敏感数据。 数据识别 API安全网关系统内置25个敏感数据标签，可识别身份证、手机号、邮箱、银行卡等敏感数据，并且支持用户自定义添加标签和识别规则。 新增标签 1.登录API安全网关。 2.在左侧导航栏选择“数据识别 > 数据标签”，进入数据标签页面，即可查看系统内现有的标签。 说明 列表默认展示标签名称、分类、分级、来源、描述。 来源为“系统内置”的标签不允许删除和编辑识别规则。 3.单击页面左上角的“新增”按钮，即可开始新增标签。 字段 说明 标签名称 自定义标签名称，名称不可重复。 启用状态 默认启用，可禁用；禁用后不识别该标签。 分类 默认未分类，可下拉选择内置分类。 分级 默认未分级，可下拉选择内置分级。 描述 自定义描述说明。 识别规则—正则表达式 填写正则表达式，系统可根据正则表达式识别标签。 4.填写完成后单击“保存”即可完成标签新增。

态势感知的数据来源。 态势感知（专业版）基于云上威胁数据和云服务采集的威胁数据，通过大数据挖掘和机器学习，分析并呈现威胁态势，并提供防护建议。 一方面采集全网流量数据，以及安全防护设备日志等信息，通过大数据智能AI分析采集的信息，呈现资产的安全状况，并生成相应的威胁告警。 另一方面汇聚企业主机安全（Host Security Service，HSS）、Web应用防火墙（Web Application Firewall，WAF）等安全防护服务上报的告警数据，从中获取必要的安全事件记录，进行大数据挖掘和机器学习，智能AI分析并识别出攻击和入侵，帮助用户了解攻击和入侵过程，并提供相关的防护措施建议。 态势感知（专业版）通过对多方面的安全数据的分析，为安全事件的处置决策提供依据，实时呈现完整的全网攻击态势。

告警属性 告警ID 告警级别 是否自动清除 12033 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 磁盘慢盘故障，导致业务性能下降，阻塞业务的处理能力，严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。 处理步骤 检查磁盘状态 1. 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 2. 查看该告警的详细信息，查看定位信息中“主机名”字段和“磁盘名”字段的值，获取该告警产生的故障磁盘信息。 3. 确认上报告警的节点是否为虚拟化环境。 是，执行步骤4。 否，执行步骤7。 4. 请检查虚拟化环境提供的存储性能是否满足硬件要求，检查完毕之后执行步骤5。 5. 以root 用户登录告警节点，执行df h命令，查看输出内容是否包含“磁盘名”字段的值。 是，执行步骤7。 否，执行步骤6。 6. 执行lsblk命令，是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是，执行步骤7。. 否，执行步骤22。 7. 以root用户登录上报告警的节点，执行 lsscsi grep"/dev/sd[x]" 命令查看磁盘的设备信息，判断磁盘是否建立了RAID。 说明 其中 /dev/sd[x] 为步骤2中获取到的上报告警的磁盘名称。 例如执行： lsscsi grep "/dev/sda" 如果命令执行结果第三列显示ATA、SATA或者SAS，说明磁盘没有建立RAID；显示其他信息，则该磁盘可能建立了RAID。 是，执行步骤12。 否，执行步骤8。 8. 执行 smartctl i /dev/sd[x] 命令检查硬件是否支持smart。 例如执行： smartctli /dev/sda 如果命令执行结果中包含“SMART support is: Enabled”，表示磁盘支持smart；执行结果中包含“Device does not support SMART”或者其他，表示磁盘不支持smart。 是，执行步骤9。 否，执行步骤17。 9. 执行 smartctl H all /dev/sd[x] 命令查看smart的基本信息，判断磁盘是否正常。 例如执行： smartctlH all /dev/sda 查看命令执行结果的“SMART overallhealth selfassessment test result”内容，如果是“FAILED”，表示磁盘故障，需要更换；如果为“PASSED”，需要进一步看“ReallocatedSectorCt”或者“Elements in grown defect list”项的计数，如果大于100，则认为磁盘故障，需要更换。 是，执行步骤10。 否，执行步骤18。 10. 执行 smartctl l error H /dev/sd[x] 命令查看磁盘的GLIST列表，进一步继续判断磁盘是否正常。 例如执行： smartctll error H /dev/sda 查看命令执行结果的“Command/Featruename”列，如果出现“READ SECTOR(S)”或者“WRITE SECTOR(S)”表示磁盘有坏道；如果出现其他错误，表示磁盘电路板有问题。这两种错误均表示磁盘不正常，需要更换。 如果显示“No Errors Logged”，则表示没有错误日志，则可以触发磁盘smart自检。 是，执行步骤11。 否，执行步骤18。 11. 执行 smartctl t long /dev/sd[x] 命令触发磁盘smart自检。命令执行后，会提示自检完成的时间，在等待自检完成后，重新执行步骤9和步骤10，检查磁盘是否正常。 例如执行： smartctlt long /dev/sda 是，执行步骤17。 否，执行步骤18。 12. 执行 smartctl d [satscsi]+megaraid,[DID] H all /dev/sd[x] 命令检查硬件是否支持smart。 说明 [satscsi]表示磁盘类型，需要尝试以上两种类型。 [DID]表示槽位信息，需要尝试0～15。 例如依次执行： smartctld sat+megaraid,0 H all /dev/sda smartctld sat+megaraid,1 H all /dev/sda smartctld sat+megaraid,2 H all /dev/sda 依次尝试不同磁盘类型和槽位信息的命令组合，如果执行结果中显示“SMART support is: Enabled”，表示磁盘支持smart，记录命令执行成功时磁盘类型和槽位信息组合参数；如果尝试完以上所有的命令组合，执行结果都未显示“SMART support is: Enabled”，表示磁盘不支持smart。 是，执行步骤13。 否，执行步骤16。 13. 执行步骤12中记录的 smartctl d [satscsi]+megaraid,[DID] H all /dev/sd[x] 命令查看smart的基本信息，判断磁盘是否正常。 例如执行： smartctl d sat+megaraid,2 H all /dev/sda 查看命令执行结果的“SMART overallhealth selfassessment test result”内容，如果是“FAILED”，表示磁盘故障，需要更换；如果为“PASSED”，需要进一步看“ReallocatedSectorCt”或者“Elements in grown defect list”项的计数，如果大于100，则认为磁盘故障，需要更换。 是，执行步骤14。 否，执行步骤18。 14. 执行 smartctl d [satscsi]+megaraid,[DID] l error H /dev/sd[x] 命令查看硬盘的GLIST列表，进一步判断硬盘是否正常。 例如执行： smartctl d sat+megaraid,2 l error H /dev/sda 查看命令执行结果的“Command/Featruename”列，如果出现“READ SECTOR(S)”或者“WRITE SECTOR(S)”表示磁盘有坏道；如果出现其他错误，表示磁盘电路板有问题。这两种错误均表示磁盘不正常，需要更换。 如果显示“No Errors Logged”，则表示没有错误日志，则可以触发磁盘smart自检。 是，执行步骤15。 否，执行步骤18。 15. 执行 smartctl d [satscsi]+megaraid,[DID] t long /dev/sd[x] 命令触发磁盘smart自检。命令执行后，会提示自检完成的时间，在等待自检完成后，重新执行步骤13和步骤14，检查磁盘是否正常。 例如执行： smartctl d sat+megaraid,2 t long /dev/sda 是，执行步骤17。 否，执行步骤18。 16. 磁盘不支持smart，通常是因为配置的RAID卡不支持，此时需要使用对应RAID卡厂商的检查工具进行处理，然后执行步骤17。 例如LSI一般是MegaCLI工具。 17. 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，单击该告警操作列的“清除”，并继续观察该告警，查看同一块磁盘的告警是否会继续上报。 如果当前磁盘出现三次以上该告警，建议用户更换磁盘。 是，执行步骤18。 否，操作结束。

指标分类 指标名称 指标说明 磁盘占用率 实例数据磁盘使用量 该指标用于统计测量对象的实例数据磁盘已使用大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘总量 该指标用于统计测量对象的实例数据磁盘总大小，该值为实时值。 (单位：GB) 磁盘占用率 实例数据磁盘使用率 该指标用于统计测量对象的实例数据磁盘已使用百分比，该值为实时值。 (单位：%) 负载 死锁次数 该指标用于统计数据库发生事务死锁的次数，取该时间段的增量值。 (单位：次) 负载 80% SQL的响应时间 该指标用于统计数据库80% SQL的响应时间，该值为实时值。 (单位：us) 负载 95% SQL的响应时间 该指标用于统计数据库95% SQL的响应时间，该值为实时值。 (单位：us) 内核资源 buffer命中率 该指标用于统计数据库buffer命中率。 (单位：%)

Logstash部署在弹性云主机上时导入数据 当Logstash部署在同一VPC的弹性云主机时，导入数据的流程说明如下图所示。 Logstash部署在弹性云主机上时导入数据示意图 1.确保已部署Logstash的弹性云主机与待导入数据的集群在同一虚拟私有云下，已开放安全组的9200端口的外网访问权限，且弹性云主机已绑定弹性IP。 说明 如果同一个VPC内有多台服务器，只要其中一台绑定了弹性IP，其他的服务器可以不需要绑定弹性IP。通过绑定弹性IP的节点跳转到部署Logstash的节点即可 。 如果有专线或者VPN，也不需要绑定弹性IP。 2.使用PuTTY登录弹性云主机。 例如此服务器中存储了需要导入的数据文件“access20181029log”，文件存储路径为“/tmp/accesslog/”，此数据文件中包含的数据如下所示： All Heap used for segments 18.6403 MB All Heap used for doc values 0.119289 MB All Heap used for terms 17.4095 MB All Heap used for norms 0.0767822 MB All Heap used for points 0.225246 MB All Heap used for stored fields 0.809448 MB All Segment count 101 All Min Throughput indexappend 66232.6 docs/s All Median Throughput indexappend 66735.3 docs/s All Max Throughput indexappend 67745.6 docs/s All 50th percentile latency indexappend 510.261 ms 3.执行如下命令在Logstash的安装目录下新建配置文件logstashsimple.conf。 cd / / vi logstashsimple.conf 在配置文件logstashsimple.conf中输入如下内容。 input { 数据所在的位置 } filter { 数据的相关处理 } output { elasticsearch{ hosts > " "} } input：指明了数据的来源。实际请根据用户的具体情况来设置。 filter：对日志进行了提取和处理，将非结构化信息转换为结构化信息。 output：指明了数据的目的地址。 为集群中节点的内网访问地址和端口号。 当集群包含多个节点时，为了避免节点故障，建议将上述命令中 替换为该集群中多个节点的内网访问地址和端口号，多个节点的内网访问地址和端口号之间用英文逗号隔开，填写格式请参见如下示例。 hosts > ["192.168.0.81:9200","192.168.0.24:9200"] 当集群只包含一个节点时，填写格式请参见如下示例。 hosts > "192.168.0.81:9200" 以步骤2中“/tmp/accesslog/”的数据文件为例，输入数据文件从首行开始，且过滤条件保持为空，即不做任何数据处理操作。需导入数据的集群，其节点内网访问地址和端口号为“192.168.0.81:9200”。导入数据的索引名称为“myindex”。配置文件的示例如下所示，配置文件按实际数据情况修改完成后，输入“:wq”保存。 input { file{ path > "/tmp/accesslog/" startposition > "beginning" } } filter { } output { elasticsearch { hosts > "192.168.0.81:9200" index > "myindex" documenttype > "mytype" } } 如果集群开启了安全模式，则需要先下载证书。 a. 在集群基本信息页面下载证书。 详见下图：下载证书 b. 将下载的证书存放到部署logstash服务器中。 c. 修改配置文件logstashsimple.conf。 以步骤2中“/tmp/accesslog/”的数据文件为例，输入数据文件从首行开始，且过滤条件保持为空，即不做任何数据处理操作。跳转主机的公网IP和端口号为“192.168.0.227:9200”。导入数据的索引名称为“myindex”，证书存放路径为“/logstash/logstash6.8/config/CloudSearchService.cer”。配置文件的示例如下所示，配置文件按实际数据情况修改完成后，输入“:wq”保存。 input{ file { path > "/tmp/accesslog/" startposition > "beginning" } } filter { } output{ elasticsearch{ hosts > [" index > "myindex" user > "admin" password > "" cacert > "/logstash/logstash6.8/config/CloudSearchService.cer" } } 说明 password：登录安全集群的密码 。 4.执行如下命令将Logstash收集的弹性云主机的数据导入到集群中。 ./bin/logstash f logstashsimple.conf 5.登录云搜索服务管理控制台。 6.在左侧导航栏中，选择“集群管理”，进入集群列表页面。 7.在集群列表页面中，单击待导入数据的集群“操作”列的“Kibana”。 8.在Kibana的左侧导航中选择“Dev Tools”，单击“Get to work”，进入Console界面。 9.在已打开的Kibana的Console界面，通过搜索获取已导入的数据。 在Kibana控制台，输入如下命令，搜索数据。查看搜索结果，如果数据与导入数据一致，表示数据文件的数据已导入成功。 GET myindex/search

本文主要介绍可信数据空间与其他产品的关系。 与统一身份认证服务（IAM）的关系 统一身份认证服务（Identity and Access Management）为产品购买提供了天翼云统一入口鉴权功能。 与翼MapReduce服务的关系 MapReduce服务（MapReduce service）中的hive、doris数据可以作为数据资源接入到可信数据空间；可信数据空间可以利用MapReduce服务进行大数据加工处理。

本文介绍了透明数据加密（Transparent Data Encryption）功能。 功能简介 透明数据加密（Transparent Data Encryption）是通过对磁盘上存储的数据进行加密和解密来实现数据的保护。 透明： 当使用者在打开或编辑指定文件时，系统将自动对未加密的文件进行加密，对已加密的文件解密。文件在硬盘上是密文，在内存中是明文。一旦离开使用环境，由于应用程序无法得到自动解密的服务而无法打开，从而起到保护文件内容的效果。 加密： TDE使用openssl提供AES（Advanced Encryption Standard）算法来加密数据，并将密钥存储在数据库服务器的受信任位置，以确保安全性。 RDSPostgreSQL透明加密实现方案 RDSPostgreSQL通过用户在数据密钥服务中创建的对称主密钥来生成 DEK（Data Encryption Key）数据密钥密文与明文，通过DEK密钥对数据进行加密，通过DEK密文对DEK密钥进行加密。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

参数 参数类型 说明 示例 下级对象 userInfoList Array of Objects 账户topN数据 userInfoList processList Array of Objects 进程topN数据 processList packageList Array of Objects 软件topN数据 packageList portList Array of Objects 端口topN数据 portList selfStartList Array of Objects 自启动项topN数据 selfStartList 表 selfStartList

本页介绍天翼云TeleDB数据库元数据pgdatamaskmap的内容。 存储管理和配置数据脱敏策略。 名称 类型 定义 relid Oid 表的OID attnum int16 列号（属性编号） enable bool 是否启用数据掩码 option int32 数据掩码选项（见 DATAMASKKINDVALUE、DATAMASKKINDSTRPREFIX、DATAMASKKINDSTRPOSTFIX） datamask int64 数据掩码值 nspname NameData 模式的名称 tblname NameData 表的名称 maskfunc Oid 用户定义对象类型的数据掩码函数 defaultval text 默认值

参数名称 说明 字段名称 只能包含中文、英文字母、数字、左右括号、中划线和下划线，且以中文和英文字母开头。 维度属性的字段会自动显示所添加的维度的代理键名称，一般不需要修改。 字段英文名称 只能以英文字母开头，支持英文字母、数字、下划线。 数据类型 显示该维度的数据类型。 主键 选中时表示该字段为主键。 分区 选中时表示该字段为分区字段。 不为空 是否限制该字段不为空。 关联数据标准 如果您已创建数据标准，在“数据标准”列，单击按钮 可以选择一个数据标准与字段相关联。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下，将字段关联数据标准后，表发布上线后，就会自动生成一个质量作业，每个关联了数据标准的字段会生成一个质量规则，基于数据标准对字段进行质量监控，您可以前往DataArts Studio数据质量模块的“质量作业”页面进行查看。 如果您还未创建数据标准，请参见 关联维度 只有维度属性的字段需要绑定维度，度量属性的字段不需要进行此操作。 显示当前关联的维度名称。单击 可以更换关联的维度。 角色 只有维度属性的字段被添加多次时需要设置角色区分，度量属性的字段不需要进行此操作。 当同一个维度被添加多次时，需要设置不同的角色来加以区分。 描述 描述信息。

本章节将介绍如何创建Elasticsearch脱敏任务。 创建ES脱敏任务后，可以对指定Elasticsearch数据源中的表/列进行敏感信息脱敏。 前提 已在“资产列表”中完成了云资源委托授权。 已添加了ES资产，具体请参见大数据资产列表章节。 已在“敏感数据识别”中完成了敏感数据识别，具体操作请参见创建敏感数据识别任务章节。 操作步骤 1. 单击左上角的，选择区域或项目。 2. 在左侧导航树中，单击，选择“安全>数据安全中心”，进入数据安全中心总览界面。 3. 在左侧导航树中选择“数据脱敏”，并选择“ES脱敏”页签，进入ES脱敏页面。 4. 将“ES脱敏”开关打开，开启ES脱敏。 5. 单击“新建任务”，进入“数据源配置”页面，如下图所示，具体参数说明如下表所示。 参数名称 参数说明 任务名称 您可以自定义脱敏任务的名称。 任务名称需要满足以下要求： 1~255个字符。 字符可由中文、英文字母、数字、下划线或中划线组成。 数据源选择 选择数据来源。目前仅支持“Elasticsearch”。 数据源 说明 如果没有可使用的ES资产，可单击“添加ES源”，添加ES资产，具体的操作可参见添加大数据源资产。 Elasticsearch实例：选择脱敏数据所在的Elasticsearch实例。 数据源 说明 如果没有可使用的ES资产，可单击“添加ES源”，添加ES资产，具体的操作可参见添加大数据源资产。 索引(Index)：选择脱敏数据所在的索引。 数据源 说明 如果没有可使用的ES资产，可单击“添加ES源”，添加ES资产，具体的操作可参见添加大数据源资产。 Type：选择脱敏数据所在的Type。 数据源 说明 如果没有可使用的ES资产，可单击“添加ES源”，添加ES资产，具体的操作可参见添加大数据源资产。 Field：勾选后将该列数据拷贝到目标数据库。 此处还显示数据列的“目标数据类型”，“风险等级”。 6. 单击“下一步”，进入“脱敏算法配置”页面。 1. 勾选需要脱敏的Field。 2. 选择脱敏算法。脱敏算法更多详细信息请参见配置脱敏规则章节。 7. 可以点击“下一步”，进入“脱敏周期”页面，配置脱敏周期。 选择并设置脱敏任务的执行周期： 手动：由用户自行启动的，且基于脱敏规则执行脱敏任务。 每小时：每几个小时执行一次脱敏任务。 示例：如果需要每2小时执行一次脱敏任务，则此处设置为：02:00 每天：每天几点几分执行一次脱敏任务。 示例：如果需要每天12:00执行一次脱敏任务，则此处设置为：12:00:00 每周：每周几的几点几分执行一次脱敏任务。 示例：如果需要每周一的12:00执行一次脱敏任务，则此处设置为：每周一12:00:00 每月：每月几日几时执行一次脱敏任务。 示例：如果需要每月12日的12:00执行一次脱敏任务，则此处设置为：每月12日12:00:00 说明 如果设置每月31日执行一次脱敏任务，在当月日期少于31日的情况下，系统自动在当月最后一日执行任务。 8. 单击“下一步”，进入“数据目标配置”页面。 1. 选择“Elasticsearch实例”、“索引(Index)”，并输入“Type”。 如果输入的Type已存在，系统将刷新目标数据源中该Type中的数据。 如果输入的Type不存在，系统将自动在目标数据源中新建该名称的Type。 注意 如果需要填写已有的Type，请勿选择业务Type，以免影响业务。 2. 设置数据目标列名。 系统默认将生成与数据源列相同的名称，您可以保持默认名称，也可以根据需要进行修改。 9. 单击“完成”，完成脱敏规则的创建。

本节介绍数据集存储。 存储概述 数据集当前支持对象存储和并行文件两种类型。 对象存储 因对象存储产品本身不支持容量管理，因此数据集也无法进行容量管理。 并行文件 纳管并行文件类型数据集，其数据集容量和并行文件实例保持一致，在购买并行文件实例时，可以选择其容量。

您可使用开源CloudEvents Go SDK发布事件。 前提条件 1. 您已下载Goland等Go研发IDE。 2. 在go.mod中加入依赖。 plaintext require ( github.com/cloudevents/sdkgo/v2 v2.15.1 github.com/google/uuid v1.1.1 ) // 然后执行更新依赖 go mod tidy go mod vendor 注：sdkgo可参考使用版本2.15.1。 签名生成工具 示例代码如下： plaintext package main import ( "bytes" "crypto/hmac" "crypto/sha1" "encoding/base64" "hash" "io" "sort" "strings" ) // Request is used wrap http request type Request struct { Protocol string Port int Method string Pathname string Domain string Headers map[string]string Query map[string]string } // NewRequest is used shortly create Request func NewRequest() (req Request) { return &Request{ Headers: map[string]string{}, Query: map[string]string{}, } } func String(a string) string { return &a } func StringValue(a string) string { if a nil { return "" } return a } type Sorter struct { Keys []string Vals []string } func newSorter(m map[string]string) Sorter { hs : &Sorter{ Keys: make([]string, 0, len(m)), Vals: make([]string, 0, len(m)), } for k, v : range m { hs.Keys append(hs.Keys, k) hs.Vals append(hs.Vals, v) } return hs } // Sort is an additional function for function SignHeader. func (hs Sorter) Sort() { sort.Sort(hs) } // Len is an additional function for function SignHeader. func (hs Sorter) Len() int { return len(hs.Vals) } // Less is an additional function for function SignHeader. func (hs Sorter) Less(i, j int) bool { return bytes.Compare([]byte(hs.Keys[i]), []byte(hs.Keys[j])) < 0 } // Swap is an additional function for function SignHeader. func (hs Sorter) Swap(i, j int) { hs.Vals[i], hs.Vals[j] hs.Vals[j], hs.Vals[i] hs.Keys[i], hs.Keys[j] hs.Keys[j], hs.Keys[i] } / Get the string to be signed according to request @param request which contains signed messages @return the signed string / func GetStringToSign(request Request) (result string) { return String(getStringToSign(request)) } func getStringToSign(request Request) string { resource : StringValue(request.Pathname) queryParams : request.Query // sort QueryParams by key var queryKeys []string for key : range queryParams { queryKeys append(queryKeys, key) } sort.Strings(queryKeys) tmp : "" for i : 0; i < len(queryKeys); i++ { queryKey : queryKeys[i] tmp tmp + "&" + queryKey + "" + StringValue(queryParams[queryKey]) } if tmp ! "" { tmp strings.TrimLeft(tmp, "&") resource resource + "?" + tmp } return getSignedStr(request, resource) } func getSignedStr(req Request, canonicalizedResource string) string { temp : make(map[string]string) for k, v : range req.Headers { if strings.HasPrefix(strings.ToLower(k), "xceb") { temp[strings.ToLower(k)] StringValue(v) } } hs : newSorter(temp) // Sort the temp by the ascending order hs.Sort() // Get the canonicalizedOSSHeaders canonicalizedHeaders : "" for i : range hs.Keys { canonicalizedHeaders + hs.Keys[i] + ":" + hs.Vals[i] + "n" } // Give other parameters values // when sign URL, date is expires date : StringValue(req.Headers["date"]) contentType : StringValue(req.Headers["contenttype"]) contentMd5 : StringValue(req.Headers["contentmd5"]) signStr : StringValue(req.Method) + "n" + contentMd5 + "n" + contentType + "n" + date + "n" + canonicalizedHeaders + canonicalizedResource return signStr } func GetSignature(stringToSign string, secret string) (result string) { h : hmac.New(func() hash.Hash { return sha1.New() }, []byte(StringValue(secret))) io.WriteString(h, StringValue(stringToSign)) signedStr : base64.StdEncoding.EncodeToString(h.Sum(nil)) return String(signedStr) }