本章节主要介绍配置OBS目的端参数。 作业中目的连接为配置OBS连接时，即导入数据到云服务OBS时，目的端作业参数如下表所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket2 基本参数 写入目录 写入数据到OBS服务器的目录，目录前面不加“/”。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 directory/ 基本参数 文件格式 写入后的文件格式，可选择以下文件格式： CSV格式：按CSV格式写入，适用于数据表到文件的迁移。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，CDM会原样写入文件，不改变原始文件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 基本参数 重复文件处理方式 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复，可选择如下处理方式： 替换重复文件 跳过重复文件 停止任务 跳过重复文件 高级属性 加密方式 选择是否对上传的数据进行加密，以及加密方式： 无：不加密，直接写入数据。 KMS：使用数据加密服务中的KMS进行加密。如果启用KMS加密则无法进行数据的MD5校验。 AES256GCM：使用长度为256byte的AES对称加密算法，目前加密算法只支持AES256GCM（NoPadding）。该参数在目的端为加密，在源端为解密。 KMS 高级属性 KMS ID 写入文件时加密使用的密钥，“加密方式”选择“KMS”时显示该参数。单击输入框后面的，可以直接选择在数据加密服务中已创建好的KMS密钥。 当使用与CDM集群相同项目下的KMS密钥时，不需要修改下面的“项目ID”参数。 当用户使用其它项目下的KMS密钥时，需要修改下面的“项目ID”参数。 53440ccb3e73470098b571ff5476e621 高级属性 项目ID KMS ID所属的项目ID，该参数默认值为当前CDM集群所属的项目ID。 当“KMS ID”与CDM集群在同一个项目下时，这里的“项目ID”保持默认即可。 当“KMS ID”使用的是其它项目下的KMS ID时，这里需要修改为KMS所属的项目ID。 9bd7c4bd54e5417198f9591bef07ae67 高级属性 数据加密密钥 “加密方式”选择“AES256GCM”时显示该参数，密钥由长度64的十六进制数组成。 请您牢记这里配置的“数据加密密钥”，解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B 高级属性 初始化向量 “加密方式”选择“AES256GCM”时显示该参数，初始化向量由长度32的十六进制数组成。 请您牢记这里配置的“初始化向量”，解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F 高级属性 复制ContentType属性 “文件格式”为“二进制”，且源端、目的端都为对象存储时，才有该参数。 选择“是”后，迁移对象文件时会复制源文件的ContentType属性，主要用于静态网站的迁移场景。 归档存储的桶不支持设置ContentType属性，所以如果开启了该参数，目的端选择写入的桶时，必须选择非归档存储的桶。 否 高级属性 换行符 文件中的换行符，默认自动识别“n”、“r”或“rn”。“文件格式”为“二进制格式”时该参数值无效。 n 高级属性 字段分隔符 文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 , 高级属性 写入文件大小 源端为数据库时该参数才显示，支持按大小分成多个文件存储，避免导出的文件过大，单位为MB。 1024 高级属性 校验MD5值 使用“二进制格式”传输文件时，才能校验MD5值。选择校验MD5值时，无法使用KMS加密。 计算源文件的MD5值，并与OBS返回的MD5值进行校验。如果源端已经存在MD5文件，则直接读取源端的MD5文件与OBS返回的MD5值进行校验。 是 高级属性 记录校验结果 当选择校验MD5值时，可以选择是否记录校验结果。 是 高级属性 校验结果写入连接 可以指定任意一个OBS连接，将MD5校验结果写入该连接的桶下。 obslink 高级属性 OBS桶 写入MD5校验结果的OBS桶。 cdm05 高级属性 写入目录 写入MD5校验结果的目录。 /md5/ 高级属性 编码类型 文件编码类型，例如：“UTF8”或“GBK”。“文件格式”为“二进制格式”时该参数值无效。 GBK 高级属性 使用包围符 “文件格式”为“CSV格式”，才有该参数，用于将数据库的表迁移到文件系统的场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello,world，使用包围符后，导出到CSV文件的时候数据为"hello,world"。 否 高级属性 首行为标题行 从关系型数据库导出数据到OBS，“文件格式”为“CSV格式”时，才有该参数。 在迁移表到CSV文件时，CDM默认是不迁移表的标题行，如果该参数选择“是”，CDM在才会将表的标题行数据写入文件。 否 高级属性 作业成功标识文件 当作业执行成功时，会在写入目录下生成一个标识文件，文件名由用户指定。不指定时默认关闭该功能。 finish.txt 高级属性 自定义目录层次 选择“是”时，支持迁移后的文件按照自定义的目录存储。即只迁移文件，不迁移文件所归属的目录。 是 高级属性 目录层次 自定义迁移后文件的存储路径，支持时间宏变量。 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 高级属性 自定义文件名 从关系型数据库导出数据到OBS，且“文件格式”为“CSV格式”时，才有该参数。 用户可以通过该参数自定义OBS端生成的文件名，支持以下自定义方式： 字符串，支持特殊字符。例如“cdm

产品 销售品名称 规格 功能描述 计费单位 标准资费 可信数据空间 数据空间服务平台 基础版 可信数据空间全部能力，包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括：可信数据空间服务（1套）、接入连接器（连接器数：5）、隐私计算（隐私计算节点：5）、数据沙箱（数据沙箱数：2）、数据交易平台（1套）、开发平台（开发租户数：5）适用于数据空间运营单位。 元/月 94000 可信数据空间 数据空间服务平台 升级版 可信数据空间全部能力，包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。升级版包括：可信数据空间服务（1套）、接入连接器（连接器数：5）、隐私计算（隐私计算节点：5）、数据沙箱（数据沙箱数：10）、数据交易平台（1套）、开发平台（开发租户数：20）适用于数据空间运营单位。 元/月 104000 可信数据空间 数据空间服务平台 企业版 可信数据空间全部能力，包括数据空间门户、隐私计算、数据沙箱、开发平台、区块链等能力。基础版包括：可信数据空间服务（1套）、接入连接器（连接器数：5）、隐私计算（隐私计算节点：5）、数据沙箱（数据沙箱数：50）、数据交易平台（1套）、开发平台（开发租户数：100）适用于数据空间运营单位。 元/月 129000 可信数据空间 连接器 连接器 提供可信数据空间的接入服务，包括数据上架、订单管理、数据使用等能力。适用于数据提供企业、数据需求企业使用。 元/月 13000

创建云搜索服务连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“云搜索服务”后单击“下一步”，配置云搜索服务连接参数。 名称：用户自定义连接名称，例如“csslink”。 Elasticsearch服务器列表：配置为云搜索服务集群（支持5.X以上版本）的连接地址、端口，格式为“ip:port”，多个地址之间使用分号（；）分隔，例如192.168.0.1:9200;192.168.0.2:9200。 用户名、密码：配置为访问云搜索服务集群的用户，需要拥有数据库的读写权限。 3.单击“保存”回到连接管理界面。 创建Oracle连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“Oracle”后单击“下一步”，配置Oracle连接参数： 名称：用户自定义连接名称，例如“oraclelink”。 数据库服务器地址、端口：配置为Oracle服务器的地址、端口。 数据库名称：选择要导出数据的Oracle数据库名称。 用户名、密码：Oracle数据库的登录用户名和密码，该用户需要拥有Oracle元数据的读取权限。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从Oracle导出数据到云搜索服务的任务。 详见下图：创建Oracle到云搜索服务的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建Oracle连接中的“oraclelink”。 −模式或表空间：待迁移数据的数据库名称。 −表名：待迁移数据的表名。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称：选择创建云搜索服务连接中的“csslink”。 −索引：待写入数据的Elasticsearch索引，也可以输入一个新的索引，CDM会自动在云搜索服务中创建。 −类型：待写入数据的Elasticsearch类型，可输入新的类型，CDM支持在目的端自动创建类型。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见配置云搜索服务目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“云搜索服务的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支持迁移过程中转换字段内容。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本章节主要介绍数据目录相关问题。 数据目录组件有什么用？ 数据目录的核心是通过元数据采集任务，采集并展示企业的数据资产地图，包括所有的元数据信息和数据血缘关系。 数据目录支持采集哪些对象的资产？ 数据目录目前支持采集的资产有：数据仓库服务（DWS）、MapReduce服务（MRS HBase）、MapReduce服务（MRS Hive）、MySQL、云数据库 RDS（DataArts Studio仅支持MySQL和PostgreSQL数据库）。 什么是数据血缘关系？ 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系，称之为数据的血缘关系。与人类社会中的血缘关系不同，数据的血缘关系还包含了一些特有的特征： 归属性 ：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性 ：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性 ：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。 层次性 ：数据的血缘关系是有层次的。对数据的分类、归纳、总结等对数据进行的描述信息又形成了新的数据，不同程度的描述信息形成了数据的层次。 如图所示数据血缘关系示例

关键词 说明 集群 集群指容器运行所需要的云资源组合，关联了若干服务器节点、负载均衡、专有网络等云资源。 专有版集群：需要创建1个Master（非高可用），或者3/5个Master（高可用）节点，以及若干Worker节点，可对集群基础设施进行更细粒度的控制，需要自行规划、维护、升级服务器集群。 托管版集群：只需创建Worker节点，Master节点由CCE创建并托管，具备操作简单、低成本无需运维等特点。 节点 一台服务器（可以是虚拟机实例或者物理服务器）已经安装了Docker Engine，可以用于部署和管理容器。容器的Agent程序会被安装到节点上并注册到一个集群上。 专有网络VPC 专有网络VPC是您自己独有的云上私有网络。您可以完全掌控自己的专有网络，例如选择IP地址范围、配置路由表和网关等，您可以在自己定义的专有网络中使用天翼云资源如云服务器、云数据库和负载均衡等。 安全组 安全组是一种虚拟防火墙，具备状态检测和数据包过滤能力，用于在云端划分安全域。安全组是一个逻辑上的分组，由同一地域内具有相同安全保护需求并相互信任的实例组成。 应用目录 应用目录功能集成了Helm，提供了Helm的相关功能，并进行了相关功能扩展，例如提供图形化界面。 编排模板 编排模板是一种保存Kubernetes YAML格式编排文件的方式。 Kubernetes Kubernetes是一个开源平台，具有可移植性和可扩展性，用于管理容器化的工作负载和服务，简化了声明式配置和自动化。 容器（Container） 打包应用及其运行依赖环境的技术，一个节点可运行多个容器。 镜像（Image） 容器镜像是容器应用打包的标准格式，封装了应用程序及其所有软件依赖的二进制数据。 镜像仓库（Image Registry） 容器镜像仓库是一种存储库，用于存储Kubernetes和基于容器应用开发的容器镜像。 管理节点（Master Node） 管理节点是Kubernetes集群的管理者，运行着的服务包括kubeapiserver、kubescheduler、kubecontrollermanager、etcd组件，和容器网络相关的组件。 工作节点（Worker Node） 工作节点是Kubernetes集群中承担工作负载的节点，可以是虚拟机也可以是物理机。工作节点承担实际的Pod调度以及与管理节点的通信等。一个工作节点上的服务包括Docker运行时环境、kubelet、KubeProxy以及其它一些可选的组件。 命名空间（Namespace） 命名空间为Kubernetes集群提供虚拟的隔离作用。Kubernetes集群初始有3个命名空间，分别是默认命名空间default、系统命名空间kubesystem和kubepublic，除此以外，管理员可以创建新的命名空间以满足需求。 容器组（Pod） Pod是Kubernetes部署应用或服务的最小的基本单位。一个Pod封装多个应用容器（也可以只有一个容器）、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 副本控制器（ReplicationController，RC） RC确保任何时候Kubernetes集群中有指定数量的Pod副本在运行。通过监控运行中的Pod来保证集群中运行指定数目的Pod副本。指定的数目可以是多个也可以是1个；少于指定数目，RC就会启动运行新的Pod副本；多于指定数目，RC就会终止多余的Pod副本。 副本集（ReplicaSet，RS） ReplicaSet（RS）是RC的升级版本，唯一区别是对选择器的支持，RS能支持更多种类的匹配模式。副本集对象一般不单独使用，而是作为Deployment的理想状态参数使用。 工作负载（Workload） 工作负载是在Kubernetes上运行的应用程序。 标签（Label） Labels的实质是附着在资源对象上的一系列Key/Value键值对，用于指定对用户有意义的对象的属性，标签对内核系统是没有直接意义的。标签可以在创建一个对象的时候直接赋予，也可以在后期随时修改，每一个对象可以拥有多个标签，但key值必须唯一。 服务（Service） Service是Kubernetes的基本操作单元，是真实应用服务的抽象，每一个服务后面都有很多对应的容器来提供支持，通过KubeProxy的ports和服务selector决定服务请求传递给后端的容器，对外表现为一个单一访问接口。 路由（Ingress） Ingress是授权入站连接到达集群服务的规则集合。您可以通过Ingress配置提供外部可访问的URL、负载均衡、SSL、基于名称的虚拟主机等。通过POST Ingress资源到API Server的方式来请求Ingress。Ingress Controller负责实现Ingress，通常使用负载均衡器，它还可以配置边界路由和其他前端，这有助于以高可用的方式处理流量。 配置项（ConfigMap） 配置项可用于存储细粒度信息如单个属性，或粗粒度信息如整个配置文件或JSON对象。您可以使用配置项保存不需要加密的配置信息和配置文件。 保密字典（Secret） 保密字典用于存储在Kubernetes集群中使用一些敏感的配置，例如密码、证书等信息。 卷（Volume） 和Docker的存储卷有些类似，Docker的存储卷作用范围为一个容器，而Kubernetes的存储卷的生命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。 存储卷（Persistent Volume，PV） PV是集群内的存储资源，类似节点是集群资源一样。PV独立于Pod的生命周期，可根据不同的StorageClass类型创建不同类型的PV。 存储卷声明（Persistent VolumeClaim，PVC） PVC是资源的使用者。类似Pod消耗节点资源一样，而PVC消耗PV资源。 存储类（StorageClass） 存储类可以实现动态供应存储卷。通过动态存储卷，Kubernetes将能够按照用户的需要，自动创建其所需的存储。 弹性伸缩（Autoscaling） 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 可观测性（Observability） Kubernetes可观测性体系包含监控和日志两部分，监控可以帮助开发者查看系统的运行状态，而日志可以协助问题的排查和诊断。 Helm Helm是Kubernetes包管理平台。Helm将一个应用的相关资源组织成为Charts，然后通过Charts管理程序包。 节点亲和性（nodeAffinity） 节点亲和性指通过Worker节点的Label标签控制Pod部署在特定的节点上。 污点（Taints） 污点和节点亲和性相反，它使节点能够排斥一类特定的Pod。 容忍（Tolerations） 应用于Pod上，允许（但并不要求）Pod调度到带有与之匹配的污点的节点上。 应用亲和性（podAffinity） 应用亲和性决定应用Pod可以和特定Pod部署在同一拓扑域。例如，对于相互通信的服务，可通过应用亲和性调度，将其部署到同一拓扑域（例如同一个主机）中，以减少它们之间的网络延迟。 应用反亲和性（podAntiAffinity） 应用反亲和性决定应用Pod不与特定Pod部署在同一拓扑域。例如，将一个服务的Pod分散部署到不同的拓扑域（例如不同主机）中，以提高服务本身的稳定性。 服务网格（Istio） Istio是一个提供连接、保护、控制以及观测服务的开放平台，兼容社区Istio开源服务网格，用于简化服务的治理，包括服务调用之间的流量路由与拆分管理、服务间通信的认证安全以及网格可观测性能力。

操作场景 态势感知（专业版）支持将数据实时投递至其他管道或其他云产品中，便于您存储数据或联合其它系统消费数据。配置数据投递后，态势感知（专业版）将定时将采集到的数据投递至其他管道或对应的云产品。 分类 投递场景 场景说明 数据投递场景 投递日志数据至其他数据管道 投递日志数据到其他数据管道。 数据投递场景 投递日志数据至OBS桶 投递日志数据到对象存储服务（Object Storage Service，OBS）。 数据投递场景 投递日志数据至LTS 投递日志数据到云日志服务（Log Tank Service，LTS）。 管理数据投递任务 管理数据投递任务 包括查看数据投递任务、挂起投递任务、启动投递任务、删除投递任务。 查看数据投递任务：查看数据投递任务相关信息。 挂起投递任务：数据投递成功后，如需停止投递，可挂起目标投递任务。 启动投递任务：数据投递任务停止投递后，如需重启投递，可启动目标投递任务。 删除投递任务：如果不再需要某个投递任务，可删除投递任务。 功能优势 操作简单：只需要在控制台中完成简单的配置，即可将态势感知（专业版）的数据投递至OBS等云产品。 数据集中：态势感知（专业版）已完成不同服务中的数据集中化，只需要将采集到的数据投递到OBS等云产品中，即可完成数据集中管理。 分类管理：态势感知（专业版）的采集数据时，对数据进行了分类管理。可以利用此功能，将不同项目、不同类型的数据投递到不同的云产品中。

Where子句中的时间宏变量 以SQOOP.CDM20171016表为例，该表中存在表示时间的列DS，如下图“表数据”所示： 假设当前时间为“20171016”，要导出前一天的数据（即DS‘20171015’），则可以在创建作业时配置“Where子句”为 DS'${dateformat(yyyyMMdd,1,DAY)}' ，即可将符合DS‘20171015’条件的数据导出。 时间宏变量和定时任务配合完成增量同步 这里列举两个简单的使用场景： 数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017xxxx”。 定时任务中，重复周期为1天，每天的凌晨0点执行定时任务。配置“Where子句”为 DS'${dateformat(yyyyMMdd,1,DAY)}' ，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 数据库表中存在表示时间的列time，类型为“Number”，插入的时间格式为时间戳。 定时任务中，重复周期为1天，每天的凌晨0点执行定时任务。配置“Where子句”为 time between {timestamp(1,DAY)} and {timestamp()} ，这样就可以在每天的凌晨0点导出前一天产生的所有数据。 其它的配置方式原理相同。

本文介绍数据迁移、同步、恢复这三个概念的区别。 数据迁移 数据迁移用于将数据从源实例迁移至目标实例，属于一次性任务，非实时、持续性任务。数据迁移适用于上云迁移场景，可以通过数据迁移服务（DTS）对同构或异构数据库实例之间进行数据迁移，也可以对云下数据库的数据迁移至云上数据库。 数据同步 数据同步用于源实例和目标实例之间的实时数据同步，属于持续性任务，任务创建后会一直进行同步，保持目标实例和源实例间的数据一致。数据同步适用于数据灾备、异地多活、数据分析等场景。数据同步一般仅支持同构数据库实例之间进行数据同步。 数据恢复 数据恢复是通过数据备份和日志备份，将数据从源实例的某个备份集恢复至目标实例，属于一次性任务。另外，通过数据备份和日志备份，可以将数据恢复到某个时间点。数据迁移虽然也能将数据复制到实例，但是其并不是利用备份来进行，而是通过数据迁移服务，且数据迁移无法实现将数据恢复至某个时间点的状态，数据恢复则可以。

本节主要介绍移除数据目录命令。 ./stor server { R rmpath } { p path } PATH & [ { n server } SERVERID ] [ {d deldata } ] [ f force ] 此命令用来移除HBlock服务器的数据目录。一次可以移除多个数据目录。 注意 对于单机版，如果要移除的数据目录为默认数据目录，需要先指定其他数据目录为默认数据目录，才可以移除。 如果执行日志采集后，产生的日志保存在HBlock的数据目录内，当移除该数据目录时选择删除数据目录上的HBlock数据，该日志将被删除。 有数据目录正在移除时，不能再移除其他数据目录。如果必须移除，请使用强制移除，但有丢数据风险。 对于集群版，该数据目录不属于任何存储池，才允许从移除该数据目录。否则不能移除，如果必须移除，请使用强制移除，但有丢数据风险。 参数 参数 描述 :: p PATH & 或 path PATH & HBlock服务器数据目录，一次可以移除多个数据目录，以英文逗号（,）分开。 n SERVERID 或 server SERVERID 指定移除数据目录的HBlock服务器ID。 如果未指定服务器ID，则为执行该命令的服务器移除数据目录。 d 或 deldata 移除HBlock服务器数据目录，并删除数据目录上的HBlock数据。 f 或 force 强制移除HBlock服务器数据目录。 注意 强制移除数据目录，可能造成数据丢失。

后续配置 添加防护对象后，网站访问流量将经过WAF保护，您还需要完善以下防护配置，才能实现针对性的网站防护。 配置 说明 相关文档 Web基础防护 覆盖OWASP常见安全威胁，支持SQL注入、XSS、文件包含、远程命令执行、目录穿越、文件上传、CSRF、SSRF、命令注入、模板注入、XML实体注入等攻击检测和拦截。 Web基础防护 CC防护 CC防护支持默认防护策略及灵活的自定义防护策略。自定义策略支持依托精准访问控制规则进行特征识别，并根据访问源IP/ SESSION控制访问频率，恶意流量通过阻断、人机验证等处置手段有效缓解CC攻击。 CC防护 BOT防护 提供公开类型、协议特征、自定义会话特征等多种判定维度的防护策略，支持根据BOT会话行为特征设置BOT对抗策略，对BOT行为进行处理，有效防护搜索引擎、扫描器、脚本工具等爬虫攻击。 BOT防护 精准访问控制 支持基于IP、URL、Referer、UserAgent等请求特征进行多维度组合，定义访问匹配条件过滤访问请求，实现针对性的攻击阻断。 精准访问控制 IP黑白名单 支持添加始终拦截与始终放行的黑白名单IP/IP地址段，增强防御准确性。 IP黑白名单 地域访问控制 支持针对地理位置的黑名单封禁，可指定需要封禁的国家、地区，阻断该区域的来源IP的访问。 地域访问控制 防敏感信息泄露 支持对网站返回的内容进行过滤（拦截、脱敏展示），过滤内容包括敏感信息、关键字和响应码。 防敏感信息泄露 网页防篡改 通过缓存页面和锁定访问请求，可避免页面被恶意篡改而带来的负面影响，对重点静态页面进行保护。 网页防篡改 Cookie防篡改 通过对Cookie中的字段增加完整性校验保护，WAF会新增一个Cookie字段用于篡改校验。 Cookie防篡改 隐私屏蔽 通过设置隐私屏蔽规则，可屏蔽用户隐私信息，避免用户隐私信息出现在系统记录的日志中。 隐私屏蔽

本节介绍了编译工程生产消费的主要内容点,包括引入依赖、绑定BindingKey、生产消息和消费消息。 前提条件 创建分布式消息服务RabbitMQ实例。 操作步骤 RabbitMQ是一个开源的消息队列中间件，支持生产者和消费者之间的异步通信。在上述资源准备完成后，接下来需要编译工程生产消费，主要分以下几个步骤： 1、编写生产者代码：编写一个生产者程序。该程序将连接到RabbitMQ服务器，并将消息发送到队列中。 2、编写消费者代码：编写一个消费者程序。该程序将连接到RabbitMQ服务器，并从队列中接收消息。 3、运行生产者和消费者：运行生产者程序，它将发送消息到队列中。然后运行消费者程序，它将从队列中接收并处理消息。 4、验证结果：检查生产者和消费者程序的输出，确保消息被正确发送和接收。 引入依赖 在使用RabbitMQ时，你需要在你的项目中引入相应的依赖。具体的依赖项可能会因你的项目和需求而有所不同。在使用RabbitMQ之前，请确保查阅官方文档以获取最新的依赖项和使用说明。 以Java编程语言为例，可以使用RabbitMQ的Java客户端库。你可以在Maven或Gradle构建工具中添加以下依赖项： com.rabbitmq amqpclient 5.7.0 也可以通过下载JAR包来引入依赖。 绑定BindingKey 在RabbitMQ中，绑定键（Binding Key）是用于绑定交换机（Exchange）和队列（Queue）的关键字。当一个消息被发送到交换机时，交换机会根据绑定键将消息路由到相应的队列中。 绑定键是在创建绑定（Binding）时指定的，它定义了消息应该如何被路由到队列。绑定键通常与消息的属性或内容进行匹配，以确定消息应该发送到哪个队列。 绑定键可以具有不同的形式，取决于使用的交换机类型。以下是一些常见的绑定键形式： 直接匹配（Direct Match）：绑定键与消息的路由键（Routing Key）完全匹配时，消息会被路由到相应的队列。 通配符匹配（Wildcard Match）：绑定键可以使用通配符进行模式匹配。常见的通配符有和

本文介绍如何基于Serverless集群快速部署Stable Diffusion应用。 基于 Serverless集群，你可以通过控制台或 kubectl 两种方式快速部署 Stable Diffusion 应用。本指南将带你完成部署，助你轻松通过外部端点访问 Stable Diffusion，开启 AIGC 文生图之旅。 前提条件 确保您已经成功创建了Serverless集群，并且能通过公网访问集群。 确保Serverless集群所在VPC已经开启公网NAT网关，Stable Diffusion 应用能访问公网。 背景信息 Stable Diffusion 是一种强大的、开源的潜在文生图扩散模型 (Latent TexttoImage Diffusion Model)。它由 Stability AI 公司及其合作者于 2022 年发布，并迅速成为人工智能生成内容 (AIGC) 领域中最具代表性的模型之一。其核心功能是根据用户提供的文本描述（Prompt），通过一个复杂的算法过程，生成与之相符的高质量、细节丰富的图像。 注意 天翼云不对第三方模型“Stable Diffusion”的合法性、安全性、准确性进行任何保证，天翼云不对由此引发的任何损害承担责任。 您应自觉遵守第三方模型“Stable Diffusion”的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。 操作步骤 步骤一：创建 Stable Diffusion应用 您可以通过控制台部署Stable Diffusion应用，也可以通过kubectl工具连接sce集群来创建Stable Diffusion应用。 1. 登录管理控制台，在左侧菜单栏选择“集群”。 2. 在集群列表页面，选择目标集群名称，然后在左侧菜单栏，选择“工作负载 ”下的“无状态”，选择“创建Deployment”。 3. 在创建Deployment页面，填写Deployment名称、副本数量等。 4. 在实例内容器项填写容器名称、镜像、镜像版本、cpu/内存限制等。 其中Stable Diffusion镜像要提前上传到容器镜像服务实例，点击选择镜像选择Stable Diffusion镜像即可。 5. 开启“容器健康检查”，勾选“就绪检查”。 6. 在服务配置项，创建服务，选择负载均衡类型，公网访问，配置容器端口、服务端口，点击“确定”。 7. 点击创建工作负载，等待Pod状态变为Running，Stable Diffusion应用部署完成。

本文向您介绍企业版VPN中路由设置的常见问题。 如何理解VPN连接中的对端网关和对端子网？ 对端网关和对端子网是两个相对的概念，在建立VPN连接时，从云的角度出发，VPC网络就是本地子网，创建的VPN网关就是本地网关，与之对接的用户侧网络就是对端子网，用户侧的网关就是对端网关。 对端网关IP就是用户侧网关的公网IP，对端子网指需要和VPC子网互联的子网。 Console界面在哪添加VPN远端路由？ 云端在VPN连接创建时会自动下发到达远端子网的路由，无需手动配置。 ECS主机多网卡是否需要添加去往线下网络的路由？ 如果客户使用主网卡与线下网络建立了VPN，不需要添加路由。 如果客户使用非主网卡与线下网络建立了VPN，需要添加去往线下网段的路由指向非主网卡的网关。 什么是NQA 什么是NQA 网络质量分析（Network Quality Analysis，NQA）是一种实时的网络性能探测和统计技术，可以对响应时间、网络抖动、丢包率等网络指标进行统计。NQA能够实时监视网络服务质量，在网络发生故障时进行有效的故障诊断和定位。 为什么需要NQA 随着运营商增值业务的开展，用户和运营商对QoS（Quality of Service）的相关要求越来越高，特别是在传统的IP网络承载语音和视频业务后，运营商与客户之间签订SLA（Service Level Agreement）成为普遍现象。 为了让用户看到承诺的带宽是否达到需求，运营商需要提供相关的时延、抖动、丢包率等相关的统计参数，以及时了解网络的性能状况。传统的网络性能分析方法（如Ping、Tracert等）已经不能满足用户对业务多样性和监测实时性的要求。NQA可以实现对网络运行状况的准确测试，输出统计信息。NQA可以监测网络上运行的多种协议的性能，使网络运营商能够实时采集到各种网络运行指标，例如：HTTP的总时延、TCP连接时延、DNS解析时延、文件传输速率、FTP连接时延、DNS解析错误率等。通过对这些指标进行控制，网络运营商可以为用户提供不同等级的网络服务。同时，NQA也是网络故障诊断和定位的有效工具。

本文介绍数据缓存概述。 对于一些数据量较大的业务数据，例如训练模型等，ECI支持创建数据缓存（DataCache）来提前拉取数据，将数据缓存到本地，以便在创建ECI实例时可以直接挂载使用，从而减少实例启动耗时，避免数据重复下载，节约使用成本。本文为您介绍什么是数据缓存，包括功能简介、应用场景、创建和使用方式、计费说明等。 功能简介 为了解决数据加载与容器镜像加载解耦的问题，ECI提供了数据缓存的功能。在创建业务应用前，您可以提前创建数据缓存，将业务应用所需的数据缓存到本地。在创建业务应用时，可以直接挂载使用缓存好的数据。 通过数据缓存功能，您无需将数据打包进应用镜像，从而避免因数据变更而频繁更新镜像；也无需从远端的仓库下载数据，避免因下载数据导致应用启动过慢。 数据缓存流程 通过创建一个带有数据盘的ECI(中转任务实例)，拉取相关数据集和模型到数据盘后，将数据盘制作成快照。在使用数据盘的过程，即是从快照创建数据盘的过程，将创建好的数据盘给用户实例挂载上。 数据缓存生命周期 状态说明： 状态 说明 操作 Creating 创建中 资源初始化，如创建ECI实例和云盘 Loading 缓存数据中 从数据源加载数据过程 Available 创建成功 快照创建完成，可用使用数据缓存，支持更新所属Bucket、数据源、保留时长、大小等 Failed 创建失败 资源初始化失败或数据源加载失败 Updating 更新中 更新Bucket、数据源、保留时长、大小过程中 UpdateFailed 更新失败 支持更新所属Bucket、数据源、保留时长、大小等

本节介绍了通过数据盘创建数据盘镜像的流程等内容。 操作场景 数据盘镜像是只包含用户业务数据的镜像，您可以通过创建数据盘镜像将云主机数据盘上的业务数据保存。数据盘镜像可用来创建新的云硬盘，从而实现用户业务数据的迁移。 如果您有以下使用场景，建议通过数据盘镜像来实现。 云主机上的业务数据迁移到另一个账号。 实现方式：A账号将数据盘制作成数据盘镜像，共享给B账号，然后B账号使用数据盘 镜像创建新的数据盘。 场景示例：通过制作数据盘镜像，将快到期云主机的磁盘数据导出。 背景知识 通过云主机的数据盘创建数据盘镜像的过程如下：从现有数据盘开始，挂载至云主机实例，初始化数据盘并写入数据，创建数据盘镜像，并最终创建新的数据盘，如下图所示。 数据盘镜像使用流程 前提条件 云主机已挂载数据盘，并且云主机处于开机或关机状态。 如未挂载，请参考“《云硬盘操作指南》 > 快速入门 > 挂载云硬盘”挂载数据盘。 用于创建数据盘镜像的数据盘，磁盘容量需≤1TB。 数据盘容量大于1TB时，不支持创建数据盘镜像，此时请选择创建整机镜像。 操作步骤 1.登录IMS控制台。 登录控制台。 选择“镜像服务”。进入镜像服务页面。 2.创建数据盘镜像。 单击右上角的“创建私有镜像”，进入创建私有镜像页面。 在“镜像类型”区域，选择镜像的创建方式为“数据盘镜像”。 镜像源选择“云主机”，在云主机已挂载的磁盘列表中选择一块数据盘。 在“配置信息”区域，输入镜像名称，选择企业项目，并根据需要输入镜像的描述和标签。 加密属性依据数据盘而定，使用未加密的数据盘创建的私有镜像为未加密的私有镜像。在创建镜像时不可更改此属性，创建成功后，可以通过区域内复制更改加密属性。 单击“立即创建”。 根据界面提示，确认镜像参数。阅读并勾选协议，单击“提交申请”。 返回私有镜像列表，等待数据盘镜像创建成功。 3.返回私有镜像列表，查看创建的数据盘镜像。

本章节主要介绍配置Oracle源端参数。 作业中源连接为配置Oracle数据库连接，源端作业参数如下表所示。 表 Oracle作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明 SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如select from table a; select from table b。 不支持with语句。 不支持注释 ，比如""，“/”。 不支持增删改操作，包括但不限于以下操作： load data delete from alter table create table drop table l into outfile select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的帐号是否有元数据查询的权限。 说明 该参数支持配置通配符（），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： 表示导出所有以“SCHEMA”开头的数据库。 表示导出所有以“SCHEMA”结尾的数据库。 表示数据库名称中只要有“SCHEMA”字符串，就全部导出。 SCHEMAE 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的帐号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据。 说明 表名支持配置通配符（），实现导出以某一前缀开头或者以某一后缀结尾的所有表（要求表中的字段个数和类型都一样）。 例如： 表示导出所有以“table”开头的表。 表示导出所有以“table”结尾的表。 表示表名中只要有“table”字符串，就全部导出。 table 高级属性 抽取分区字段 “使用SQL语句”选择“否”时，显示该参数，表示抽取数据时使用该字段进行数据切分，CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段，例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面，用户也可以直接输入抽取分区字段名。 说明 抽取分区字段支持CHAR、VARCHAR、LONGVARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型，建议该字段带有索引。 当选择CHAR、VARCHAR、LONGVARCHAR抽取分区字段类型时，字段值不支持ASCII字符代码表之外的字符，不支持中文字符。 id Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据。 DS'${dateformat(yyyyMMdd,1,DAY)}' 分区字段是否允许空值 是否允许分区字段包含空值。 是 按表分区抽取 从Oracle导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的Oracle表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dbatabpartitions 和dbatabsubpartitions 的SELECT权限。 否 表分区 输入需要迁移数据的Oracle表分区，多个分区以&分隔，不填则迁移所有分区。 如果有子分区，以“分区.子分区”的格式填写，例如“P2.SUBP1”。 P0&P1&P2.SUBP1&P2.SUBP3 作业拆分字段 使用该字段将作业拆分为多个子作业并发执行。 拆分字段最小值 表示抽取数据时“作业拆分字段”的最小值。 拆分字段最大值 表示抽取数据时“作业拆分字段”的最大值。 子作业个数 根据“作业拆分字段”的最小值和最大值限定的数据范围，将作业拆分为多少个子作业执行。 说明 Oracle作为源端时，如果未配置“抽取分区字段”或者“按表分区抽取”这2个参数，CDM自动使用ROWID进行数据分区。

功能 适用角色 操作步骤 会中改名（本人） 所有参会者 1. 进入会议，点击底部工具栏“成员”。 2. 在参会者列表中找到自己，鼠标悬停后点击“会中改名”。 3. 输入新的昵称，点击“确定”保存。 会中改名（他人） 主持人，联席主持人 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到目标用户，鼠标悬停后点击“更多”。 3. 选择“修改会中名称”，输入新的昵称并点击“确定”。 移至等候室 主持人，联席主持人 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到目标用户，鼠标悬停后点击“更多”。 3. 选择“移至等候室”完成操作。如果参会者的客户端版本过低，无法将其移至等候室，只能移出会议。 移出会议 主持人，联席主持人 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到目标用户，鼠标悬停后点击“更多”。 3. 选择“移出会议”完成操作。 主持人转让 主持人 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到要转让的成员，鼠标悬停后点击“更多”。 3. 点击“设为主持人”，转让立即生效。 主持人回收 会议创建者 1. 点击底部工具栏“成员”。 2. 在参会者列表中找到被转让主持人的成员，鼠标悬停后点击“更多”。 3. 点击“回收主持人”，权限回收。 静音/解除静音（本人） 所有参会者 1. 进入会议，在底部工具栏点击“麦克风”图标。 2. 点击一次为静音，再次点击为解除静音。 静音/解除静音（他人） 主持人，联席主持人 1. 点击底部工具栏“成员”。 2. 找到目标用户，鼠标进行悬停。 3. 选择“静音”或“解除静音”（解除静音需对方同意）。 设置联席主持人 主持人 1. 点击底部工具栏“成员”。 2. 找到目标用户，鼠标悬停后点击“更多”。 3. 选择“设为联席主持人”，立即生效。 回收联席主持人 主持人 1. 点击底部工具栏“成员”。 2. 找到已是联席主持人的用户，鼠标悬停后点击“更多”。 3. 选择“回收联席主持人”，权限回收。 邀请打开视频 主持人，联席主持人 1. 点击底部工具栏“成员”。 2. 找到关闭摄像头的用户，鼠标悬停后点击“更多”。 3. 选择“邀请打开视频”（邀请打开视频需对方同意）。 关闭视频 主持人，联席主持人 1. 点击底部工具栏“成员”。 2. 找到打开摄像头的用户，鼠标悬停后点击“更多”。 3. 选择“关闭视频”，立即生效。 停止共享 主持人，联席主持人 1. 点击底部工具栏“共享屏幕”右侧的上三角箭头按钮。 2. 从上拉菜单中选择“停止当前的共享”。 3. 确认操作后，当前共享会立即终止。

开源CloudEvents 未提供C++SDK，但您可以通过发送一个http请求的形式来完成发送事件。 前提条件 1. 您的运行环境已安装libcurl、boost依赖库。支持c++11及以上，若不支持修改对应代码。 2. 下载eventBridgecppsdk.zip，查看示例代码。 签名生成工具 cpp include "EventSignHelper.h" include include include "crypt/hmac.h" include "crypt/sha1.h" include include using namespace std; string get(map m, const string &key) { string value; if (m.find(key) ! m.end()) { value m[key]; } return value; } string implode(const vector &vec, const string &glue) { string res; int n 0; for (const auto &str : vec) { if (n 0) { res str; } else { res + glue + str; } n++; } return res; } string uppercase(string str) { transform(str.begin(), str.end(), str.begin(), [](unsigned char c) { return toupper(c); }); return str; } bool startwith(string src, string prefix) { auto res mismatch(prefix.begin(), prefix.end(), src.begin()); return res.first prefix.end(); } void ltrim(string &s) { s.erase(s.begin(), findif(s.begin(), s.end(), [](unsigned char ch) { return !isspace(ch); })); } // trim from end (in place) void rtrim(string &s) { s.erase(findif(s.rbegin(), s.rend(), [](unsigned char ch) { return !isspace(ch); }) .base(), s.end()); } // trim from both ends (in place) void trim(string &s) { ltrim(s); rtrim(s); } string getCanonicalizedHeaders(const map &headers, const string &prefix "xceb") { stringstream result; for (const auto &item : headers) { if (startwith(item.first, prefix)) { string v item.second; trim(v); result query) { if (query.empty()) { return pathname; } vector tmp; tmp.reserve(query.size()); for (const auto &item : query) { tmp.pushback(string(item.first) + "" + item.second); } return pathname + "?" + implode(tmp, "&"); } string hmacsha1(const string &src, const string &key) { boost::uint8t hashval[sha1::HASHSIZE]; hmac ::calc(src, key, hashval); return base64::encodefromarray(hashval, sha1::HASHSIZE); } // 生成签名 string EventSignHelper::genSign(const string& httpMethod, const map & headers, const string& pathname, const map & query, const string& ak, const string& sk) { string contentmd5 get(headers, "contentmd5"); string contenttype get(headers, "contenttype"); string date get(headers, "date"); stringstream stringToSign; stringToSign << uppercase("POST") << "n" << contentmd5 << "n" << contenttype << "n" << date << "n"; stringToSign << getCanonicalizedHeaders(headers); stringToSign << getCanonicalizedResource(pathname, query); string sign hmacsha1(stringToSign.str(), sk); string token "ceb:" + ak + ":" + sign; return token; }

创建RDS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 2.连接器类型选择“云数据库 MySQL”后单击“下一步”，配置连接参数： 名称：用户自定义连接名称，例如：“rdslink”。 数据库服务器、端口：配置为RDS上MySQL数据库的连接地址、端口。 数据库名称：配置为RDS上MySQL数据库的名称。 用户名、密码：登录数据库的用户和密码。 说明 创建RDS连接时，“使用本地API”设置为“是”时，可以使用MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL的性能。 由于RDS上的MySQL默认没有开启LOAD DATA功能，所以同时需要修改MySQL实例的参数组，将“localinfile”设置为“ON”，开启该功能。 如果“localinfile”参数组不可编辑，则说明是默认参数组，需要先创建一个新的参数组，再修改该参数值，并应用到RDS的MySQL实例上。 3.单击“保存”回到连接管理界面。 创建整库迁移作业 1.两个连接创建完成后，选择“整库迁移 > 新建作业”，开始创建迁移任务，如下图所示。 图 创建整库迁移作业 作业名称：用户自定义整库迁移的任务名称。 源端作业配置 −源连接名称：选择上述 创建MySQL连接 中的“mysqllink”。 −模式或表空间：选择从本地MySQL的哪个数据库导出数据。 目的端作业配置 −目的连接名称：选择上述 创建RDS连接 中的“rdslink”。 −模式或表空间：选择将数据导入到RDS的哪个数据库。 −自动创表：选择“不存在时创建”，当RDS数据库中没有本地MySQL数据库里的表时，CDM会自动在RDS数据库中创建那些表。 −导入前清空数据：选择“是”，当RDS数据库中存在与本地MySQL数据库重名的表时，CDM会清除RDS中重名表里的数据。 −高级属性里的可选参数保持默认即可。 2.单击“下一步”，进入选择待迁移表的界面，您可以选择全部或者部分表进行迁移。 3.单击“保存并运行”，CDM会立即开始执行整库迁移任务。 作业任务启动后，每个待迁移的表都会生成一个子任务，单击整库迁移的作业名称，可查看子任务列表。 4.单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 整库迁移的作业没有日志，子作业才有。在子作业的历史记录界面单击“日志”，可查看作业的日志信息。

参数名 说明 数据源元数据已更新 当数据连接中元数据发生变化时，通过配置更新策略，设置数据目录中元数据的更新方式。 需要注意的是配置的更新、删除策略是作用在用户配置的数据库、数据表的范围内的。 勾选“仅更新数据目录中的元数据”：采集任务仅更新数据目录已经采集到的元数据。 勾选“仅添加新元数据”：采集任务仅采集数据源中存在，但是数据目录中不存在的元数据。 勾选“更新数据目录中的元数据、添加新元数据”：采集任务全量同步数据源中的元数据。 勾选“忽略更新、添加操作”：不采集数据源中的元数据。 数据源元数据已删除 当数据连接中元数据发生变化时，通过配置删除策略，设置数据目录中元数据的更新方式。 勾选“从数据目录中删除元数据”：当数据源中的某些元数据已经被删除，数据目录中也将同步删除对应的元数据。 勾选“忽略删除”：当数据源中的某些元数据已经被删除，数据目录中不同步删除对应元数据。

模型压缩旨在帮助客户在尽量不减少模型效果的前提下压缩模型大小，进而提升模型在推理调用时的性能。 前置条件 资源准备：本功能仅支持910b硬件。 模型准备：您需要先对支持评估的模型完成模型精调后，再在评估页面创建评估任务。 创建模型压缩任务 1. 您可通过以下方式使用： 1. 入口1：进入“模型工具”>“模型压缩”菜单，进入评估任务列表，点击【创建压缩任务】，进入创建页面； 2. 入口2：进入“智算资产”>“我的模型”菜单，在我的模型菜单页面中，找到支持压缩的模型，点击【压缩】按钮，进入到创建页面。 2. 进入创建压缩任务页面后，填写相关配置： 类型 字段 说明 基本信息 任务名称 压缩任务名称，不超过20个字符 基本信息 任务描述 该任务的描述，300个字符以内 模型配置 选择源模型 此处支持选择用户希望压缩的模型，目前仅支持Llama38BInstruct基座模型精调出的模型 模型配置 模型创建方式 选择压缩后模型的保存方式，支持保存为已有模型新版本（默认为最新版本）或保存为新模型（默认V1版本） 模型配置 选择已有模型/新模型名称 选择已有模型：同一模型各版本的基础模型需保持一致，已自动过滤不符合要求的模型； 新模型名称：保存为新模型的名称 压缩策略配置 压缩方法 选择压缩方法，支持W8A16与稀疏化： W8A16：WxAxCx中W、A、C分别代表模型权重（weight）、激活（activation）和键值缓存（kv cache），数字x代表模型压缩后相应部分的比特数。模型压缩过程后，高比特浮点数会映射到低比特量化空间，从而达到降低显存占用、提升推理性能等目的。 模型的推理性能收益均需要通过实际测试获得，表中策略类型仅做参考。W8A16的权重使用8位整数量化，但是激活值仍然保留较高的精度，通常是使用16位浮点数（FP16）或者混合精度（MixedPrecision）。这种方式相比于W8A8，可能会提供更好的模型准确性，但是代价是在激活值上保留了更高的精度，因此可能不会像 W8A8那样大幅度减少内存使用。 稀疏化：是指在深度学习模型中通过将模型参数中的一些元素设为零来减少模型的计算量和存储需求，从而实现模型轻量化的目的。稀疏化不仅能有效地压缩模型，还能够加速推理过程，尤其是在硬件资源有限的设备上（如嵌入式系统或移动设备）。通过算法判断模型权重中每个元素对精度结果的重要性，并将模型权重中对最终精度影响小的权重值置零的过程。 资源配置 集群 选择适合的集群 资源配置 队列 选择可用资源配额 资源配置 资源规格 选择资源规格类型，不同的算力规格对应不同的价格 3. 点击提交，创建压缩任务。

编辑数据连接 1.登录MRS控制台，在导航栏选择“数据连接”。 2.在数据连接列表的“操作列”，单击待编辑数据连接所在行的“编辑 ”。 3.参考上表 数据连接 修改参数。 如果选择的数据连接已经关联了集群，编辑后会将修改后的配置同步到对应的集群中。 删除数据连接 1.登录MRS控制台，在导航栏选择“数据连接”。 2.在数据连接列表的操作列，单击待删除数据连接所在行的“删除 ”。 如果选择的数据连接已经关联了集群，删除动作不会影响对应的集群。 创建集群时配置数据连接 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“自定义创建”。 4.在软件配置中，参考下表配置“元数据”，其他参数请参考创建自定义集群进行配置并创建集群。 数据连接参数说明 参数 参数说明 元数据 是否使用外部数据源存储元数据。 本地元数据： 元数据存储在集群本地。 数据连接：使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“数据连接”功能开启时，该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“数据连接”功能开启时，该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型： − RDS服务MySQL数据库 − 本地数据库 Ranger组件支持的数据连接类型： − RDS服务MySQL数据库 − 本地数据库 数据连接实例 当“数据连接类型”选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时，该参数有效。用于表示MRS集群与RDS服务数据库连接的名称，该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考 管理数据连接章节配置数据连接中的 数据连接前置操作 和 创建数据连接进行操作。 详见下图： 创建集群时配置数据连接

参数 类型 描述 是否必须 serverId String 要移除数据目录的服务器ID。 是 diskPaths Array of string 要移除的HBlock数据目录。一次可以移除多个数据目录。 是 force Boolean 是否强制移除数据目录。 注意 强制移除数据目录，可能造成数据丢失。 取值： true：强制移除数据目录。 false：不强制移除数据目录。 默认值为false。 否 deleteLocalData Boolean 是否删除数据目录上的数据。 取值： true：删除数据目录上的数据。 false：不删除数据目录上的数据。 默认值为false。 否

本节主要介绍了GPU加速型实例安装Tesla驱动及CUDA工具包的安装须知。 云主机已绑定弹性公网IP。 云主机未安装Tesla驱动以及CUDA工具包。 说明 从NVIDIA官网下载CUDA工具包进行安装，通常会同时自动安装一个和CUDA版本匹配的Tesla驱动，免去用户单独安装Tesla驱动的步骤。 但是如果云主机用作生产用途，请务必先单独从NVIDIA官网下载并安装匹配的Tesla驱动，然后在再安装CUDA工具包。 如果云主机已经安装了Tesla驱动，请检查当前驱动版本是否可用。如需安装新版本的驱动请卸载旧版本的Tesla驱动，避免因驱动程序冲突导致安装失败。 安装指引： Tesla驱动及CUDA工具包获取方式 安装NVIDIA驱动 Linux操作系统云主机安装Tesla驱动 Windows操作系统云主机安装Tesla驱动 安装CUDA驱动 Linux操作系统安装CUDA工具包 Windows操作系统安装CUDA工具包

本文介绍了如何通过数据管理服务将数据从天翼云关系数据库MySQL版导入和导出。 前提条件 操作用户拥有目标数据库的导入、导出权限。 目标数据库已是登录状态。 数据导入、导出功能支持的资源池请参考数据管理服务的资源池约束。 约束限制 数据导入功能支持的数据库类型：支持MySQL、PostgreSQL等数据库类型。 数据导入功能支持本地上传SQL文件、CSV文件（逗号分隔值）、TXT文件（逗号分隔值）。 数据导入功能支持的写入方式： INSERT INTO：插入数据，数据库会检查主键（PrimaryKey），如果出现重复会报错。 INSERT IGNORE INTO：插入数据，数据库会检查主键（PrimaryKey），如果表中已经存在相同的记录，则忽略当前新数据。 REPLACE INTO：插入替换数据，数据库会检查主键（PrimaryKey），如果数据库已经存在数据，则用新数据替换，如果没有数据效果则和INSERT INTO一样。 数据导出功能支持多种常见的数据格式：CSV（逗号分隔值）、SQL文件、TXT文件。 数据导出功能支持整表导出，也可以输入SQL语句进行定制导出确保只导出您所需的数据。 数据导出功能当前支持最大数据量100万行。 详细信息请参考数据导入介绍文档、 数据导出介绍文档。 操作步骤 数据导入 1. 登录数据管理服务的管理控制台。 2. 在左侧导航栏，单击 开发空间 > 数据导入，进入数据导入管理页面。 3. 单击数据导入按钮，弹出数据导入工单填写弹窗，工单需要输入的内容说明如下： 1. 目标数据库：数据库实例选择列表，数据来源于数据资产元数据管理中添加的数据库实例，支持MySQL、PostgreSQL。 2. 文件类型：可以选择csv、sql、txt文件类型其中之一。 3. 目标表：在选择目标数据库下，筛选导入的目标表。 4. 写入方式：可以选择INSERT INTO、INSERT IGNORE INTO、REPLACE INTO三种写入方式其中之一。 5. 附件上传：上传对应文件类型的文件。 6. 工单说明：描述工单备注内容。 4. 填写完数据导入工单后，单击提交按钮，即完成工单的提交，进入数据导入后台执行阶段。

2. 数据标注 对导入成功的数据，点击操作列【标注】进入标注页面，在标注详情页对数据进行微调和打标处理。页面左侧可对导入数据内容进行修改和撰写，页面右侧可对导入数据进行打标审核。 3. 数据管理 预览：对数据集进行预览； 发布：针对文本类数据集，标注完成后，可以选定数据集，点击【发布】，完成发布后的数据集才能供后续的训练使用； 推送到高速缓存：如果您希望训练过程中训练速度更快的话，可以选定数据集，点击【操作】，选择【推送到高速缓存】，该操作可将数据集从对象存储转存到并行文件系统中存储中进行加速。仅共享存储支持该功能； 制作副本：为此数据集制作副本，仅共享存储支持该功能； 导出数据：对数据集进行导出； 删除数据集：您可对不需要的数据集进行删除操作，对于自有存储，在本平台删除数据集不会删除底层存储。 4. 数据加速 平台通过Fluid等技术将数据从ZOS加速到本地缓存中，称为普通加速。是一种比HPFS更有性价比的数据加速方案，他只需要性价比极高的ZOS+智算平台提供的本地缓存即可完成数据吞吐量的提升。适用于规模中等的数据进行模型训练的场景。该功能支持范围有限，目前支持的资源池有：华北2。 前提条件是针对已【发布完成】的数据集，可以在操作中点击【普通加速】，即可将发布完成的数据从ZOS加速至本地缓存中，使用的时候可以更快、更近的读取数据，增加数据吞吐量。 点击【普通加速】后，数据会进入“普通加速”中的状态。 等加速数据集的状态完成会变成“普通加速”后，即可使用加速后的数据集。在模型精调中，选择对应数据集时即可看到【普通加速的标签】。

迁移到天翼云后，若目的端服务器不能正常启动，天翼云可以提供相应的技术支持，但是不承诺解决问题。 其中目的端服务器不能正常启动的原因可能包括以下几种： 源端服务器本身无法重启 源端服务器上有非OS标准的配置 源端服务器上安装了与天翼云不兼容的驱动或软件等 为了适配天翼云，主机迁移服务对目的端服务器的系统配置做了修改。主机迁移服务可以保证迁移前后数据一致性，但无法保证业务能正常运行，需要您自己修改业务相关配置。 业务割接后，源端服务器、目的端服务器均有新增数据时，使用主机迁移服务，无法将源端新增数据与目的端新增数据进行合并，只能使用源端数据覆盖目的端数据。因此，建议您在业务割接前，不要在目的端服务器新增数据；业务割接后，不要在源端服务器新增数据。对于业务割接后，源端服务器、目的端服务器均有新增数据且需要合并的情况，需要您自行设计解决方案。

项目 描述 时间选择 数据取回量查询的时间段，可以选择查看下列时间段的数据取回量： 今日。 昨日。 近7日。 近30日。 根据日历按钮，选择查询任意90天数据取回量。 数据位置 数据取回量查询的数据位置，可以选择： 全部数据位置：展示所有数据位置的数据取回量之和。 具体数据位置：根据显示的数据位置进行选择，查看对应数据位置的数据取回量。 存储桶 数据取回量查询的存储桶，可以选择： 全部存储桶：展示所有存储桶的数据取回量之和。 指定存储桶：根据显示的存储桶，选择查看对应存储桶的数据取回量。 存储类型 选择数据的存储类型： 全部存储类型：分别展示不同存储类型的数据取回量。 低频访问存储：低频访问存储的数据取回量。

参数 参数说明 填写样例 任务名称 自定义脱敏任务的名称，系统会自定义生成一个。 Test 任务类型 此处选择“数据水印”。 数据脱敏 数据流向 选择脱敏任务的数据流向。 说明 当数据流向为“数据库到数据库”时，用户可以自主设置是否启用“增量读取”，开启后可以以增量方式处理源表更新数据。启用该功能后，可进一步选择增量方式： “插入”指增量数据以插入方式写入目标，若目标数据存在，则插入失败或重复插入，用户若选择插入则需指定自增主键或时间作为增量标识； “更新”指增量数据以更新方式写入目标，若目标数据存在，则更新成最新的数据，用户若选择更新则需同时指定主键和时间作为增量标识。 数据库到数据库 输入源 选择数据的输入源。 输入数据 支持选择如下四种数据输入方式： 手动选择：自定义选择需要输入的数据 全选所有：选择所有数据 发现结果导入 文件导入 全选所有 输出目标 选择数据的数据目标。 Scheam映射 选择输出目标的Scheam名。 表格映射 选择表格映射方式： 继承输入源命名 附加前缀 附加后缀 继承输入源命名

参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 cardetail 分区 导入前清空数据，如果设置为true时，呈现此参数。 表示分区信息。 year2020,locationsun

国际站节点 香港及澳门节点 香港2节点计划于2026年10月中公测转商，转商后下述资费生效。 澳门1节点商用上线，下述资费上线即生效。 功能类型 链路规格 包年包月（元/月） 按需（元/小时） RPS性能上限 数据迁移 小规格 / 1.11 1000 数据迁移 中规格 / 1.99 3000 数据迁移 大规格 / 3.2 5000 数据迁移 超大规格 / 5.76 7000 数据迁移 极大规格 / 10.24 12000 数据同步 小规格 740 1.55 1000 数据同步 中规格 1080 2.25 3000 数据同步 大规格 1740 3.63 5000 数据同步 超大规格 2610 5.45 7000 数据同步 极大规格 4657.5 9.53 12000 数据同步 特大规格 5515.26 11.51 30000 印度尼西亚节点 印度尼西亚1节点计划于2026年10月中公测转商，转商后下述资费生效。 功能类型 链路规格 包年包月（元/月） 按需（元/小时） RPS性能上限 数据迁移 小规格 / 1.72 1000 数据迁移 中规格 / 3.40 3000 数据迁移 大规格 / 5.91 5000 数据迁移 超大规格 / 10.64 7000 数据迁移 极大规格 / 18.92 12000 数据同步 小规格 900 1.86 1000 数据同步 中规格 1340 2.53 3000 数据同步 大规格 2160 4.07 5000 数据同步 超大规格 3240 6.75 7000 数据同步 极大规格 5670 11.81 12000 数据同步 特大规格 6846.53 14.26 30000 计费示例

本文为您介绍天翼云GPU云主机中CUDA工具包的升级或降级操作方法。 当现有CUDA版本不适配业务需求、安装错误版本导致GPU算力无法调用时，可通过“卸载当前版本→安装目标版本”的方式完成升降级。核心原则是确保目标CUDA版本与已安装的Tesla驱动、云主机规格、操作系统相互适配，避免出现兼容性问题。 步骤一：卸载CUDA工具包 请参见卸载CUDA工具包按步骤执行卸载操作。 步骤二：安装CUDA工具包 请参见安装CUDA工具包按步骤执行安装操作。 注意 安装前请参考Tesla驱动及相关组件版本兼容指南，确认目标CUDA版本，避免安装后出现兼容性问题。