本文为您介绍如何使用Elasticsearch实例中的向量检索能力，增强实例的搜索能力。 概述 向量检索（Vector Search）是Elasticsearch的高级功能，允许用户在高维向量空间中进行相似性搜索，超越了传统的关键词匹配方式。通过将文本、图像等数据转换为向量表示，基于向量之间的距离进行搜索，适合自然语言处理、推荐系统和计算机视觉等复杂场景。 天翼云云搜索服务开通的Elasticsearch 支持通过近似最近邻（ANN）搜索算法实现高效的向量索引结构，使得在处理大规模数据集时依然能保持高效的查询速度和准确性。 前提条件 已开通天翼云云搜索服务 Elasticsearch 集群。 Elasticsearch 版本支持KNN向量检索功能（当前版本默认支持）。 本地环境已配置好API访问权限，且能够通过API与集群通信。 操作步骤 1. 创建支持向量检索的索引，需要创建一个支持向量检索的索引。可以使用以下命令为一个包含向量字段的索引启用 KNN 功能。 PUT myknnindex1 { "settings": { "index": { "knn": true, "knn.algoparam.efsearch": 100 } }, "mappings": { "properties": { "category": { "type": "keyword" }, "brand": { "type": "keyword" }, "style": { "type": "keyword" }, "myvector": { "type": "knnvector", "dimension": 3 } } } } knn: 设置为 true 启用向量检索。 dimension: 定义向量的维度，在这个例子中为 3。 2. 插入向量数据，创建索引后，可以插入带有向量字段的数据文档。以下是插入不同类型商品的向量示例： PUT myknnindex1/doc/1 { "category": "electronics", "brand": "brandA", "style": "modern", "myvector": [0.5, 0.8, 0.3] } PUT myknnindex1/doc/2 { "category": "furniture", "brand": "brandB", "style": "vintage", "myvector": [0.2, 0.4, 0.7] } PUT myknnindex1/doc/3 { "category": "clothing", "brand": "brandC", "style": "casual", "myvector": [0.9, 0.1, 0.6] } 3. 执行向量检索查询，插入数据后，用户可以通过查询指定的向量来查找与之相似的数据。以下示例将基于向量 [0.5, 0.8, 0.3] 进行KNN检索，返回与之最相似的2条记录。 POST myknnindex1/search { "size": 10, "query": { "knn": { "myvector": { "vector": [0.5, 0.8, 0.3], "k": 2 } } } } vector: 查询的向量值。 k: 返回与查询向量最相似的k个结果，此处为2。 4. 查询返回示例，返回结果中将包含与查询向量最相似的文档及其相似度得分（score）： { "took" : 654, "timedout" : false, "shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 3, "relation" : "eq" }, "maxscore" : 1.0, "hits" : [ { "index" : "myknnindex1", "id" : "1", "score" : 1.0, "source" : { "category" : "electronics", "brand" : "brandA", "style" : "modern", "myvector" : [0.5, 0.8, 0.3] } }, { "index" : "myknnindex1", "id" : "2", "score" : 0.7092199, "source" : { "category" : "furniture", "brand" : "brandB", "style" : "vintage", "myvector" : [0.2, 0.4, 0.7] } } ] } } 通过这些步骤，用户可以在Elasticsearch集群上实现基于向量的高效相似性搜索，支持从多维数据中快速找到最相似的结果，从而提升搜索体验和智能化水平。

版本列表 展示应用实例下所有应用实例版本信息。主要展示以下信息： 应用实例版本：应用实例版本号。当前版本会在版本上加上当前版本标识。 备注：用于对该版本做出说明。 发布信息：该版本所在最新发布单的状态。 版本状态：版本的状态，包含可用和草稿两种状态。草稿状态表明当前版本由其它环境复制过来，需编辑后才能用于发布应用。可用状态表明当前版本可用于发布应用且不可修改，如需修改请新增应用实例版本。 创建者：当前版本的创建者。 创建时间：当前版本的创建事件。 操作：可用状态支持发布、复制操作，草稿状态仅支持编辑操作。 版本详情 在版本列表页点击应用实例版本列即可进入版本详情页面。主要包括基本信息和部署配置。 基本信息主要展示应用实例版本、项目/应用、应用实例名称、技术栈类型、技术栈版本、部署单元及企业项目信息。 部署配置主要展示部署包相关信息，微服务治理、Tomcat配置、Java启动参数配置以及限流降级配置。 备注版本 当您有多个版本且无法通过版本号区分识别各版本的时候，您可以添加版本备注。操作如下： 1. 在应用总览页面点击版本信息页签，点击备注列。 2. 在编辑备注对话框中输入备注信息点击确认。 发布版本 新增版本后可以通过版本发布将新版本发布以实现应用实例的升级。主要步骤如下： 1. 在应用总览页面点击版本信息页签，点击操作列的发布按钮。 2. 在发布应用实例对话框，配置好发布策略，点击右下方的发布进入发布单详情页面。 配置项 描述 部署单元 勾选要发布的部署单元。 发布类型 支持普通发布和金丝雀发布。金丝雀发布支持按内容灰度、按流量灰度以及按泳道灰度。 发布批次 选择分批次数。仅普通发布才有该选项。 分批方式 支持手动和自动。手动：需要在变更记录手动点击执行下一批。自动：需要输入间隔，表示间隔多少分钟执行下一批发布。 首批灰度数 选择首批要发布的ECS实例个数。仅金丝雀发布才有该选项。 剩余批次 执行完灰度发布后剩余ECS实例的分批数。仅金丝雀发布才有该选项。 按内容灰度 参数名称 参数含义 协议类型 Spring Cloud：需要设置path。 Dubbo：需要选择服务和方法。 条件模式 选择同时满足下列条件或满足下列任一条件。 条件列表 Spring Cloud：可根据Cookie、Header或Parameter类型设置具体的参数。 Dubbo：根据应用实际的参数、参数值获取表达式设置。 按流量灰度 参数名称 参数含义 流量比例 流量会按配置的比例被转发到当前的灰度版本的实例。 按泳道灰度 参数名称 参数含义 泳道名称 自定义泳道灰度策略名称。 泳道组 选择已创建的泳道组。 泳道 选择已创建的泳道。 3. 在发布单详情页面，待发布单初始化完成后，点击发布开始发布流程。点击应用实例可以查看应用实例详情。

本最佳实践主要描述通过一站式智算服务平台进行NLP大模型快速微调。 概述 AI发展正在经历一个拐点的跨越，从“预测推断”走向“内容生成”。新的AIGC形态给传统企业的模型训练和调用都提出新的挑战，需要更大的算力和大参数的算法，通过训练在大型文本语料库上学习到的语言模式生成自然语言文本，可以自动生成各类内容，文本、图像、语音、视频、代码中，能广泛应用于新闻、文案、对话、规划、设计创新，才能让企业在这场新的竞争中占据一席之地。 具体来说，新一代的大模型对模型训练的底座和平台都提出了新的要求，支持多个任务、参数1亿以上基于海量多源数据打造的模型，采用Transformer的架构，并且支持预训练。通过单模型做多种任务、更少的数据标注、更优的模型效果等特点来提升模型训练效率，以实现更优的识别、理解、决策、生成效果和更低成本的开发方案。 一站式智算服务平台通过开箱即用的平台化产品，为您解决企业数字化、智能化转型中需要解决的AI建模门槛高、流程复杂、人力成本高等问题，有效为企业降本增效，助力企业转型。 本实践主要介绍少量样本对大语言模型进行微调训练，微调训练是大语言模型训练和应用中最常见的一种方式，用性价比的方式让企业快速训练出一个适合于自己业务的对话模型。通过一站式智算服务平台来管理数据、标注指令微调、分布式调优任务、任务监控、模型管理、模型评估等全流程的调优步骤，通过交互式操作即可快速微调出属于业务自己的大语言对话模型。 任务特定性能提升：预训练语言模型通过大规模的无监督训练学习了语言的统计模式和语义表示。然而，它在特定任务上的性能可能不如在大规模无监督数据上表现出的性能。通过在任务特定的有标签数据上进行微调，模型可以进一步学习任务相关的特征和模式，从而提高性能。 领域适应性：预训练语言模型可能在不同领域的数据上表现不一致。通过在特定领域的有标签数据上进行微调，可以使模型更好地适应该领域的特殊术语、结构和语义，提高在该领域任务上的效果。 数据稀缺性：某些任务可能受制于数据的稀缺性，很难获得大规模的标签数据。监督微调可以通过使用有限的标签数据来训练模型，从而在数据有限的情况下取得较好的性能。 防止过拟合：在监督微调过程中，通过使用有标签数据进行有监督训练，可以减少模型在特定任务上的过拟合风险。这是因为监督微调过程中的有标签数据可以提供更具体的任务信号，有助于约束模型的学习，避免过多地拟合预训练过程中的无监督信号。

参数 子参数 说明 迁移参数模版 选择某个迁移参数模版后，页面根据模版的值自动设置网络类型、网络限流值、迁移方式、是否持续同步、是否调整分区、区域、项目;系统会为每个用户自动创建一个默认迁移参数模版，您也可以提前手动创建迁移参数模版，参见 网络类型 公网 若使用公网迁移，要求目的端服务器配置有“弹性IP”。 “网络类型”默认设置为公网。 私网 私网包括专线、VPN、对等连接、同VPC子网，如选择私网则需要提前创建，迁移时会使用目的端私有IP。 IP版本 IPv4 使用IPv4进行数据迁移。 IPv6 双栈网络下，可以选择使用IPv6进行主机迁移。 网络限流 根据要迁移的源端带宽大小及业务要求，设置限制带宽大小。 设置为0时，代表不限流。 Linux限流功能是基于TC(Traffic Control)模块控制，如果源端服务器没有TC模块，则无法支持限流。 部分Linux系统，暂不支持限流。（例如：CentOS 8.x以及基于其构建的其它发行版本均没有TC模块。） CPU限制 仅支持Linux迁移。 内存限制 磁盘吞吐限制 迁移方式 Linux文件级 Linux文件级迁移是指全量复制和持续同步最小粒度为文件，这种方式同步效率低，但兼容性好。 Windows块级 Windows块级迁移是指全量复制和持续同步的最小粒度为磁盘逻辑单位"块"。Windows当前仅支持块级迁移，这种迁移方式迁移和同步效率高。 是否持续同步 否 全量复制完成后，系统会自动启动目的端，无需用户进行操作。 若要同步新增数据，请单击操作列的“同步”，将增量数据同步至目的端服务器。 是 全量复制完成后，会进入持续同步阶段，该阶段系统会定时自动同步源端增量数据到目的端，此时目的端并未启动，无法操作。如需退出该阶段，单击“启动目的端”即可。 是否调整分区 否 选择否，目的端磁盘分区与源端保持一致。 是 选择是，用来调整目的端磁盘分区。 迁移后主机状态 关机 选择关机，迁移完成后目的端服务器自动关机。 开机 选择开机，迁移完成后目的端服务器保持开机状态。 是否检测网络质量 否 不进行网络质量评估。 是 首次全量迁移时，会生成一个“迁移网络质量评估”的子任务，该子任务通过检测丢包率、抖动、网络时延、带宽以及内存占用率和CPU占用率，给出网络质量评估结果。 是否启用多进程 否 默认使用1个进程进行迁移、同步。 是 设置迁移和同步最大进程个数，SMSAgent根据设置的进程个数，启用多个进程执行迁移任务。仅适用Linux文件迁移。 迁移特殊配置项 Linux文件级配置不同步、不迁移等特殊配置信息。 Windows块级迁移，专线场景下，可配置目的端中转IP。

本章节主要介绍约束与限制。 CDM系统级限制和约束 1. 集群创建好以后不支持修改规格，如果需要使用更高规格的，需要重新创建一个集群。 2. ARM版本的CDM集群不支持Agent功能。CDM集群为ARM或X86版本，依赖于底层资源的架构。 3. CDM暂不支持控制迁移数据的速度，请避免在业务高峰期执行迁移数据的任务。 4. 当前CDM集群cdm.large实例规格网卡的基准/最大带宽为0.8/3 Gbps，单个实例一天传输数据量的理论极限值在8TB左右。同理，cdm.xlarge实例规格网卡的基准/最大带宽为4/10 Gbps，理论极限值在40TB左右；cdm.4xlarge实例规格网卡的基准/最大带宽为36/40 Gbps，理论极限值在360TB左右。对传输速度有要求的情况下可以使用多个数据集成实例实现。上述数据量为理论极限值，实际传输数据量受数据源类型、源和目的数据源读写性能、带宽等多方面因素制约，实测cdm.large规格最大可达到约8TB每天（大文件迁移到OBS场景）。推荐用户在正式迁移前先用小数据量实测进行速度摸底。 5. 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 6. 文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同目录并创建多个任务。 7. 用户在CDM上配置的连接和作业支持导出到本地保存，考虑到密码的安全性，CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前，需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 8. 不支持集群自动升级到新版本，需要用户通过作业的导出和导入功能，实现升级到新版本。 9. 在无OBS的场景下，CDM系统不会自动备份用户的作业配置，需要用户通过作业的导出功能进行备份。 10. 如果配置了VPC对等连接，可能会出现对端VPC子网与CDM管理网重叠，从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移，或联系管理员在CDM后台为VPC对等连接添加特定路由。 11. CDM迁移，当目的端为DWS和NewSQL的时候，不支持将源端的主键和唯一索引等约束一起迁移过去。 12. CDM迁移作业时，需确保两个集群版本的JSON文件格式保持一致，才可以从将源集群的作业导入到目标集群。

什么是资源池互联专网？ 资源池专网是中国电信建设的与公众互联网物理隔离的独立网络，用于连接全国天翼云资源池，为天翼云用户提供高可靠的跨域资源池之间的东西向高带宽能力。

天翼云提供产品服务协议,请您点击查看。 中国电信天翼弹性伸缩服务是产品服务协议，详情请参见《天翼云弹性伸缩服务等级协议》。

删除⼀个名为myenv的环境 conda create n newname clone oldname 克隆oldname环境为newname环境 conda install c numpy 使用源 安装numpy conda update numpy pandas 更新numpy和pandas两个package，此命令可同时更新⼀个或多个包 conda remove numpy pandas 卸载numpy和pandas两个package，此命令可同时卸载⼀个或多个包 conda update –all 更新当前环境下所有的package 清理conda conda clean p 删除⽆⽤的包 conda clean t 删除压缩包 conda clean y all 删除所有的安装包及cache 操作流程 1. 进入JupyterLab工作台并打开终端。 2. Conda是一个开源的包管理系统和环境管理系统，Conda 可快速安装、运行和更新包及其依赖项。Conda可以轻松地在计算机上创建、保存、加载和切换环境。以python为例： 在返回列表中会显示所有可下载的python版本。 3. 部署以名字为tf的环境，安装python 3.11和tensorflow 2.12 conda create n tf python3.11 tensorflow2.12 4. 环境部署好后会返回激活环境的指令conda activate [环境名] 例如: "conda activate tf"，退出当前环境为"conda deactivate" 5. 输入"conda activate tf"进入刚才安装好的环境 测试Tensorflow版本，返回结果与所需的版本一致。 6. 退出当前环境，如果需要一键导入完整环境，需安装condapack。导出的包体积会比较大 pip install condapack 7. 导出当前环境"conda pack n [环境名] o [压缩包名]" 例如:conda pack n tf o tf.tar.gz 完成后在左侧文件列表中即可下载导出的环境包。如果导出的环境包过大，可只导出环境配置文件，在导入时让Conda重新自动安装环境。 conda env export n [环境名] > env.yaml 执行完成后在左侧文件列表中下载env.yaml即可。 8. 通过Conda在开发机重启后恢复之前的环境 a. 将env.yaml上传至开发机中 b. 执行 conda env create f [文件名] c. 环境安装完毕后查看"conda env list" ，确认环境tf存在。 注意：在使用环境时开发机的临时文件不会被conda pack打包，只有在环境所在路径下的临时文件才会被conda pack打包。在conda env list中可查看环境所在的路径，例如/opt/conda/envs/tf。

本章节主要介绍注册API。 本文将为您介绍如何注册API，与通过数据表生成的API统一管理和发布到API网关。 目前数据服务共享版支持Restful风格的API注册，包含GET/POST常见请求方式。 配置API基本信息 1.在DataArts Studio控制台首页，选择实例，点击“进入控制台”，选择对应工作空间的“数据服务”模块，进入数据服务页面。 详见下图：选择数据服务 2.在左侧导航栏选择服务共享版，进入总览页。 3.进入“数据服务 > 开发API > API管理”页面，单击“注册现有API”，填写API基本信息。 详见下表：API基本信息 配置 说明 API名称 支持中文、英文、数字、下划线，且只能以英文或中文开头，364个字符。 API目录 一个特定功能或场景的API集合，是数据服务中API的最小组织单元，也是API网关中的最小管理单元。 您可单击“新建”进行新建，也可选择新建API目录已创建的API分组。 请求Path 资源路径，也即API访问路径。 示例：/v2/{projectid}/streams 协议 用于传输请求的协议，支持HTTP和HTTPS协议。 请求方式 HTTP请求方法（也称为操作或动词），它告诉服务你正在请求什么类型的操作。 GET：请求服务器返回指定资源。 POST：请求服务器新增资源或执行特殊操作，注册API时推荐使用。POST请求当前不支持body体，而是直接透传。 描述 对API进行简要描述。 标签 用户自定义输入，只能包含中文、英文字母、数字和下划线，且不能以下划线开头。 审核人 拥有API的审核权限。 单击“新建”，进入“审核中心>审核人管理”页面，新建审核人。 安全认证 API认证方式： APP认证：表示由API网关服务负责接口请求的安全认证。 IAM认证：表示借助IAM服务进行安全认证。 无认证：表示不需要认证。 服务目录可见性 发布后，所选范围内的用户均可以在服务目录中看到此API。 当前工作空间可见 当前项目可见 当前租户可见 访问日志 勾选，则此API的查询结果将会产生记录并被保留7天，可以在“运营管理>访问日志”处通过选择“请求日期”的方式查看对应日期的日志。 最低保留期限 API解绑前预留的最低期限。API进行停用/下线/取消授权时,会通知已授权用户,并为用户预留至少X小时,直到所有授权用户均完成解除或处理，或者到达截止时间, API才会停用/下线/取消授权。0表示不设限制。 入参定义 配置API请求中的参数，包含资源路径中的动态参数，请求URI中的查询参数和Header参数。 以配置资源路径中的动态参数为例进行说明，例如资源路径（请求Path）设置为： /v2/{projectid}/streams，资源路径中的{projectid}为动态参数，需要在此进行配置。 1. 单击“添加”，参数名配置为projectid。 2. 参数位置选择PATH。 3. 类型设置为STRING。 4. 选择性配置示例值和描述。 4.配置好API基本信息后，单击“下一步”，即可进入API取数逻辑页面。

本节主要介绍设置应用健康检查 健康检查是指应用组件在运行过程中，根据需要，定时检查应用健康状况。 平台提供了两种健康检查的方式： 组件存活探针：该检查方式用于检测应用组件是否存活，类似于执行ps命令检查进程是否存在。如果应用组件的存活检查失败，集群会对该应用组件执行重启操作；若应用组件的存活检查成功则不执行任何操作。 组件业务探针：该检查方式用于检测应用组件是否准备好开始处理用户请求。一些程序的启动时间可能很长，比如要加载磁盘数据或者要依赖外部的某个模块启动完成才能提供服务。这时候程序进程存在，但是并不能对外提供服务。这种场景下该检查方式就非常有用。如果应用组件的就绪检查失败，集群会屏蔽请求访问该组件；若检查成功，则会开放对该应用组件的访问。 健康检查方式 HTTP请求检查 HTTP请求方式针对的是提供HTTP/HTTPS服务的应用组件，集群周期性地对该应用发起HTTP/HTTPS GET请求，如果HTTP/HTTPS response返回码属于200~399范围，则证明探测成功，否则探测失败。使用HTTP请求探测必须指定应用监听的端口和HTTP/HTTPS的请求路径。 例如：提供HTTP服务的应用组件，端口为80，HTTP检查路径为/healthcheck，主机地址为containerIP，那么集群会周期性地对应用发起如下请求： GET 说明 HTTP请求检查中的主机地址，如果不填写，默认为实例IP。 TCP端口检查 对于提供TCP通信服务的应用，集群周期性地对该应用建立TCP连接。如果连接成功，则证明探测成功，否则探测失败。选择TCP端口探测方式，必须指定应用监听的端口。比如有一个nginx应用组件，它的服务端口是80，对该应用组件配置了TCP端口探测，指定探测端口为80，那么集群会周期性地对该应用组件的80端口发起TCP连接，如果连接成功则证明检查成功，否则检查失败。 执行命令检查 命令检查方式要求用户指定一个应用组件内的可执行命令，集群会周期性地在应用组件内执行该命令，如果命令的返回结果是0则检查成功，否则检查失败。 对于上面提到的TCP端口检查和HTTP请求检查，都可以通过执行命令检查的方式来替代： −对于TCP端口探测，可以使用程序来对应用组件的端口进行connect，如果connect成功，脚本返回0，否则返回1。 −对于HTTP请求探测，可以使用脚本来对应用组件进行wget： wget 并检查response的返回码，如果返回码在200~399的范围，脚本返回0，否则返回1。 注意 必须把要执行的程序放在应用组件的镜像里面，否则会因找不到程序而执行失败。 如果执行的命令是一个shell脚本，由于集群在执行应用组件里的程序时，不在终端环境下，因此不能直接指定脚本为执行命令，需要加上脚本解释器。比如脚本是/data/scripts/healthcheck.sh，那么使用执行命令检查时，指定的程序应该是sh /data/scripts/healthcheck.sh。究其原因是集群在执行应用组件里的程序时，不在终端环境下。

本最佳实践主要描述通过训推智算服务平台进行NLP大模型快速微调。 概述 AI发展正在经历一个拐点的跨越，从“预测推断”走向“内容生成”。新的AIGC形态给传统企业的模型训练和调用都提出新的挑战，需要更大的算力和大参数的算法，通过训练在大型文本语料库上学习到的语言模式生成自然语言文本，可以自动生成各类内容，文本、图像、语音、视频、代码中，能广泛应用于新闻、文案、对话、规划、设计创新，才能让企业在这场新的竞争中占据一席之地。 具体来说，新一代的大模型对模型训练的底座和平台都提出了新的要求，支持多个任务、参数1亿以上基于海量多源数据打造的模型，采用Transformer的架构，并且支持预训练。通过单模型做多种任务、更少的数据标注、更优的模型效果等特点来提升模型训练效率，以实现更优的识别、理解、决策、生成效果和更低成本的开发方案。 训推智算服务平台通过开箱即用的平台化产品，为您解决企业数字化、智能化转型中需要解决的AI建模门槛高、流程复杂、人力成本高等问题，有效为企业降本增效，助力企业转型。 本实践主要介绍少量样本对大语言模型进行微调训练，微调训练是大语言模型训练和应用中最常见的一种方式，用性价比的方式让企业快速训练出一个适合于自己业务的对话模型。通过训推智算服务平台来管理数据、标注指令微调、分布式调优任务、任务监控、模型管理、模型评估等全流程的调优步骤，通过交互式操作即可快速微调出属于业务自己的大语言对话模型。 任务特定性能提升：预训练语言模型通过大规模的无监督训练学习了语言的统计模式和语义表示。然而，它在特定任务上的性能可能不如在大规模无监督数据上表现出的性能。通过在任务特定的有标签数据上进行微调，模型可以进一步学习任务相关的特征和模式，从而提高性能。 领域适应性：预训练语言模型可能在不同领域的数据上表现不一致。通过在特定领域的有标签数据上进行微调，可以使模型更好地适应该领域的特殊术语、结构和语义，提高在该领域任务上的效果。 数据稀缺性：某些任务可能受制于数据的稀缺性，很难获得大规模的标签数据。监督微调可以通过使用有限的标签数据来训练模型，从而在数据有限的情况下取得较好的性能。 防止过拟合：在监督微调过程中，通过使用有标签数据进行有监督训练，可以减少模型在特定任务上的过拟合风险。这是因为监督微调过程中的有标签数据可以提供更具体的任务信号，有助于约束模型的学习，避免过多地拟合预训练过程中的无监督信号。

本章节主要介绍新建一个对账作业实例的操作。 场景说明 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。本章分别以DLI和DWS作为数据源，介绍如何通过DataArts Studio中的数据质量模块实现跨源数据对账的基本一致性校验。 环境准备 需要准备好对账的数据源，即通过管理中心分别创建数据连接，用于跨源数据对账。 操作步骤 1.建立跨源数据连接。 a.创建DLI数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据湖探索（DLI）”，输入数据连接名称，单击“测试”，提示连接成功，单击“确定”。 b.创建DWS数据连接。在DataArts Studio管理中心模块，单击创建数据连接，数据连接类型选择“数据仓库服务（DWS）”，输入数据连接名称，设置其他参数，如下图所示，单击“测试”，提示连接成功，单击“确定”。 2.创建对账作业。 a.在DataArts Studio数据质量模块，单击左侧导航菜单“对账作业”。 b.单击“新建”，配置对账作业的基本信息，如下图所示。 c.单击“下一步”，进入规则配置页面。您需要点击规则卡片中的，然后配置对账规则，如下图所示。 说明 要分别配置源端和目的端的信息。 配置告警条件，其中点击左侧的表行数 （${11}）表示左侧源端选中表的行数，点击右侧表行数 （${21}）表示目的端表行数。此处配置告警条件为 ${11}!${21}，表示当左侧表行数与右侧表行数不一致时，触发报警并显示报警状态。 d.单击“下一步”，配置订阅信息，如下图所示。 说明 勾选触发告警表示作业报警时发送通知到对应的smn主题，勾选运行成功表示不报警时发送通知到SMN主题。 e.单击“下一步”，配置调度方式，如下图所示。 说明 单次调度表示需要手动触发运行，周期性调度表示会按照配置定期触发作业运行。此处以当天配置为例，设置每15分钟触发运行一次对账作业为例的配置。 3.查看对账作业 a.单击对应的对账作业操作列中的运行链接，运行对账作业后，自动跳转到运维管理页面。 b.单击结果&日志查看运行结果和运行日志，等待作业运行结束后，如下图所示。

环境要求 实时同步对环境有一些特定的要求，请确保环境配置满足以下条件。该类型的要求系统会自动检查，并给出处理建议。 表 环境要求 类型名称 使用限制 （DRS自动检查） 数据库权限设置 源数据库帐户需要具备如下权限： SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。 提供的目标数据库帐号必须拥有如下权限： SELECT、CREATE、DROP、DELETE、INSERT、UPDATE。 RDS for MySQL实例的root帐户默认已具备上述权限。 同步对象约束 支持表、主键索引、唯一索引、普通索引、存储过程、视图、函数的同步，不支持事件、触发器的同步。 库映射时源库中不允许存在存储过程、视图、函数对象。 映射的库中不允许存在除表外的对象且在同步过程中不允许创建这些对象，否则会导致同步任务失败。 不支持非MyISAM和非InnoDB表的同步。 不支持已选择的表与未选择的表之间互相rename的DDL操作，否则会导致同步任务失败。 源数据库要求 MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为3天。 源数据库expirelogsdays参数值为0，可能会导致同步失败。 增量同步时，必须设置MySQL源数据库的serverid。如果源数据库版本小于或等于MySQL5.6，serverid的取值范围在2－4294967296之间；如果源数据库版本大于或等于MySQL5.7，serverid的取值范围在1－4294967296之间。 源数据库中的库名不能包含：' /"以及非ASCII字符。 源数据库中的表名、视图名不能包含：'<>/"以及非ASCII字符。 源数据库中的库名和库映射的名称不允许为iblogfile。 不支持非MyISAM和非InnoDB的表同步到RDS。 数据库映射时，源库中存在视图、存储过程等对象，可能会导致实时同步失败。 目标数据库要求 目标数据库实例的运行状态必须正常，若数据库实例是主备实例，复制状态也必须正常。 目标数据库实例必须有足够的磁盘空间。 除了MySQL系统数据库之外，当目标库和源库同名时，目标数据库中若存在与源库同名的表，则表结构必须与源库保持一致。 目标数据库的字符集必须与源数据库一致。 目标数据库的时区设置必须与源数据库一致。 DRS同步时会有大量数据写入目标库，目标库maxallowedpacket 参数过小会导致无法写入，建议将目标库maxallowedpacket参数值设置为大于100MB。 同步的对象中包含引擎为MyISAM的表，则目标数据库sqlmode不能包含noenginesubstitution参数，否则可能会导致同步失败。 映射到目标库中的库名不能包含：“.”、 “ ”、“”、和“'”。

接口描述：调用本接口查询域名的IP地址，及ip对应的区域，运营商信息 请求方式：post 请求路径：/auxiliarytools/queryvipsdetailbydomain 使用说明： 单个用户一分钟限制调用10000次，并发不超过100 请求参数说明（json）： 参数 类型 是否必传 名称 描述 domain list 是 域名列表 最多支持５个 返回参数说明： 参数 类型 是否必传 名称及描述 code int 是 状态码 message string 是 描述信息 result list 否 返回结果数组 result[].domain string 否 域名 result[].details list 否 域名对应的vip列表信息 result[].details[].vips string 否 vip信息，多个用逗号“,”分割 result[].details[].cityName string 否 城市名称 result[].details[].nodename string 否 节点名称 result[].details[].provinceName string 否 省份名 result[].details[].ispName string 否 运营商名称 示例： 请求路径： 请求参数： {         "domain":[             "aaa.ctyun.cn"     ] } 返回结果： {      "code": 100000,        "message": "success",         "result": [      {                  "domain": "aaa.ctyun.cn",                   "details": [                {                                         "vips": "xx.xx.xx.xx,xx:xx:xx:xx::",                                       "cityName": "呼和浩特市",                                        "nodename": "xxx1",                                       "provinceName": "内蒙古自治区",                                         "ispName": "中国电信"                 },                 {                                         "vips": "xx.xx.xx.xx,xx:xx:xx:xx::",                                         "cityName": "通州区",                                         "nodename": "xxx2",                                        "provinceName": "北京市",                                         "ispName": "中国电信"                 }             ]         }     ] } 错误码请参考：参数code和message含义

接口描述：调用本接口查询域名的IP地址，及ip对应的区域，运营商信息 请求方式：post 请求路径：/auxiliarytools/queryvipsdetailbydomain 使用说明： 单个用户一分钟限制调用10000次，并发不超过100 请求参数说明（json）： 参数 类型 是否必传 名称 描述 domain list 是 域名列表 最多支持５个 返回参数说明： 参数 类型 是否必传 名称及描述 code int 是 状态码 message string 是 描述信息 result list 是 返回结果数组 result[].domain string 是 域名 result[].details list 是 域名对应的vip列表信息 result[].details[].vips string 是 vip信息，多个用逗号“,”分割 result[].details[].cityName string 是 城市名称 result[].details[].nodename string 是 节点名称 result[].details[].provinceName string 是 省份名称 result[].details[].ispName string 是 运营商名称 示例： 请求路径： 示例1： 请求参数： {     "domain": [         "ctyun.cn"     ] } 返回结果： {     "code": 100000,     "message": "success",     "result": [         {             "domain": "ctyun.cn",             "details": [                 {                     "vips": "xx.xx.xx.xx,xx:xx:xx:xx::",                     "cityName": "呼和浩特市",                     "nodename": "xxx1",                     "provinceName": "内蒙古自治区",                     "ispName": "中国电信"                 },                 {                     "vips": "xx.xx.xx.xx,xx:xx:xx:xx::",                     "cityName": "通州区",                     "nodename": "xxx2",                     "provinceName": "北京市",                     "ispName": "中国电信"                 }             ]         }     ] }

本文主要介绍短信收费及使用说明。 短信收费及使用说明 感谢您选择使用我们平台的短信服务。为帮助您更好地了解短信收费规则与使用方法，充分利用短信服务，特编写本帮助文档。本文将详细介绍短信赠送规则、超量使用解决方案等内容，若您在使用过程中有任何疑问，可随时联系我们。 一、短信使用场景 身份验证场景 ：在账号登录、忘记密码及修改密码环节，系统会向您预留的手机号码发送包含验证码的短信，用于验证身份，保障账号安全。 信息变更场景 ：当您进行手机号更换操作时，系统会发送短信到原手机号和新手机号，确认变更行为。 通知场景 ：在用户新增或重置密码时，系统会通过短信通知相关用户，确保用户知晓账号状态的变化。 此外，您可以采用邮箱验证等方式替代短信验证，以此减少短信用量，降低成本。邮箱验证在安全性和可追溯性上表现出色。 二、短信数量扩容方式 您可以通过升级套餐和增购账号数来增加短信额度，也可以通过订购短信服务销售品新增短信可用数量。 1、短信赠送规则 为助力您顺利开展业务，平台根据不同账号类型，为您赠送一定数量的免费短信额度，短信额度总量由企业下所有账号共享使用。在购买套餐或者扩展服务时，您将获得相应的免费短信配额，赠送额度自账号激活当月起生效，以自然月为周期，每月定期发放，短信用尽后，可以通过升级套餐或者增购账号数来增加短信额度。具体赠送数量如下： 产品类型 套餐 免费短信赠送量（每月） 备注 零信任服务 免费版 总共30条 目前免费版不支持账号扩展，如有短信扩容需求，请升级套餐。 零信任服务 VPN版 30条/帐号 VPN版套餐包含30个帐号，默认有900条短信，根据帐号进行扩展增加。 零信任服务 基础版 60条/帐号 基础版套餐包含10个帐号，默认有600条短信，根据帐号进行扩展增加。 零信任服务 企业版 150条/帐号 企业版套餐包含10个帐号，默认有1500条短信，根据帐号进行扩展增加。 全球加速 30条/帐号 默认赠送10个帐号，默认有300条短信，若订购零信任，则按照零信任提供短信数为准。 办公组网 30条/帐号 默认赠送10个帐号，默认有300条短信，若订购零信任，则按照零信任提供短信数为准。 终端管理 0条 若单买终端管理则不赠送短信，请采用其他方式进行设备端点授权。 学术加速 企业版 30条 默认提供10个帐号，30条短信，如有特殊需求可联系专属处理。 学术加速 个人版 不限制 您可在平台 “计费详情” 页面，实时查看当月剩余免费短信数量。需注意，每月未使用完的免费短信额度，不会累积至次月，当月月底将自动清零。 您可在“总览远程零信任办公用量分析”页面进行查询短信使用用量情况进行分析。

创建OBS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 详见下图：选择连接器类型 2.连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从OBS迁移数据到DLI的任务，如下图“创建OBS到DLI的迁移任务”所示。 作业名称：用户自定义作业名称。 源连接名称：选择创建OBS连接中的“obslink”。 −桶名：待迁移数据所属的桶。 −源目录或文件：待迁移数据的具体路径。 −文件格式：传输文件到数据表时，这里选择“CSV格式”或“JSON格式”。 −高级属性里的可选参数保持默认，详细说明请参见 配置OBS源端参数。 目的连接名称：选择创建DLI连接中的“dlilink”。 −资源队列：选择目的表所属的资源队列。 −数据库名称：写入数据的数据库名称。 −表名：写入数据的目的表。CDM暂不支持在DLI中自动创表，这里的表需要先在DLI中创建好，且该表的字段类型和格式，建议与待迁移数据的字段类型、格式保持一致。 −导入前清空数据：导入数据前，选择是否清空目的表中的数据，这里保持默认“否”。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM支持迁移过程中转换字段内容。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

创建MRS数据源连接 操作场景 DWS从MRS的HDFS读取数据前，需要先创建一个MRS数据源连接，作为DWS集群与MRS集群的数据通道。 对系统的影响 一个DWS集群在创建MRS数据源连接时，不能同时创建两个连接。 创建MRS数据源连接时，系统默认自动为DWS集群和MRS集群的安全组增加出规则和入规则，允许相同子网中节点的访问。 启用Kerberos认证的MRS集群，系统会自动增加一个类型为“机机”的用户，属于“supergroup”用户组。 前提条件 DWS集群已创建好，并记录集群所在的虚拟私有云和子网。 创建MRS数据源连接需要创建MRS集群类型为分析集群。 操作步骤 1. 登录MRS控制台。 2. 打开MRS管理控制台，创建MRS集群。 创建集群时，请按要求配置以下参数，其他配置无特别要求，具体操作请参见《MapReduce服务用户操作指南》中的“自定义创建集群”章节： MRS集群的虚拟私有云需要和DWS集群相同。 MRS集群版本，主推1.9.2、2.1.0、3.0.2LTS、3.1.2LTS 4个版本。 说明 8.1.1.300及以上版本集群，MRS集群支持连接1.6.、1.7.、1.8.、1.9.、2.0.、3.0.、3.1.及以上版本（“”代表的是数字）。 8.1.1.300以下版本集群，MRS集群支持连接1.6.、1.7.、1.8.、1.9.、2.0.版本（“”代表的是数字）。 组件选择，需要选择Hadoop组件。 如果已有符合如上条件的MRS集群，则可跳过此步骤。 3. 登陆DWS管理控制台。 4. 在DWS管理控制台，选择“集群 > 专属集群”。 5. 在集群列表中单击指定集群的名称，进入“集群详情”页面。 6. 在左侧导航栏，选择“数据源>MRS数据源”页签。 7. 单击“创建MRS数据源连接”，填写配置参数。 MRS连接公共参数说明 参数名 说明 数据源名称 对应DWS数据库server名称，包含小写字母、数字或者下划线，且必须以小写字母开头，长度为3到63个字符。 配置方式 表示配置时系统获取文件使用的方式： MRS用户：配置MRS manager用户/密码，系统登录MRS manager自动下载配置文件及认证文件。参数说明详情请参见表 MRS用户方式参数配置说明。 文件上传： 自行在MRS manager下载配置文件，通过上传配置文件的方式配置，该方式适用于开启Kerberos认证。参数说明详情请参见表 文件上传方式参数配置说明。 须知：选择文件上传方式时，确保MRS和DWS集群网络互通。 数据库 数据源所在数据库。 描述 表示此连接的说明信息。 MRS用户方式参数配置说明 参数名 说明 MRS数据源 下拉框选择DWS可连接的MRS集群。默认显示当前用户可连接的，即与当前DWS集群在相同虚拟私有云和子网下且为可用状态的自定义型、混合型以及分析型MRS集群。 选择一个MRS集群后，将自动显示已选择的MRS是否启用了Kerberos认证。单击“查看MRS集群”可进入MRS查看该MRS集群信息。 如果“MRS数据源”下拉框为空，用户可以单击“创建MRS集群”进行创建。 MRS用户 DWS集群连接MRS集群时使用的用户名。 用户密码 填写连接用户的密码。如果用户密码被修改，则需要重新创建连接。 须知 用户密码必须成功登录过MRS Manager，新用户使用初始密码第一次登录MRS Manager时会提示修改密码，这种情况会导致配置MRS数据源失败。 使用机机账号 开启后，会自动在MRS创建一个名称为dws的机机账号用于后续dws数据库和MRS的交互，该机机账号固定为supergroup组，拥有所有权限； 若关闭，则直接将配置的人机用户用于dws数据库和MRS交互，需要保证用户拥有数据权限，否则在使用数据源时会提示文件不存在。 文件上传方式参数配置说明 参数名 说明 认证凭据 用户keytab文件。在MRS manager下载的用户认证凭据文件，文件名称格式为:用户名称时间戳keytab.tar： MRS 2.x 及之前版本下载路径 ：系统设置>用户管理>更多>下载认证凭据 MRS 3.x 及之后版本下载路径 ：系统>权限>用户>更多>下载认证凭据 客户端配置文件 包含HDFS、Hive、hosts的客户端配置文件，下载客户端时“客户端类型”需选择“仅配置文件”： MRS 2.x 及之前版本下载路径 ：服务管理>下载客户端 MRS 3.x 及之后版本下载路径 ：主页>更多>下载客户端 8. 单击“提交”保存连接。 创建连接需要一段时间，此时“配置状态”显示为“创建中”，成功后在MRS数据源列表中可看到已创建的连接，且状态为“可用”。 说明 在“操作”列，可以单击“更新配置”，更新当前连接的“MRS集群状态”和“配置状态”。在更新配置时，无法创建新的连接，且会检查安全组规则是否正常并自助修复。具体请参见下文 更新MRS数据源配置。 在“操作”列，可以单击“删除”将不再使用的连接删除释放。删除连接时，不会自动删除安全组规则，请根据需要手工删除。 安全组规则若不删除，DWS集群中的节点与MRS集群中的节点网络仍是互通的。如果用户对网络安全要求较严格，建议手动删除安全组规则。

本文主要介绍管理JMeter测试报告 测试报告说明 JMeter测试报告提供实时、离线两种类型的测试报告，供用户随时查看和分析测试数据。 JMeter测试报告说明如下表所示。 测试报告展现了测试过程中被测系统在模拟高并发用户的响应性能，为了更好阅读测试报告，请参考以下信息： 统计维度： 测试报告的TPS、RPS、响应时间、并发等统计维度均为单个线程组，如线程组中有请求多个报文，只有在多个请求报文均正常返回会认为成功，响应时间也是多个请求报文的求和值。 响应超时： 出现该情况是在设置的响应超时时间内（Jmx自定义），对应的TCP连接中没有响应数据返回时，会将本次线程组请求统计为响应超时。出现原因一般是被测服务器繁忙、崩溃、网络带宽被占满等。 校验失败： 从服务器返回的响应报文不符合预期（针对HTTP/HTTPS默认的预期响应码为200），比如服务器返回404、502等。出现原因一般为高并发情况下被测服务无法正常处理导致的，如分布式系统中数据库出现瓶颈、后端应用返回错误等。 带宽统计： 本报告统计的是性能测试服务执行端的带宽，上行表示从性能测试服务发出的流量，下行表示接收到的流量。如果是外网压测场景，您需要关注执行机的EIP带宽是否可以满足上行带宽的要求。而下行带宽需要关注单台执行机是否超过1GB。 TPS： TPS是指云性能测试服务在统计周期内每秒从被测服务器获取到的响应用例实时统计，TPS统计周期内的正常返回数/统计周期。 RPS： RPS是指云性能测试服务在统计周期内每秒发送到被测服务器的请求数实时统计，RPS统计周期内发送的请求数/统计周期。 如何判断被测应用优劣： 根据应用本身的服务质量定义，理想状态是没有任何响应失败、校验失败的情况，如果有，需要在服务质量定义范围之内，通常情况下不超过1%，同时响应时间越低越好（2s内体验较好，5s内可以接受，超过5s则需要考虑优化），TP90、TP99指标可以客观反映出90%、99%用户的体验响应时间。 JMeter测试报告说明 概念 解释 各项指标总量 所有线程组各项指标总量的汇总。 最大并发：最大并发操作的虚拟用户数。 RPS：RPS请求总数/响应总时长。 正常返回：如设置了检查点，检查点通过的事务响应数，如未设置默认为返回2XX的事务响应数。 响应时间：指从客户端发一个请求开始计时，到客户端接收到从服务器端返回的响应结果结束所经历的时间。 响应码：记录压测任务进行中响应码分布的情况。 带宽：记录压测任务运行所消耗的实时带宽变化。 异常返回：解析失败、校验失败、响应超时、3XX、4XX、5XX、连接被拒绝的事务响应数。 SLA事件：SLA中定义的事件发生情况。 平均RPS 是指性能测试在统计周期内每秒发送到被测服务器的请求数实时统计，RPS统计周期内发送的请求数/统计周期。 平均RT 记录压测任务平均响应时间的变化。 并发数 记录压测任务运行时，当前并发操作的虚拟用户数的变化。 带宽（KB/S） 记录压测任务运行所消耗的实时带宽变化。 上行带宽：从JMeter测试执行机往外发送出去数据的速度。 下行带宽：JMeter测试执行机接收到数据的速度。 响应状态分布 正常返回、解析失败、校验失败、响应超时的每秒处理事务数，该项指标与思考时间、并发用户、服务器响应能力均有关，比如思考时间为500ms，如果服务器对于当前用户的上个请求响应时间小于500ms，则该用户每秒请求2次。 正常返回：如设置了检查点，检查点通过的事务响应数，如未设置默认为返回2XX的事务响应数。 异常返回：解析失败、校验失败、响应超时、3XX、4XX、5XX、连接被拒绝的用例响应数。 解析失败：HTTP响应无法被正常解析的数量。l校验失败：如设置了检查点，检查点未通过的事务响应数，如未设置，返回不是2XX的事务响应数。 响应超时：是在设置的响应超时时间内，对应的TCP连接中没有响应数据返回的用例请求数量。 连接被拒绝：发送报文建立连接时，服务器拒绝连接数。 其他错误：不属于以上几种错误的数量。 响应码分布 1XX/2XX/3XX/4XX/5XX。 响应时间区间比例 用例的响应时间区间比例。 TP最大响应时间 指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取对应的百分比的那个值作为TPXX的最大响应时间。 TP50：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第50%的那个值作为TP50的值。 TP75：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第75%的那个值作为TP75的值。 TP90：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第90%的那个值作为TP90的值。 TP95：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第95%的那个值作为TP95的值。 TP99：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99%的那个值作为TP99的值。 TP99.9：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99.9%的那个值作为TP99.9的值。 TP99.99：指在一个时间段内（如10s），统计该请求每次响应所消耗的时间，并将这些时间按从小到大的顺序进行排序，取第99.99%的那个值作为TP99.99的值。

使用CMS服务前需要对迁移源部分进行迁移评估,本节对迁移源评估内容进行介绍,帮助您更好的评估您的迁移源状态。 迁移评估项 评估内容 迁移机器推荐配置 源与目标机配置建议一致，迁移需要消耗资源，降低配置可能会导致迁移过慢甚至失败；迁移完成后，可以根据客户需求进行扩缩容等修改。 迁移源端有无磁盘个数、容量限制 单盘容量无限制，磁盘个数应当确定在24个以下。若您出现磁盘个数超出情况，请您对源机磁盘做减少个数处理或通过工单进行技术咨询。 数据库与集群服务限制 Oracle RAC需要使用共享存储、部分使用ASM磁盘，CMSSMS无法提供ASM磁盘、Oracle RAC迁移。大型库不建议使用CMSSMS进行迁移，建议使用数据库专业迁移工具进行迁移。如果使用CMSSMS进行迁移，在使用过程中应当在“停止增量”步骤前停止相关应用进程。 确定应用验证人员 为了保持数据一致性，用户在使用产品进行增量迁移时，需要进行停业务处理。业务上云后也需要相关熟悉业务人员进行测试验证，以此减少业务停机时间。 产品使用业务拉起会受何种因素影响 未授权应用软件、盗版软件、集群数据库、UKey硬件验证以及一些硬件绑定验证。 网络环境需要注意 若迁移过程中出现迁移速度瓶颈，应先测试源端出口带宽、目标端入流量带宽以及CMSSMS控制台带宽限制配置。注意是否存在特殊的网络、专线以及是否具备公网环境。 特定需求确认 确认是否具有涉密文件、需要保持IP不变等特定的需求。 复杂业务使用该产品需要注意事项 用户在使用产品时，需记录业务关联信息，同一类型关联业务需要根据需求，按业务系统进行迁移、切换、测试。为保持一致性在增量迁移时需进行停业务处理。业务上云后，也需相关熟悉业务人员进行测试验证，以此减少业务停机时间。 针对windows四步骤 检查系统版本、关闭杀毒软件、关闭qemu、检查磁盘空间（不足时进行调整，修改卷影存储磁盘空间）。 针对Linux注意事项 迁移源需是否具备root权限；迁移源需迁移的挂载点，是否正确写入fstab文件。 迁移源端使用资源收集 CMSSMS代理端部署于源机，需占用源机的CPU与内存，当源机CPU使用率或内存使用率过高时，CMSSMS代理端会影响业务，甚至导致迁移源宕机。正常4C4G的机器能正常满足迁移所需资源。CMSSMS需在源机agent启动后，持续对源机进行监控，并给出一定周期内CPU、内存使用情况、硬盘数据增长量等数据。用户根据给出数据对系统进行评估，若无法准确评估需找相关专业人员确认。 迁移源目标机限制 CMSSMS暂不支持裸金属服务器迁移，请确保您的迁移任务迁移源、目标机不涉及裸金属服务器。 迁移源网络限制 仅支持独享IP，请确认您的迁移源端服务器网络情况。 迁移盘符限制 引导位置必须在第一个盘的第一个分区。 迁移源存储服务限制 不支持共享存储迁移，需确认您的迁移源端服务器是否必须对共享存储作迁移。

本文为您介绍初始化Windows数据盘(Windows 2019)。 操作场景 本示例以“Windows Server 2019 数据中心版64位中文版”操作系统为例，介绍数据盘在Windows中的数据盘初始化操作。 说明 物理机的不同操作系统的格式化操作可能不同，本文仅供参考，具体操作步骤和差异请参考对应操作系统的产品文档。 前提条件 挂载至物理机的云盘数据盘或者物理机的本地数据盘还没有被初始化。 操作步骤 当新增数据盘的容量小于2TB，初始化Windows数据盘的操作共分为两步，具体步骤如下： 登录物理机。 初始化磁盘：根据界面提示完成磁盘初始化，当新增数据盘的容量小于2TB时，分区形式请选择MBR（主启动记录）。 登录物理机 1. 登录控制中心。 2. 单击控制中心左上角的，选择地域，此处我们选择内蒙6。 3. 单击选择“计算>物理机服务”，进入物理机列表页面。 4. 单击需要初始化数据盘的物理机所在列的“操作>远程登录”，登录此台物理机，具体操作可参见登录Windows物理机。 初始化磁盘（MBR分区） 1. 登录成功之后，单击开始图标，在Windows Server区域中选择 “服务器管理器”。跳转至“服务器管理器>仪表板”窗口。 2. 在此页面中，单击右上角的“工具”，在下拉菜单栏中选择“计算机管理”。 3. 在“计算机管理”页面左侧导航栏中，选择“存储>磁盘管理”，进入“磁盘管理”页面。进入磁盘管理页面后，若存在没有初始化的磁盘，系统会自动弹出“初始化磁盘”的窗口，如图： 4. 因未初始化的磁盘容量小于2TB，因此磁盘分区形式勾选“MBR（主启动记录）”，点击“确定”。 5. 在磁盘1的未分配区域右键单击，选择“新建简单卷”，如图： 6. 在弹出的“新建简单卷向导”窗口，根据界面提示，点击“下一页”。 7. 用户根据需要指定卷大小（建议用户在初始化之前就计算好磁盘分区的容量），默认为最大值，单击“下一页”。 8. 勾选分配驱动器号，单击“下一页”。 9. 勾选“按下列设置格式化这个卷”，并根据实际情况设置参数，格式化新分区，这里保持默认值，单击“下一步”窗口跳转至完成页面。 10. 单击“完成”，等待片刻让系统完成初始化操作，当卷状态为“状态良好”时，表示初始化磁盘成功。

本章节主要介绍添加租户。 操作场景 当租户需要根据业务需求指定资源使用情况时，可以在MRS Manager创建租户。 前提条件 根据业务需求规划租户的名称，不得与当前集群中已有的角色或者Yarn队列重名。 如果租户需要使用存储资源，则提前根据业务需要规划好存储路径，分配的完整存储路径在HDFS目录中不存在。 规划当前租户可分配的资源，确保每一级别父租户下，直接子租户的资源百分比之和不能超过100%。 操作步骤 在MRS Manager，单击“租户管理”。 1. 单击“添加租户”，打开添加租户的配置页面，参见以下表格内容为租户配置属性。 租户参数一览表 参数名 描述 “名称” 指定当前租户的名称，长度为1到20，可包含数字、字母和下划线。 “租户类型” 可选参数值为“叶子租户”和“非叶子租户”。当选中“叶子租户”时表示当前租户为叶子租户，无法再添加子租户。当选中“非叶子租户”时表示当前租户可以再添加子租户。 “动态资源” 为当前租户选择动态计算资源。系统将自动在Yarn中以租户名称创建任务队列。动态资源不选择“Yarn”时，系统不会自动创建任务队列。 “默认资源池容量(%)” 配置当前租户在“default”资源池中使用的计算资源百分比。 “默认资源池最大容量(%)” 配置当前租户在“default”资源池中使用的最大计算资源百分比。 “储存资源” 为当前租户选择存储资源。系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。存储资源不选择“HDFS”时，系统不会在HDFS中创建存储目录。 “存储空间配额(MB)” 配置当前租户使用的HDFS存储空间配额。取值范围为“1”到“8796093022208”。单位为MB。此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。 说明 为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500”，则实际只能保存约500/2250MB大小的文件。 “存储路径” 配置租户在HDFS中的存储目录。系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“tenant/ta1”。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。 “服务” 配置当前租户关联使用的其他服务资源，支持HBase。单击“关联服务”，在“服务”选择“HBase”。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。 “描述” 配置当前租户的描述信息。 2. 单击“确定”保存，完成租户添加。 保存配置需要等待一段时间，界面右上角弹出提示“租户创建成功。”，租户成功添加。 创建租户时将自动创建租户对应的角色、计算资源和存储资源。 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制，不支持通过“角色管理”进行手动管理。 使用此租户时，请创建一个系统用户，并分配Managertenant角色以及租户对应的角色。具体操作请参见创建用户。

2）持续数据保护 类型 备份速率（MB/s） 恢复速率（MB/s） 文件系统 300 300 3）文件备份 类型 MB级 或以上大文件 KB级小文件（500K以内） 类型 备份速率（MB/s） 恢复速率（MB/s） 备份速率（MB/s） 恢复速率（MB/s） NAS 150 120 20 20 OSS 160 110 20 20 ECS文件 180 160 20 20 4）整机备份 类型 备份速率（MB/s） 恢复速率（MB/s） 操作系统系统卷 200 160 5）数据库备份 类型 备份速率（MB/s） 恢复速率（MB/s） 1. ECS数据库：MySQL、Oracle、SQL Server、PostGreSQL、OpenGauss 、OceanBase、KingBase、MongoDB 2. 本地数据库：MySQL、Oracle、SQL Server、 PostGreSQL、OpenGauss 、OceanBase、KingBase、MongoDB 150 100 6）ECS整机或云盘备份 ECS整机备份和云盘备份是基于ECS服务器的快照功能，快照所需时间为分钟级别，并取决于整机/云盘实际数据的容量大小。 7）重删压缩比 重删指同一份数据多次备份，只占用一份空间。备端需要的空间和备份计划的设置无关；同一份数据备份第二次，去重率100%（即第二个备份不占用额外的数据空间）。 重删比和数据内容密切相关。二进制文件和多媒体文件（图片、音频、视频）一般不具备去重率。 备份数据本身的重删率参考： 数据类型 重删压缩比 文件 1.5 数据库 2 虚拟机 3 重删压缩比数据（表1）： 数据样本 原始数据量 去重方式 重删压缩比 二进制软件包 302GiB 变长：8KB+压缩（4KB~16KB） 3.44 二进制软件包 302GiB 变长：16KB+压缩（4KB~16KB） 3.41 二进制软件包 302GiB 变长：32KB+压缩（4KB~16KB） 3.29 二进制软件包 302GiB 变长：64KB+压缩（4KB~16KB） 3.14 Oracle 19c全量数据 121.40GiB 变长：8KB+压缩（4KB~16KB） 4.11 Oracle 19c全量数据 121.40GiB 变长：16KB+压缩（4KB~16KB） 4.47 Oracle 19c全量数据 121.40GiB 变长：32KB+压缩（4KB~16KB） 4.82 Oracle 19c全量数据 121.40GiB 变长：64KB+压缩（4KB~16KB） 4.84 （表2）： 备份对象 数据量 备份方式 去重方式 重删压缩比 整机备份 50.59GiB 第1次备份 定长：64KB+压缩 1.8 整机备份 50.59GiB 第2次备份（重复数据） 定长：64KB+压缩 3.59（备了2次） 整机备份 50.59GiB 第3次备份（重复数据） 定长：64KB+压缩 5.38（备了3次） 整机备份 40.03GiB 第1次备份 变长：64KB+压缩（32KB~128KB） 2.32 整机备份 40.03GiB 第2次备份（重复数据） 变长：64KB+压缩（32KB~128KB） 4.57（备了2次） 整机备份 40.03GiB 第3次备份（重复数据） 变长：64KB+压缩（32KB~128KB） 6.82（备了3次） 整机备份 40.03GiB 第1次备份 变长：64KB+压缩（32KB~128KB） 2.3 整机备份 40.03GiB 第2次备份（重复数据） 变长：64KB+压缩（32KB~128KB） 4.6（备了2次） 整机备份 40.03GiB 第3次备份（重复数据） 变长：64KB+压缩（32KB~128KB） 6.85（备了3次） 单纯压缩比例： 1. 最快 1.8 : 1 2. 较快 1.9 : 1 3. 标准 2 : 1 4. 较好 2.2 : 1 5. 最好 2.5 ：1

本文主要介绍关系数据库PostgreSQL版的性能概述及指标说明。 性能概述 天翼云关系数据库PostgreSQL版是一款基于云计算平台的在线关系型数据库服务，完全兼容PostgreSQL 12、13、14、15、16版本，提供单机、主备、一主两备、只读四种实例类型，提供备份、恢复、扩容、监控等数据库服务。 具有即开即用、稳定可靠、安全运行、弹性伸缩等特点，您仅需要简单的几步配置，就可在分钟级获得可用的生产数据库。天翼云数据库专家结合中国电信生产业务实践针对数据库内核及参数不断优化，不断提升服务质量，保证产品的高稳定、高可靠和高可用性。 指标说明 实例性能测试的指标包括： 每秒执行事务数TPS（Transactions Per Second） 数据库每秒执行的事务数，以COMMIT成功次数为准。 SysBench标准OLTP读写混合场景中一个事务包含18个读写SQL。 SysBench标准OLTP只读场景中一个事务包含14个读SQL（10条主键点查询、4条范围查询）。 SysBench标准OLTP只写场景中一个事务包含4个写SQL（2条UPDATE、1条DETELE、1条INSERT）。 每秒执行请求数QPS（Queries Per Second） 数据库每秒执行的SQL数，包含INSERT、SELECT、UPDATE、DETELE、COMMIT等。

数据卷（Volume）使用方式 常见的容器存储数据卷使用方式如下： 静态存储卷：静态存储卷一般是指由管理员创建的PV。所有的数据卷（Volume）都支持创建静态存储卷。静态存储卷先由集群管理员分析集群中存储需求，并预先分配一些存储介质（例如云盘、NAS盘等），同时创建对应的PV对象。创建好的PV对象等待PVC来消费。如果负载中定义了PVC需求，Kubernetes会通过相关规则实现PVC和匹配的PV进行绑定，这样就实现了应用对存储服务的访问能力。 动态存储卷：动态存储卷一般是指通过存储插件自动创建的PV。动态卷一般由集群管理员配置好后端的存储池，并创建相应的模板（StorageClass），当有PVC需要消费PV的时候，根据PVC定义的需求，并参考StorageClass的存储细节，由存储插件动态创建一个PV。StorageClass的定义如下： StorageClass：当您声明一个PVC时，如果在PVC中添加了StorageClassName字段，意味着当PVC在集群中找不到匹配的PV时，会根据StorageClassName的定义触发相应的Provisioner插件创建合适的PV供绑定，即创建动态数据卷。动态数据卷由Provisioner插件创建，并通过StorageClassName与PVC进行关联。StorageClass可译为存储类，表示为一个创建PV存储卷的模板。在PVC触发自动创建PV的过程中，即使用StorageClass对象中的内容进行创建。其内容如下： apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name:aliclouddisktopology parameters: type:cloudssd provisioner:diskplugin.csi.ctyun.com reclaimPolicy:Delete allowVolumeExpansion:true volumeBindingMode:WaitForFirstConsumer 参数 描述 reclaimPolicy 用来指定创建PV的persistentVolumeReclaimPolicy字段值，支持Delete和Retain。 l Delete表示动态创建的PV，在销毁的时候也会自动销毁。 l Retain表示动态创建的PV，不会自动销毁，而是由管理员处理。 allowVolumeExpansion 定义由此存储类创建的PV是否运行动态扩容，默认为false。是否能动态扩容是由底层存储插件来实现的，这里只是一个开关。 volumeBindingMode 表示动态创建PV的时间，支持Immediate和WaitForFirstConsumer，分别表示立即创建和延迟创建。 延迟绑定：针对某类存储（例如天翼云云盘）在挂载属性上有所限制，只能挂载相同可用区的数据卷和节点，不在同一个可用区不可以挂载。这种类型的存储卷通常遇到如下问题： 1、创建了A可用区的数据卷，但是A可用区的节点资源已经耗光，导致Pod启动无法完成挂载。 2、集群管理员在规划PVC、PV的时候不能确定在哪些可用区创建多个PV来备用。 3、StorageClass中的volumeBindingMode字段正是用来解决此问题，如果将volumeBindingMode配置为WaitForFirstConsumer值，则表示存储插件在收到PVC Pending的时候不会立即进行数据卷创建，而是等待这个PVC被Pod消费的时候才执行创建流程。 动态存储卷的优势： 1、动态存储卷让Kubernetes实现了PV的自动化生命周期管理，PV的创建、删除都通过Provisioner完成。 2、自动化创建PV对象，减少了配置复杂度和系统管理员的工作量。 3、动态卷可以实现PVC对存储的需求容量和Provisioner出来的PV容量一致，实现存储容量规划最优。 4、挂在SubPath卷：Kubernetes提供了volumeMounts.subPath属性配置，可用于指定所引用的卷内的子路径，而不是其根路径。

迁移规则须知 暂不支持同步包含TTL（Time To Live）索引的集合。若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。 不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。 针对副本集迁移到分片集的场景没有唯一索引的情况下，会使用id作为分片键。 没有唯一索引的情况下，会使用id作为分片键。 有一个唯一索引的情况下，会使用唯一索引作为分片键。 有多个唯一索引的情况下，由于mongo分片集只允许单一唯一键，会在预检查中告警，在迁移过程中会选择一个唯一键进行迁移，请用户确认是否删除唯一键，或继续迁移。如果继续迁移，内核会选择迁移单个唯一键，并在此唯一键上建立分片键。 有多个唯一索引的情况下，由于mongo分片集只允许单一唯一键，会选择迁移单个唯一键，并使用此唯一键作为分片键。 副本集允许先插入数据再建唯一索引并视为唯一索引值为null，但是分片集插入时不允许无分片键的数据。因此此类特殊数据会出现不一致。 副本集中不包含分片键的数据，不会迁移到分片集中。 操作须知 源库须开启Oplog日志。 源端、目标端实例的运行状态、复制状态必须正常。 在迁移时，如果源库、目标库进行主备切换，将会导致任务异常。 选择表级对象迁移时，增量迁移过程中不允许对表进行重命名操作。 如迁移对象为表级别，则单次迁移任务仅支持迁移最多1000张表。当超出数量限制，任务可能会报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 在DTS迁移期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 在磁盘空间允许的情况下，建议源数据库oplog保存大小或时间越大越好。否则DTS在增量迁移时可能因无法获取oplog而导致任务失败。如果由于您所设置的oplog日志保存策略低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 全量初始化会并发执行INSERT操作，导致目标数据库的集合产生碎片，因此全量初始化完成后目标实例的集合空间比源实例的集合空间大。建议目标库的存储空间比源库大10%以上。 建议源和目标库的MongoDB的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。如为高版本同步至低版本，可能存在数据库兼容性问题。 执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步，否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。

接口描述：调用本接口查询域名的IP地址，及ip对应的区域，运营商信息 请求方式：post 请求路径：/auxiliarytools/queryvipsdetailbydomain 使用说明： 单个用户一分钟限制调用10000次，并发不超过100 请求参数说明（json）： 参数 类型 是否必传 名称 描述 ::::: domain list 是 域名列表 最多支持５个 返回参数说明： 参数 类型 是否必传 名称及描述 :::: code int 是 状态码 message string 是 描述信息 result list 否 返回结果数组 result[].domain string 否 域名 result[].details list 否 域名对应的vip列表信息 result[].details[ ].vips string 否 vip信息，多个用逗号“,”分割 result[].details[ ].cityName string 否 城市名称 result[].details[ ].nodename string 否 节点名称 result[].details[ ].provinceName string 否 省份名 result[].details[ ].ispName string 否 运营商名称 示例： 请求路径： 请求参数： { "domain":[ "test.ctyun.cn" ] } 返回结果： { "code": 100000, "message": "success", "result": [ { "domain": "test.ctyun.cn", "details": [ { "vips": "xx.xx.xx.xx,xx:xx:xx:xx::", "cityName": "呼和浩特市", "nodename": "xxx1", "provinceName": "内蒙古自治区", "ispName": "中国电信" }, { "vips": "xx.xx.xx.xx,xx:xx:xx:xx::", "cityName": "通州区", "nodename": "xxx2", "provinceName": "北京市", "ispName": "中国电信" } ] } ] } 错误码请参考：参数code和message含义

为保障实例的稳定及安全，建议您在操作前仔细阅读本文为您介绍的天翼云关系型数据库MySQL实例级别的使用规范。 数据库实例类型选择 主备： 一主一备、一主多备的经典高可用架构。适用于政企、金融、医疗等大中型企业的生产数据库。 备机提高了实例的可靠性，主机与备机同步创建，备机具备数据备份、灾备等功能。 当主节点故障后，会发生主备切换，数据库客户端会发生短暂中断，数据库客户端需要支持重新连接。 单机： 具有较高性价比，与主流的主备实例相比，单机只包含一个节点。 适用于个人学习、测试，及微小型公司的生产环境。 单机无灾备功能，出现故障后无法进行切换。 只读： 单机版只读实例，推荐开启数据库代理功能，并购买冗余的单机版只读实例。当单个只读故障后，数据库代理可以将流量分担到其他只读节点。 天翼云官方推荐两种架构，以供参考： 1. 主实例下包含2个及以下只读实例时，高可用只读作用比较好。 2. 两个以上只读实例，建议开启数据库代理，获得更好的性价比。 说明 更多实例类型信息，请参见实例类型。 数据库实例规格选择 主机类型：目前提供四种主机类型（可能出现部分主机类型售罄，导致主机类型不存在）如下表： 主机类型 类型说明 2系列 提供基本水平的vCPU性能、平衡的计算、内存和网络资源，在主机负载较轻时，可以提供较高的计算能力，在主机负载较重时无法保证实例计算性能的稳定，但是性价比更高。 适用于对成本比较敏感、对性能抖动容忍度较高的场景。 3系列 采用第一代英特尔® 至强® 可扩展处理器 （Sky Lake）， 基于新一代虚拟化平台，使用NUMA(Non Uniform Memory Access Architecture)绑定技术， 配套10GE网卡，搭载全新网络加速引擎以及DPDK(Data Plane Development Kit)快速报文处理机制，提供强劲稳定的计算性能、更高网络带宽和PPS收发包能力。 适用于对计算与网络有一定要求的场景，如小型网站、轻量级研发测试环境、中小型数据库等。 6系列 采用第二代英特尔® 至强® 可扩展处理器 （Cascade Lake）， 基于新一代虚拟化平台，使用NUMA(Non Uniform Memory Access Architecture)绑定技术， 配套25GE网卡，搭载全新网络加速引擎以及DPDK(Data Plane Development Kit)快速报文处理机制，提供强劲稳定的计算性能、更高网络带宽和PPS收发包能力。 适用于对计算与网络有一定要求的场景，如通用数据库及缓存服务器、中重载企业应用等。 7系列 采用第三代英特尔® 至强® 可扩展处理器 （Ice Lake）， 基于新一代虚拟化平台，使用NUMA(Non Uniform Memory Access Architecture)绑定技术， 配套25GE网卡，搭载全新网络加速引擎以及DPDK(Data Plane Development Kit)快速报文处理机制，提供更强劲稳定的计算性能、更高网络带宽和PPS收发包能力。 适用于对计算与网络有更高性能要求的Web应用、电商平台、短视频平台、在线游戏、保险金融等各类中重载企业应用。 规格： 目前提供的CPU内存规格有：1C4G、2C4G、2C8G、2C16G、4C8G、4C16G、4C32G、8C16G、8C32G、8C64G、16C32G、16C64G、16C128G、32C64G（可能出现部分规格售罄，导致部分规格不存在）。

创建OBS连接 1.单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面。 详见下图：选择连接器类型 2.连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数。 名称：用户自定义连接名称，例如“obslink”。 OBS服务器、端口：配置为OBS实际的地址信息。 访问标识（AK）、密钥（SK）：登录OBS的AK、SK。 3.单击“保存”回到连接管理界面。 创建迁移作业 1.选择“表/文件迁移 > 新建作业”，开始创建从MySQL导出数据到OBS的任务。 详见下图： 创建MySQL到OBS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 −源连接名称：选择创建MySQL连接中的“mysqllink”。 −使用SQL语句：否。 −模式或表空间：待抽取数据的模式或表空间名称。 −表名：要抽取的表名。 −其他可选参数一般情况下保持默认即可，详细说明请参见配置常见关系数据库源端参数。 目的端作业配置 −目的连接名称：选择创建OBS连接中的“obslink”。 −桶名：待迁移数据的桶。 −写入目录：写入数据到OBS服务器的目录。 −文件格式：迁移数据表到文件时，文件格式选择“CSV格式”。 −高级属性里的可选参数一般情况下保持默认既可，详细说明请参见 配置OBS目的端参数。 2.单击“下一步”进入字段映射界面，CDM会自动匹配源和目的字段，如下图“表到文件的字段映射”所示。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换。 3.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，请参见 配置定时任务。这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。CDM支持并发抽取MySQL数据，如果源表配置了索引，可调大抽取并发数提升迁移速率。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据，建议配置写入脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。 4.单击“保存并运行”，回到作业管理界面，在作业管理界面可查看作业执行进度和结果。 5.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。

本文介绍存储资源盘活系统的软件许可证订购操作。 软件许可证订购途径 1. 天翼云官网：在存储资源盘活系统产品详情页点击“订购软件”，进入订购存储资源盘活系统页面，进行订购。本节仅介绍此种订购方式。 2. 中国电信数字化原子能力平台：请在平台帮助指引下进行操作。 前提条件 您已经成功安装存储资源盘活系统，执行命令./stor info，获取HBlock序列号，用于进行软件许可证的申请。 注意 生成的软件许可证仅能用于该序列号对应的HBlock系统，不能在其他环境中使用。 操作步骤 1. 在存储资源盘活系统产品详情页点击“订购软件”，进入订购存储资源盘活系统页面，进行订购。 2. 在“订购存储资源盘活系统”页面中，选择许可证类型，输入序列号，设置容量和订购时长等信息。 订购参数 描述 许可证类型 许可证类型： 订阅模式：控制产品提供的本地卷的存储容量以及有效时长，按照容量和时长收费，到期后管理功能不可用，即无法再使用命令行、API或者Web页面执行HBlock的管理操作。 永久模式：控制产品提供的本地卷的存储容量以及维保时间，按照容量和维保收费，到期后软件可以正常使用，但是不再提供售后支持。 具体详见计费模式。 HBlock序列号 用于生成软件许可证的HBlock环境信息。 说明 请确保已完成HBlock安装，执行./stor info命令可查询HBlock序列号。生成的软件许可证仅能用于该序列号对应的HBlock系统，不能在其他环境中使用。 HBlock名称 HBlock环境的描述信息。 容量设置 控制软件许可证可以支持的所有本地卷的总的存储容量。 说明 支持通过“自定义容量”和“容量包”叠加的方式进行设置。最后按照“总容量”进行软件许可证的生成。 有效时长 仅针对订阅模式。到期后管理功能不可用，即无法再使用命令行、API或者Web页面执行HBlock的管理操作。 维保时长 仅针对永久模式。到期后软件可以正常使用，但是不再提供售后支持。 3. 确认无误后勾选“我已阅读，理解并同意《天翼云存储资源盘活系统服务协议》”，再单击“立即购买”，完成支付，等待天翼云工作人员和您联系，确认许可证的信息，并进行许可证的交付。

如何在Linux虚机中创建文件系统子目录并完成挂载? 前提条件： 您已成功挂载弹性文件系统到ECS Linux虚机上，挂载路径例如：/mnt/dir，您可以在/mnt/dir目录下创建弹性文件子目录 操作步骤： 1. 在Linux弹性云主机中创建文件系统的子目录： mkdir /mnt/dir/subdir 2. 创建用于挂载文件系统的本地目录： mkdir /tmp/mnt 3. 重新挂载文件系统： mount t nfs o vers3,prototcp,async,nolock,noatime,nodiratime,noresvport,wsize1048576,rsize1048576,timeo600 挂载地址 本地挂载路径 挂载点被误删导致Linux服务器异常，如何处理? 问题描述： 在Linux操作系统中，假设通过挂载点挂载了一个弹性文件系统。然后在弹性文件控制台上删除了该挂载点，导致Linux系统出现了执行命令卡顿、无响应等异常情况。 解决方案： 1. 在Linux虚机服务器中，按下Ctrl+C，中断当前正在执行的命令。 2. 执行挂载命令，查看挂载信息。通过挂载信息，获取当前挂载路径，例如/mnt/test。 3. 执行 umount f /mnt/data命令，强制卸载文件系统。 4. 卸载完成后，您可以重新创建挂载点，并尝试重新挂载文件系统。 通过以上解决方案，您可以解决由于删除了挂载点导致的Linux系统异常情况。请确保在重新挂载文件系统之前，先进行卸载操作。 多进程或多客户端并发写同一文件可能导致数据异常，此种情况如何避免? 问题描述： 弹性文件服务提供了多客户端共享读写文件的能力，但在多进程或多客户端并发写入同一个文件的场景中（例如并发写入同一个日志文件），由于NFS协议本身不支持原子追加操作，可能会导致写覆盖、交叉、串行等异常现象。 解决方案： 在不同进程或不同客户端中将写入的数据分别保存到不同的文件中，然后在后续的分析处理阶段再进行归并操作。这种方案可以很好地解决并发写入导致的问题，同时无需使用文件锁，对性能影响较小。 对于并发追加写入同一个文件（如日志）的场景，可以使用flock+seek机制来保证写入的原子性和一致性。但是flock+seek是一个相对耗时的操作，可能会对性能产生显著影响。

本章节主要介绍记录数据迁移入库时间。 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 创建表/文件迁移作业 1.在创建表/文件迁移作业时，选择已创建的源端连接器、目的端连接器。 图 配置作业 2.单击“下一步”，进入“字段映射”配置页面后，单击源字段图标。 图 配置字段映射 3.选择“自定义字段”页签，填写字段名称及字段值后单击“确认”按钮，例如： 名称：InputTime。 值：${timestamp()}，更多时间宏变量请参见下表。 图 添加字段 表 时间变量宏定义具体展示 宏变量 含义 实际显示效果 ${dateformat(yyyyMMdd)} 以yyyyMMdd格式返回当前时间。 20171016 ${dateformat(yyyy/MM/dd)} 以yyyy/MM/dd格式返回当前时间。 2017/10/16 ${dateformat(yyyyMMdd HH:mm:ss)} 以yyyyMMdd HH:mm:ss格式返回当前时间。 20171016 09:00:00 ${dateformat(yyyyMMdd HH:mm:ss, 1, DAY)} 以yyyyMMdd HH:mm:ss格式返回时间，时间为当前时间的前一天。 20171015 09:00:00 ${timestamp()} 返回当前时间的时间戳，即1970年1月1日（00:00:00 GMT）到当前时间的毫秒数。 1508115600000 ${timestamp(10, MINUTE)} 返回当前时间点10分钟前的时间戳。 1508115000000 ${timestamp(dateformat(yyyyMMdd))} 返回今天0点的时间戳。 1508083200000 ${timestamp(dateformat(yyyyMMdd,1,DAY))} 返回昨天0点的时间戳。 1507996800000 ${timestamp(dateformat(yyyyMMddHH))} 返回当前整小时的时间戳。 1508115600000 说明 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 这里“添加字段”中“自定义字段”的功能，要求源端连接器为JDBC连接器、HBase连接器、MongoDB连接器、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 4.单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理”界面，支持作业分组显示、按组批量启动作业、按分组导出作业等操作。 是否定时执行：如果需要配置作业定时自动执行，这里保持默认值“否”。 抽取并发数：设置同时执行的抽取任务数。这里保持默认值“1”。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入数据前需要先配置好OBS连接。这里保持默认值“否”即可，不记录脏数据。 作业运行完是否删除：这里保持默认值“不删除”。 5.单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 6.作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。