本节为您介绍如何通过云主机创建整机镜像,包括Linux和Windows操作系统。 操作场景 您可以使用弹性云主机将其挂载的数据盘一起创建整机镜像，云主机整机镜像包含系统盘与数据盘，使用挂载有数据盘的云主机创建的整机镜像包含操作系统、应用软件，以及用户的业务数据。可用于快速发放相同配置的弹性云主机，实现数据迁移。 前提条件 系统盘或数据盘加密的云主机不可创建整机镜像。 整机镜像只能通过云主机创建，不能通过镜像文件创建。 如果只有系统盘的云主机，不支持创建整机镜像，请选择系统盘镜像。 当删除整机镜像时，对应的整机备份同时删除。 使用整机镜像购买云主机时，在磁盘选项里面，系统盘与数据盘的类型与整机镜像的系统盘数据盘类型相同，不可更改。数据盘大小不可更改，系统盘大小必须大于等于整机镜像中的系统盘大小。如整机镜像有多块数据盘，则购买页面亦有多块数据盘，且不能删除数据盘。计费标准与正常挂载数据盘一致。 整机镜像不支持导入、导出功能。 节省关机状态下的云主机不支持创建镜像。 整机镜像占用磁盘大小范围为1 GiB~2048 GiB，且整机镜像的单盘大小不超过1024GiB。 注意 请确保已删除实例中的敏感数据，避免数据安全隐患。 弹性云主机与其创建的私有镜像属于同一个地域，不能跨地域使用。 创建私有镜像的过程中，请勿对所选云主机及其相关联资源进行任何操作。 创建整机镜像所需时间取决于云主机系统盘的大小，私有镜像创建完成才可以使用，请您耐心等待。

本文主要介绍创建迁移任务 操作场景 使用对象存储迁移服务创建对象存储任务，对业务环境的对象数据实施迁移。 如果待迁移的整桶数据超过3TB或者对象个数超过500万，建议使用创建迁移任务组进行数据迁移。 前提条件 已获取源端和目的端账号的AK/SK。 源端账号拥有list Bucket，get BucketLocation，list Object，head Object，get Object等权限，具体权限获取方式请联系源端云服务商。 list Bucket、get BucketLocation权限在迁移前选择桶时使用，如果使用指定桶名时可不用配置。 目的端拥有OBS OperateAccess权限，获取方式请参见创建IAM用户并授权使用OBS。 已在天翼云OBS服务中创建桶。 操作步骤 步骤 1在浏览器中输入 步骤 2单击左侧导航栏的“迁移实施”页签，展开右侧出现的“对象存储迁移”页签，单击“迁移任务 > 创建迁移任务”，仔细阅读弹出的隐私协议声明，勾选“同意以上隐私协议”，单击“确定”，进入“创建迁移任务”页面。 创建迁移任务 阅读，同意对象存储服务隐私协议，单机确认。 步骤 3选择源端/目的端。 选择源端 源端选择参数： 参数 说明 : 数据源 待迁移的源端云服务提供商。 appID 如果源端云服务提供商为腾讯云，则需要输入该参数，appID 是您腾讯云帐户的一个标识。 访问密钥 源端云服务提供商的访问密钥（AK）。最大长度是100个字符。 私有访问密钥 源端云服务提供商的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。 区域 源端云服务提供商所在区域 桶名 待迁移数据所在的桶。 选择目的端： 目的端选择参数 参数 说明 : 数据源 云服务提供商，选择天翼云 访问密钥 天翼云的访问密钥（AK）。最大长度是100个字符。 私有访问密钥 天翼云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。输入访问密钥和私有访问密钥后，请单击“连接目的端桶”。 桶名 存放迁移数据的天翼云OBS桶。 步骤 4单击“下一步”，设置任务参数。 步骤 5选择迁移方式。 选择文件/文件夹 单击“选择”，选择待迁移的文件或文件夹后，单击“确定”。对于已选择的文件或文件夹，您可以单击从迁移对象列表中删除。 如果选择的云服务提供商为七牛，则不支持选择文件/文件夹。 若不设置该参数，则默认迁移全桶数据。 针对每个迁移任务，在同一目录层级下，您最多可以选择500个文件或文件夹。 由于OBS服务的规格限制，请确认对象迁移到目的端后的名称不超过1024个字符，否则将导致任务失败。 指定对象列表 指定对象列表方式，一般用于增量迁移场景，用户需要将待迁移的源端对象名称写入对象列表文件，并将生成的对象列表文件放在天翼云OBS桶中，对象存储迁移服务将会迁移指定对象列表文件中的所有对象。 b.选择“列表文件所在桶（天翼云）”。 此参数中列出的桶是通过输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。 c.在“对象列表文件”区域内单击“选择”，选择用户指定的对象列表文件，单击“确定”。 对象列表文件大小不能超过100MB。 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 对象列表文件必须是UTF8无BOM格式编码格式。 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL Encode编码。 对象列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 对象列表文件中每行长度不要超过65535，否则会导致迁移失败。 对象列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。 对象列表文件如果是归档数据，迁移前需要先手动恢复，对象存储迁移服务才能访问和获取。 输入对象前缀 在“添加对象数据”区域内输入对象数据名称或者名称前缀，系统会自动匹配出数据。您可以单击，从这些匹配到的迁移数据列表中删除不需要迁移的数据。 若不添加该参数，则默认迁移全桶的数据。 指定URL列表 指定URL列表方式，一般适用于HTTP或HTTPS源端的迁移场景，用户需要将待迁移的文件URL和目的端对象名称写入URL列表文件，并将生成的URL列表文件放在天翼云OBS桶中，对象存储迁移服务将会迁移指定URL列表文件中的所有对象。 d.选择“列表文件所在桶（天翼云）”。 此参数中列出的桶是通过输入的目的端AK/SK得到的桶列表。 请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。 出于安全考虑，若您的源端同时支持HTTP和HTTPS协议，建议迁移时使用HTTPS协议；若使用HTTP协议，会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。 URL列表迁移不支持URL重定向。 e.在“选择URL列表文件”区域内单击“选择”，选择用户指定的URL列表文件，单击“确定”。 URL列表文件大小不能超过100MB。 URL列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。 URL列表文件必须是UTF8无BOM格式编码格式。 URL列表文件中每行只能包含一个URL和目的端对象名称。 URL列表文件中每行长度不要超过65535，否则会导致迁移失败。 URL列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。 URL列表文件中每行使用制表符t分割URL和目的端对象名称，格式为：[URL][制表符][目的端对象名称]，其中目的端对象名称使用URL Encode编码，例如： doc%2f%e6%96%87%e4%bb%b61.txt doc%2fthefile2.txt the%20file.txt the+file2.txt doc/thefile.txt 以上示例中，URL所表示的文件，被复制到目的端桶后，对象会被分别命名为：doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。 URL列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 步骤 6（可选）设置“源端参数”。 当您的源端云服务提供商提供了下表中首列相应的功能时，才会出现此部分参数。 源端参数 参数 说明 : 源端使用自定义域名下载 当默认域名不能满足您的迁移需求，比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用，且您的源端云服务提供商支持自定义域名时，可以勾选此选项。说明当源端云服务提供商是七牛云时，因其对默认域名的使用做了限制，为确保您的迁移顺利进行，系统已为您自动勾选此参数。勾选此选项后，进行如下设置：在“自定义域名传输协议”中选择传输协议。说明HTTP协议安全级别低于HTTPS协议，推荐使用HTTPS协议。填写“桶自定义域名”。如果您使用了源端云服务提供商提供的CDN鉴权，则选择“启用CDN鉴权校验”，并配置校验类型和秘钥。说明l您需要参见源端云服务提供商的相关资料配置CDN后，才能使用CDN相关功能。l使用源端CDN产生的费用遵从源端云服务提供商的计费规则，费用由源端云服务提供商向您收取。l不支持URl重定向。单击“检查”，检查配置是否正确。l如果检查未通过，请单击“详情”查看未通过的原因。l如果检查通过，则可继续进行其他迁移配置。 解冻归档数据 归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。l勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。l不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。说明l目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。l解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。l解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。l归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。l对象存储数据从源端云服务提供商迁移到天翼云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 步骤 7单击“高级选项”后面“展开”，展开高级选项参数。 步骤 8（可选）设置高级选项参数。 高级选项参数 参数 说明 : 服务端加密 如果勾选“KMS”，对迁移数据进行KMS服务端加密后再存储至目的OBS桶中。说明使用KMS服务端加密可能会降低迁移速率10%左右。当前区域支持KMS加密时，此参数方可用。 记录失败对象 选择是否记录迁移失败的对象。l选择“否”，则不记录迁移失败的对象。如果迁移失败，只能全量重传。l选择“是”，记录迁移失败的对象。如果迁移失败，支持只对迁移失败对象进行重传。说明迁移失败的对象将被记录在一个以任务名称命名的失败对象列表文件中，普通任务：上传到目的端桶的“oms/failedobjectlists/”路径下；任务组任务：上传到目的端桶的“oms/failedobjectlists”路径下。该文件记录了迁移任务失败的摘要信息，包括：失败原因、发生时间（参照当前区域所属时区）、失败对象（经过URL编码）、失败对象（未经过URL编码）、源端SDK返回的错误码。当迁移失败对象重传成功后，失败对象列表文件仍会保留在目的端。您如果不再需要该文件，请手动删除。 解冻归档数据 归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。l勾选：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。l不勾选：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。说明l目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。l解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。l解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。l归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。l对象存储数据从源端云服务提供商迁移到天翼云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 迁移指定时间后的对象 选择是否使用时间过滤源端待迁移对象。l选择“否”，不过滤源端待迁移对象。l选择“是”，仅迁移在指定时间之后修改的源端待迁移对象。需要单击，设置迁移指定时间。 流量控制 设置迁移任务在指定时段的最大流量带宽。l选择“否”，不进行流量控制。l选择“是”，进行流量控制。需要执行以下步骤：1.单击“新增流量控制”。下方新增一条规则记录。2.在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。限制最大流量的数值范围：1~ 200MB/s。3. 重复步骤，增加新的流量控制规则。您也可以单击“操作”栏的，删除本行记录。说明最多可以创建5条记录。即使在创建任务后，您也可以在任务详情中继续设置流量控制规则。 描述 输入本次迁移任务的简单描述信息。最多可输入255个字符。 步骤 9 单击“下一步”，进入确认信息页面。 步骤 10 确认迁移信息的设置，并启动迁移。 1.浏览各项迁移参数的设置是否正确。 如果有误，可以单击“上一步”返回之前的页面进行修改。 2.单击“开始迁移”。 提示创建迁移任务成功。查看迁移任务列表已新增该任务。 关于迁移任务状态，参见查看迁移任务。 任务创建后，会生成一个任务ID供您快速识别。它显示在列表中任务的左上角，由源端桶名+目的端桶名+时间序列标识拼接而成。

本节将介绍工作空间的定义、类型和基本操作等内容。 什么是工作空间？ 工作空间（Workspace）属于态势感知（专业版）顶层工作台。 空间管理： 单个工作空间可绑定普通项目，可支撑不同场景下的工作空间运营模式。 空间托管： 工作空间数据委托：单租所有工作空间按照租户实际运营汇聚到某一个工作空间做集中安全运营，跨租汇聚安全运营。 工作空间委托：跨账号安全运营，可实现工作空间委托集中安全运营查看统一资产风险、告警和事件等。 什么是数据空间？ 数据空间是进行数据分组、负载、流控单元。同一数据空间的数据共享同一载均衡策略。 什么是数据管道？ 数据传输消息主题和存储索引组合为数据管道。 工作空间通用规则 单账号单Region内最多创建5个工作空间。 一个工作空间中最多可创建5个数据空间。 一个数据空间中最多可创建20个数据管道。

数据加密 推荐使用HTTPS协议访问天翼云媒体存储，可以有效提高数据传输过程中的安全性。HTTPS是一种互联网通讯协议，它可以有效防止潜在攻击者使用中间人攻击或类似攻击来窃听或操纵网络流量。我们推荐访问天翼云媒体存储的时候，使用HTTPS进行数据传输。 敏感或者静态数据，推荐您对数据进行加密存储，能避免数据泄露风险。天翼云媒体存储支持服务端加密，当用户配置服务端加密后，将对收到的文件进行加密，再将加密文件持久化保存。当用户通过请求下载文件时，天翼云媒体存储自动将加密文件先解密再返回给用户。详情参考：服务端加密。 数据备份和灾难恢复 建立完善的数据备份机制和灾难恢复计划，以应对意外事件，确保数据的可用性，完整性和安全性。 建议启用版本控制，可以有效应对对象数据误删除，误覆盖的场景。版本控制功能是一种在相同的桶中保留对象的多个版本的策略。当发生数据被误删除或者被误覆盖的时候，可以通过对象多版本，快速恢复误删除/误覆盖的对象数据。详情参考：版本控制。 使用桶复制实现跨区域拷贝，构建数据异地备份，实现异地数据容灾。天翼云媒体存储提供了桶复制功能，他可以帮助您自动进行异地数据备份，实现异地数据容灾的作用。详情参考：存储桶复制。

本章节主要介绍作业配置管理。 CDM作业管理界面的“配置管理”页签，主要操作如下： CDM作业最大抽取并发数 CDM作业定时备份/恢复 CDM作业参数的环境变量 CDM作业最大抽取并发数 最大抽取并发数取值范围为1300，用于限制作业运行的总抽取并发数。如果当前所有作业总并发数超过限制，超过部分将排队等待。请您参考各单作业抽取并发数估算最大总抽取并发数。 单作业的抽取并发量配置原则如下： CDM迁移作业的抽取并发数，与集群规格和表大小有关。并发抽取数取值范围为1300，若配置过大，则以队列的形式进行排队。 建议每1CUs（1CUs1核4G）配置为4，如下表所示，您也可以根据实际情况进行调整。另外，每行数据大小为1MB以下的可以多并发抽取，超过1MB的建议单线程抽取数据。 说明 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 单作业的抽取并发数，受到作业“配置管理”中所配置的“最大抽取并发数”影响。“最大抽取并发数”配置的是抽取并发总数。 表 抽取并发数参考配置 CDM集群规格 vCPUs/内存 抽取并发数参考配置 cdm.large 8核16GB 16 cdm.xlarge 16核32GB 32 cdm.4xlarge 64核128GB 128

本文主要介绍CoapClient监控 介绍APM采集的CoapClient监控指标的类别、名称、含义等信息。 表调用接口指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 ::::::: 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） url url 请求的url ENUM LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） requestType 报文类型 该调用的报文类型 ENUM LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） concurrentMax 最大并发 该方法的最大并发 INT MAX 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） errorCount 错误数 该方法的错误数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） invokeCount 调用次数 该方法的调用次数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） maxTime 最大响应时间 该方法在采集周期内最大响应时间 INT MAX 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） runningCount 正在执行数 该方法在采集时间点正在执行数量 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range1 010ms 响应时间在010ms范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range2 10100ms 响应时间在10100ms范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range3 100500ms 响应时间在100500ms范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range4 5001000ms 响应时间在5001000ms范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range5 110s 响应时间在110s范围请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） range6 10s以上 响应时间在10s以上请求数 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） totalTime 总响应时间 该方法的总响应时间 INT SUM 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） method 请求类型 该调用的请求类型 ENUM LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） errorTraceId 错误traceId 采集周期内发生错误的调用链对应的traceid STRING LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） slowTraceId 慢traceId 采集周期内最慢的调用链对应的traceid STRING LAST 接口监控（detail，以接口、报文类型、请求类型为维度统计接口调用数据。） lastError 错误信息 错误信息 STRING LAST 状态码（statusInfo ，以接口返回的状态码维度统计接口调用数据。） statusInfo 状态码 状态码 ENUM LAST 状态码（statusInfo ，以接口返回的状态码维度统计接口调用数据。） count 调用次数 该状态码的发生次数 INT SUM 状态码（statusInfo ，以接口返回的状态码维度统计接口调用数据。） url 采样url 该状态码在采集周内采样的url STRING LAST 集群调用(CON类报文)（clustercon，以调用方集群id维度统计接口调用数据(CON类报文)。） clusterId 集群id 调用方的集群id ENUM LAST 集群调用(CON类报文)（clustercon，以调用方集群id维度统计接口调用数据(CON类报文)。） invokeCount 调用次数 该集群的调用次数 INT SUM 集群调用(CON类报文)（clustercon，以调用方集群id维度统计接口调用数据(CON类报文)。） totalTime 总响应时间 该集群调用的总响应时间 INT SUM 集群调用(CON类报文)（clustercon，以调用方集群id维度统计接口调用数据(CON类报文)。） errorCount 错误次数 该集群调用的错误次数 INT SUM CoapClient版本（version） version 版本 版本 STRING LAST

LTS折线图 折线图属于趋势类分析图表，一般用于表示一组数据在一个有序数据类别（多为连续时间间隔）上的变化情况，用于直观分析数据变化趋势。在折线图中，可以清晰的观测到数据在某一个周期内的变化，主要反映在： 递增性或递减性 增减的速率情况 增减的规律（如周期变化） 峰值和谷值 所以，折线图是用于分析数据随时间变化趋势的最佳选择。同时，也可以绘制多条线用于分析多组数据在同一时间周期的变化趋势，进而分析数据之间的相互作用和影响（如同增同减，成反比等）。 查看折线图 1. 登录管理控制台，选择“管理与部署 > 云日志服务 LTS”，进入“日志管理”页面。 2. 在日志管理页面中，选择目标日志组和日志流，进入日志流详情页面。 3. 选择“日志分析”。 4. 输入查询和分析语句，设置查询和分析的时间范围，单击“查询”。 5. 单击图标，使用折线图展示查询数据。在通用配置下方，参考下表配置参数。 类别 参数 说明 标准配置 格式化 在下拉框选择K,Mil,Bil 、1000000 或Byte,KB,MB等格式，将Y轴按照指定格式进行显示。 标准配置 单位 自定义配置Y轴的单位。 标准配置 小数点位数 设置显示数值小数点位数。 标准配置 图表名称字号 设置图表名称的字号大小。 查询分析设置 X轴数据 支持数字或字符串数据。 查询分析设置 Y轴数据 支持数字或字符串数据，可以选择多个数据。 查询分析设置 维度列 请从下拉列表中选择，一般为有序数据类别。 查询分析设置 趋势对比 当X轴为时间数据时，且不设置维度列时，可开启该按钮。 开启后，设置比较对象时间，时间小于等于24小时。设置完成后，将当前时间的数据与对象时间数据进行比较。 图例配置 隐藏图例 开启后，可以隐藏图例和对比值的显示。 图例配置 图例位置 选择图表顶部或图表右边。 图例配置 对比数值 选择显示最大值、最小值、平均值、求和值等，可勾选多个。 图形配置 连接方式 设置线图显示格式，可选择直线或曲线。 图形配置 线宽 折线的线宽。 图形配置 是否显示点 开启该功能后，显示折线的连接点。 图形配置 上边距 坐标轴距离图表上边界距离。 图形配置 下边距 坐标轴距离图表下边界距离。 图形配置 左边距 坐标轴距离图表左边界距离。 图形配置 右边距 坐标轴距离图表右边界距离。 Tooltip配置 排序方式 提示框配置，当Y轴数据选择多个时，可对其进行排序显示。 X轴 显示X轴 开启后，显示X轴数据。 X轴 X轴名称 设置X轴名称。 Y轴 显示Y轴 开启后，显示Y轴数据。 Y轴 Y轴名称 设置Y轴名称。 Y轴 Y轴位置 设置Y轴位置，左边或者右边。

本文介绍了如何通过数据传输服务DTS跨账号迁移天翼云关系数据库MySQL版数据。 前提条件 源端 账号权限要求： 对MySQL库的查询权限。 对待迁移库的查询权限。 部分全局权限：RELOAD、LOCK TABLES、REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW、PROCESS。 如果是整实例迁移，需要对所有数据库的查询权限。 其他要求： 已绑定公网eip。 目标端 账号权限要求： 需要以下全局权限：ALTER、ALTER ROUTINE、CREATE、CREATE ROUTINE、CREATE TEMPORARY TABLES、CREATE USER、CREATE VIEW、DELETE、DROP、EVENT、EXECUTE、INDEX、INSERT、LOCK TABLES、PROCESS、RELOAD、SELECT、SHOW DATABASES、SHOW VIEW、TRIGGER、UPDATE。 其他要求： 已创建关系数据库MySQL版。 已绑定公网eip。 注意 这里的源端是指需要跨账号迁移的源天翼云数据库。 约束限制 如迁移对象为表级别，则单次迁移任务仅支持迁移最多600张表。当超出数量限制，任务会在提交后会请求报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 源数据库GTID状态建议为开启状态，源数据库实例没有开启GTID的情况下DTS不支持主备HA切换，因为DTS任务会因为位点不续接而中断导致无法恢复。 目标库关联RDS数据库的字符集必须与源数据库一致。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为7天。否则DTS在增量迁移时可能因无法获取Binlog而导致任务失败。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 目标实例及关联RDS实例的运行状态必须正常，若关联RDS实例是主备实例，复制状态也必须正常。 目标库关联RDS实例必须有足够的磁盘空间。（全量数据迁移会并发执行 INSERT 操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大，且会产生大量的BINLOG，占用大量空间）。 目标库实例若选择将时间戳类型（TIMESTAMP，DATETIME）的列作为分片键，则源库数据在迁移到目标库之后，作为分片键的该时间戳类型列的秒精度将被丢弃。 由于DTS不迁移USER信息，因此在调用目标库的视图、存储过程和函数时需要对调用者授予读写权限。 在任务启动、任务全量迁移阶段，不建议对源数据库做删除类型的DDL操作，这样可能会引起任务迁移失败。 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 迁移过程中，不允许对源库需要迁移的表结构进行修改。 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。 增量迁移场景下，不支持源数据库进行恢复操作。 增量迁移场景下，不支持无主键表的数据增量迁移，因为无主键表的增量迁移性能远低于有主键的表，而且不能保证数据的一致性。 说明 详细信息请参考

本文介绍了如何通过数据传输服务DTS将数据从其他云数据库迁移至天翼云关系数据库MySQL版。 前提条件 源端 账号权限要求： 对MySQL库的查询权限。 对待迁移库的查询权限。 部分全局权限：RELOAD、LOCK TABLES、REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW、PROCESS。 如果是整实例迁移，需要对所有数据库的查询权限。 其他要求： 已开通公网访问，并能获取外网连接地址。 目标端 账号权限要求： 需要以下全局权限：ALTER、ALTER ROUTINE、CREATE、CREATE ROUTINE、CREATE TEMPORARY TABLES、CREATE USER、CREATE VIEW、DELETE、DROP、EVENT、EXECUTE、INDEX、INSERT、LOCK TABLES、PROCESS、RELOAD、SELECT、SHOW DATABASES、SHOW VIEW、TRIGGER、UPDATE。 其他要求： 已创建关系数据库MySQL版。 已绑定弹性公网IP。 约束限制 如迁移对象为表级别，则单次迁移任务仅支持迁移最多600张表。当超出数量限制，任务会在提交后会请求报错。如果遇到这种情形，建议您拆分待迁移的表，分批配置成多个任务，或者配置为整库迁移。 源数据库GTID状态建议为开启状态，源数据库实例没有开启GTID的情况下DTS不支持主备HA切换，因为DTS任务会因为位点不续接而中断导致无法恢复。 目标库关联RDS数据库的字符集必须与源数据库一致。 目标库若已存在行数据，DTS在增量迁移过程中源库相同主键的数据将覆盖目标库已存在的数据，因此在迁移前需要用户自行判断数据是否需要清除，建议用户在迁移前自行清空目标库。 MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为7天。否则DTS在增量迁移时可能因无法获取Binlog而导致任务失败。由于您所设置的Binlog日志保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。 目标实例及关联RDS实例的运行状态必须正常，若关联RDS实例是主备实例，复制状态也必须正常。 目标库关联RDS实例必须有足够的磁盘空间。（全量数据迁移会并发执行 INSERT 操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大，且会产生大量的BINLOG，占用大量空间）。 目标库实例若选择将时间戳类型（TIMESTAMP，DATETIME）的列作为分片键，则源库数据在迁移到目标库之后，作为分片键的该时间戳类型列的秒精度将被丢弃。 由于DTS不迁移USER信息，因此在调用目标库的视图、存储过程和函数时需要对调用者授予读写权限。 在任务启动、任务全量迁移阶段，不建议对源数据库做删除类型的DDL操作，这样可能会引起任务迁移失败。 迁移过程中，不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限，或修改源和目标数据库的端口号。 迁移过程中，不允许对源库需要迁移的表结构进行修改。 选择表级对象迁移时，增量迁移过程中不建议对表进行重命名操作。 增量迁移场景下，不支持源数据库进行恢复操作。 增量迁移场景下，不支持无主键表的数据增量迁移，因为无主键表的增量迁移性能远低于有主键的表，而且不能保证数据的一致性。 说明 详细信息请参考

本章节主要介绍（可选）管理作业的 移动作业/作业目录。 您可以通过移动功能把作业文件或作业目录从当前目录移动到另一个目录。 前提条件 已完成作业开发。如何开发作业，请参见开发作业。 操作步骤 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 3. 移动作业或作业目录。 a.通过右键的“移动”功能。 在作业目录中选择需要移动的作业或作业文件夹，右键单击作业或作业文件夹名称，选择“移动”。 在弹出的“移动作业”或“移动目录”页面，配置作业要移动到的目录。 移动作业/作业目录参数 参数 说明 选择目录 选择作业或作业文件夹要移动到的目录，父级目录默认为根目录。 单击“确定”，移动作业。 b.通过拖拽的方式。 单击选中待移动的作业或作业文件夹，拖拽至需要移动的目标文件夹松开鼠标即可。

项目 描述 卷名称 设置卷名称。 字符串形式，长度范围是1~16，只能由字母、数字和短横线（）组成，字母区分大小写，且仅支持以字母或数字开头。 iSCSI目标 设置iSCSI目标名称。 iSCSI目标名称：字符串形式，长度范围1~16，只能由小写字母、数字、句点（.）和短横线（）组成，且仅支持以字母或数字开头。 说明 创建卷时可以选择已经存在的iSCSI目标；也可以输入新的iSCSI目标名称，在创建卷的同时创建新的iSCSI目标。 缓存存储池 指定缓存存储池（仅集群版支持）。如果指定了缓存存储池，卷数据首先写入缓存存储池，然后再存入存储池。 存储池 指定存储池（仅集群版支持），表示最终存储池，卷数据最终落在该存储池内。默认使用集群的基础存储池。 注意 存储池与缓存存储池不能是同一个存储池。 容量 设置卷容量。整数形式，数字后面可以选择单位（GiB、TiB、PiB）。 扇区大小 设置磁盘扇区大小。 取值：512 Bytes、4 KiB。默认值为4 KiB。 说明 扇区大小的选取：根据自身业务场景，一般情况下，单次I/O操作的数据大小大于或接近4 KiB，则推荐选择4 KiB；单次I/O操作的数据大小接近512 Bytes，则推荐选择512 Bytes。如果对接VMware等虚拟化平台，则推荐选择512 Bytes。 卷存储模式 卷存储模式： 本地模式：数据全部保留在本地。 缓存模式：本地保留部分热数据，全部数据异步存储到对象存储中。 存储模式：本地保留全部数据，并异步存储到对象存储中。 存储类型默认为本地模式。 卷冗余模式 卷冗余模式（仅集群版支持）： 取值： 副本： 单副本。 两副本。 三副本。 EC N+M ：纠删码模式。其中N、M为正整数，N≥M，且N+M≤128。表示将数据分割成N个片段，并生成M个校验数据。分片大小可以为1 KiB、2 KiB、4 KiB、8 KiB、16 KiB、32 KiB、64 KiB、128 KiB、256 KiB、512 KiB、1024 KiB、2048 KiB、4096 KiB。 说明 以下场景均为集群可用的前提下： 创建EC N+M的卷后： 卷所在存储池可用故障域数量大于等于卷的最小副本数时，可以向卷中写数据。卷所在存储池可用故障域数量小于最小副本数时，不能向卷写数据，且系统会产生告警。 卷所在存储池可用故障域数量大于等于N+M，卷数据正常，不会产生降级。卷所在存储池可用故障域数量处于[N, N+M），卷数据将处于降级状态，建议尽快添加或修复故障域。卷所在存储池可用故障域数量小于N时，已写入的数据发生损毁。 创建副本模式的卷后： 卷所在存储池可用故障域数量大于等于卷的最小副本数时，可以向卷中写数据。卷所在存储池可用故障域数量小于最小副本数时，不能向卷写数据，且系统会产生告警。 卷所在存储池可用故障域数量大于等于副本数，卷数据正常，不会产生降级。对于两副本、三副本卷，卷存储池所在故障域大于等于1，但小于副本数时，卷数据将处于降级状态，建议尽快添加或修复存储池故障域。卷所在存储池无可用故障域时，已写入的数据发生损毁。 最小副本数 最小副本数（仅集群版支持）。点击“卷冗余模式”后的“更多”按钮，可以填写最小副本数。 对于副本模式的卷，假设卷副本数为X，最小副本数为Y（Y必须≤X），该卷每次写入时，至少Y份数据写入成功，才视为本次写入成功。 对于EC N+M模式的卷，假设该卷最小副本数设置为Y（必须满足N≤Y≤N+M），必须满足总和至少为Y的数据块和校验块写入成功，才视为本次写入成功。 取值：整数。对于副本卷，取值范围是[1, N]，N为副本模式卷的副本数，默认值为1。对于EC卷，取值范围是[N, N+M]，默认值为N。 折叠副本数 指定卷的折叠副本数（仅集群版支持）。在数据冗余模式下，同一份数据的不同副本/分片默认分布在不同的故障域，当故障域损坏时，允许根据卷的冗余折叠原则，将多份数据副本放在同一个故障域中，但是分布在不同的path上。 注意 如果存储池故障域为path，此参数不生效。 取值：整数。对于副本卷，取值范围是[1, N]，N为副本模式卷的副本数，默认值为1；对于EC卷，取值范围是[1, N+M]，默认值为1。 高可用 卷的高可用类型（仅集群版支持）： 主备：该卷关联对应target下的所有IQN。 禁用：不启用主备，该卷关联对应target下的1个IQN。 默认值为主备。 写策略 卷的写策略： 回写：指数据写入到内存后即返回客户端成功，之后再异步写入磁盘。适用于对性能要求较高，稳定性要求不高的场景。 透写：指数据同时写入内存和磁盘，并在都写成功后再返回客户端成功。适用于稳定性要求较高，写性能要求不高，且最近写入的数据会较快被读取的场景。 绕写：指数据直接写到磁盘，不写入内存。适用于稳定性要求较高，性能要求不高，且写多读少的场景。 默认值为回写。 压缩策略 设置卷的本地数据压缩策略： 不压缩：不对卷本地数据进行压缩。 Zstandard：使用Zstandard压缩算法对卷本地数据进行压缩。 默认值是不压缩。 压缩级别 使用Zstandard压缩算法对卷本地数据进行压缩时，可配置的压缩级别。 取值：整数形式，取值范围是[22, 22]，默认值是3。 说明 压缩级别是一个在压缩速度与压缩比之间进行权衡的参数：级别值越低，压缩速度越快，但压缩率越低；级别值越高，压缩比越好，但压缩速度越慢，消耗的CPU和内存资源也更多。 数据目录 单机版本创建卷时，指定卷数据的存储位置（仅单机版支持）。 如果创建卷时不指定数据目录，使用服务器设置的默认数据目录。 取值：只能包含字母、数字、汉字和特殊字符(~ ! @ $ ( ) + ; . :)。

本章节主要介绍已有数据的物理集群转换逻辑集群. 场景介绍 大规模数据库集群通常会同时包含很多业务数据，不同业务有不同的数据表，可以通过资源管理功能创建多个资源池来实现不同业务的资源隔离。DWS支持将不同业务用户分配给不同资源池，以便减少业务之间资源（CPU资源、内存资源、IO资源和存储资源）竞争。 但随着业务规模不断扩大，集群系统中的业务数目越来越多，通过划分多个资源池来管理越来越难以控制资源竞争。由于DWS的分布式架构，业务数据被分散存储在多个节点上即每个表都会分布在数据库集群的所有DN节点上，因此每次数据表操作都可能会涉及所有DN节点，导致网络压力增大和系统资源大量消耗，仅通过扩大集群规模也很难解决，DWS建议用户划分多个逻辑集群来解决业务数量扩大带来的网络压力和资源消耗问题。 通过划分独立的逻辑集群，将新增的业务分配到独立的逻辑集群上，这样新增业务对原有业务的影响会很小。而原有逻辑集群中的业务规模如果扩大，也可以通过对原有逻辑集群扩容来解决。 如图 跨逻辑集群访问数据所示，假设某企业原有业务数据表都在原物理集群dwsdemo（绿色部分），切换到逻辑集群lc1（蓝色部分）后，物理集群再通过扩容方式，新增一套新的逻辑集群lc2，原有业务数据表统一切换到逻辑集群lc1，新的业务数据表统一写入到逻辑集群lc2，实现新老业务的数据隔离。而新的逻辑集群lc2关联的用户u2，通过授权可以跨逻辑集群访问逻辑集群lc1的表。 图 跨逻辑集群访问数据

本节主要介绍概述 操作场景 本章介绍如何登录数据管理服务并实现对数据库中的数据管理。 使用流程 通过控制台进行数据管理的使用流程如下： 步骤一：登录数据管理服务 步骤二：新增数据库登录 步骤三：登录数据库 步骤四：数据管理操作

迁移类型 描述 全量迁移 该模式为Redis的一次性迁移，适用于可中断业务的迁移场景。全量迁移过程中， 如果源Redis有数据更新，这部分更新数据不会被迁移到目标Redis 。 全量迁移＋增量迁移 该模式为Redis的持续性迁移，适用于对业务中断敏感的迁移场景。增量迁移阶段通过解析日志等技术， 持续保持源Redis和目标端Redis的数据一致。增量迁移， 迁移任务会在迁移开始后，一直保持迁移中状态，不会自动停止 。需要您在合适时间，在“操作”列单击“停止”，手动停止迁移。停止后，源端数据不会造成丢失，只是目标端不再写入数据。增量迁移在传输链路网络稳定情况下是秒级时延，具体的时延情况依赖于网络链路的传输质量。

本章节主要介绍通知管理的通知周期概览。 操作场景 用户可以按照天/周/月为调度周期配置通知任务，向相关人员发送通知。让相关人员可以定期跟踪作业的调度情况（作业调度成功数量，作业调度失败异常数量以及作业失败详情）。 约束限制 该功能依赖于OBS服务。 前提条件 已开通消息通知服务并配置主题，为主题添加订阅。 已提交作业，且作业不是“未启动”状态 已开通对象存储服务，并在OBS中创建文件夹。 配置通知 1. 登录DataArts Studio控制台。选择实例，点击“进入控制台”，选择对应工作空间的“数据开发”模块，进入数据开发页面。 详见下图：选择数据开发 2. 在数据开发主界面的左侧导航栏，选择“运维调度 > 通知管理”。 3. 在页面右侧的“周期概览”页签，单击“通知配置”，弹出“通知配置”页面，配置如下表所示的参数。 通知参数 参数 是否必选 说明 通知名称 是 设置发送的通知名称。 调度周期 是 选择通知发送的调度周期，可以设置为按“天”、“周”或“月”发送。 说明 按天发送，通知记录为以发送时间往前推24小时时间段的数据；按周发送，通知记录为往前推七天时间段的数据；按月发送，通知记录为往前推30天时间段的数据 选择时间 是 设置通知发送的具体日期。 当调度周期为周时，可设置为一周中星期一至星期日的某一天或某几天。 当调度周期为月时，可设置为一月中每月1号至每月31号的某一天或某几天。 具体时间 是 设置通知发送的具体时间点，可以精确设置到小时和分钟。 选择概览通知的主题 是 单击下拉选项，设置通知发送的主题。 选择OBS桶 是 单击“OBS”设置通知记录数据存储的位置。 开关 是 是否开启通知，默认开启。 4. 单击“确定”。 5. 通知配置完成后，您可以在通知的“操作”列进行如下操作。 单击“编辑”，打开“通知配置”页面，可以重新编辑通知。编辑完成后选择“确定”，保存修改。 单击“记录”，打开“查看记录”页面，可以查看作业的调度情况。 单击“删除”，打开“删除通知”页面，选择“确定”，删除通知。

本节主要介绍概述 使用场景 主实例支持搭建主备高可用架构，当主实例所在区域发生突发生自然灾害等状况，主节点（Master）和备节点（Slave）均无法连接时，可将异地灾备实例切换为主实例，在应用端修改数据库链接地址后，即可快速恢复应用的业务访问。数据复制服务提供的实时灾备功能，可实现主实例和跨区域的灾备实例之间的实时同步。 一次完整的数据灾备，是以任务作为导向，依次进行灾备进度观察、灾备日志分析、灾备数据一致性对比等多项操作。通过多项指标和数据的对比分析，可以帮助您实现不同业务系统间的数据实时同步。 使用流程 数据灾备的使用流程如下： 步骤一：创建灾备任务。根据需要，选择业务数据库和灾备数据库，创建灾备任务。 步骤二：查询灾备进度。灾备过程中，可以通过查看灾备进度了解数据灾备完成情况。 步骤三：查看灾备日志。灾备日志包含告警、错误和提示等类型的信息，可根据此类信息分析系统存在的问题。 步骤四：对比灾备项。数据灾备提供对比功能，可根据需要查看对象级对比、数据级对比等，来确保业务数据库和灾备数据库的数据一致性。

恢复操作步骤 1. 登入++天翼云ClickHouse 控制台++，在实例列表选择对应的实例，进入实例详情页面单击备份恢复。 2. 进入备份任务，选择相应的备份任务，在操作中单击恢复，选择相应的目标进行恢复。选中了目标实例，会根据备份库表所在节点的top结构自动匹配目标实例下对应的恢复top节点，如果分片和副本top没有匹配，将无法支持恢复任务。 3. 创建恢复任务后，会在源备份和目标恢复实例的恢复任务列表下都显示此次恢复任务。为了数据安全，数据恢复操作会先把数据恢复到目标集群临时库下，通过后台和人工check，由用户自主确定是否做临时库的数据切换。 4. 数据检查可通过恢复任务里的详情来check源目标节点相应表下的数据是否一致。 说明 因为对象存储中表备份数据还有一个额外文件，所以会比目标备份节点实际临时表数据多100多KB数据。 5. 人工核对恢复数据没有问题，可点击数据切换 按钮，会秒级把数据从临时表切换到正式表里。如果核对数据有问题，也可以点击取消按钮，暂停并删除此次目标集群的恢复任务。 注意 无论元数据还是数据恢复操作，都会把目标集群下相应恢复表的数据删除（如果有），请谨慎操作。

本文向您介绍如何查看当前组织信息以及如何切换不同组织。 背景信息 组织是数据管理服务中的一个基础概念。每一个天翼云主账号进入数据管理服务系统均自动创建一个组织并把该主账号作为该组织的超级管理员。此外，该主账号下的子账号进入数据管理服务会自动加入到对应主账号的同组织。主账号可添加其他账号进入组织。主账号或子账号均可以加入不同组织。每个组织下的用户和数据库实例均互相隔离，操作互不影响。 查看组织信息 1. 登录数据管理服务。 2. 访问控制台首页，点击右上角的头像查看个人信息，其中包含当前所在组织信息。 切换组织 1. 登录数据管理服务。 2. 访问控制台首页，点击右上角的头像，显示个人信息，再点击切换组织显示切换组织弹窗。 3. 在切换组织弹窗中，界面展示所有用户已加入的组织列表。选中其中一个组织，点击确定进行切换。

参数说明 说明 数据来源 描述数据来源，也就是数据的产生者。 指标管理部门 指标的管理部门。 指标责任人 指标的责任人，可以手动输入名字或直接选择已有的责任人。

备份和快照的区别是什么？ 备份和快照为存储在云硬盘中的数据提供冗余备份，确保高可靠性，两者的主要区别如下表所示。 指标 存储方案 数据同步 容灾范围 业务恢复 备份 与云硬盘数据分开存储，存储在对象存储（OBS）中，可以实现在云硬盘存储损坏情况下的数据恢复 保存云硬盘指定时刻的数据，可以设置自动备份。如果将创建备份的云硬盘删除，那么对应的备份不会被同时删除 与云硬盘位于同一个AZ内 通过恢复备份至云硬盘，或者通过备份创建新的云硬盘，找回数据，恢复业务。数据持久性高。 快照 与云硬盘数据存储在一起 保存云硬盘指定时刻的数据。如果将创建快照的云硬盘删除，那么对应的快照也会被同时删除 与云硬盘位于同一个AZ内 通过回滚快照至云硬盘，或者通过快照创建新的云硬盘，找回数据，恢复业务。 为什么备份容量会大于磁盘中实际容量？ 常见现象 在服务器中存放了文件并进行了备份，新增或删除文件后进行再次进行备份，前后备份的大小并没有变化。 ECS创建的备份比文件系统查询到的磁盘占用空间大。 原因分析 以下原因可能造成磁盘实际使用容量与备份大小不一致： 磁盘中的文件系统的元数据会占用磁盘空间。 磁盘进行了格式化操作，例如Windows系统正常格式化操作后，全盘数据有写入操作，备份软件需要备份全盘的数据，备份软件会对这种情况优化，全0的数据会进行压缩处理。 备份软件是通过监控存储I/O的写入来确定哪些数据产生了变化需要备份。系统中的文件删除后也会被记录为变化的数据，也会被备份。

数据集配置 针对不同场景下，以下是数据量级的建议： 简单文本分类任务：对于基础的分类任务，如判断文本情感倾向（积极、消极、中性）或对新闻文章进行简单类别划分（体育、科技、娱乐等），若用户使用较小规模模型（如 7B及以下），通常5k20k条的数据量即可取得不错效果；若使用更大参数模型（如30B及以上），由于模型学习能力更强，对数据量要求相对降低，2k10k条也可能实现较好微调。但数据量的大小也与分类数以及任务难易度强相关，类别较多/任务较难的场景可能需要20k条以上的数据，且要做到类别均衡。 信息抽取任务：像从文本中抽取人名、地名、组织机构名等实体，或抽取事件的时间、地点、参与者等关键信息这类任务，任务难易度更大，因此对数据量需求相对较高。若用户使用13B及以下模型时，建议有30k80k的数据量；若使用30B及以上模型时，20k60k的数据量较为合适。这是因为信息抽取任务复杂，模型需学习多种实体和关系模式，足够数据量才能让模型有效捕捉这些模式。例如，在医疗领域的实体抽取微调中，50k条的高质量医疗文本数据，能使13B模型的F1值达到75%左右。 生成任务（如文本续写、文案生成）：生成任务对模型创造力和语言理解能力要求高，数据量需求更大。对于7B及以下的模型，一般需要100k300k条以上数据；而13B30B的模型，50k 200k条数据较为适宜；30B以上模型，30k150k数据可能满足需求。数据不仅要量大，还应多样化，涵盖不同风格、主题和语境文本。如在小说续写微调中，200k条包含各种题材小说片段的数据，可让7B模型生成更连贯、富有想象力的续写内容。 复杂问答任务：如开放域问答、专业领域深度问答、领域内长思考链生成问答，数据量要求与生成任务相近甚至更高。7B的模型可能需要50k150k条数据；13B30B的模型，40k100k条数据；30B及以上的模型，则需要50k80k数据。这类任务需模型理解复杂问题语义，检索知识并生成准确回答，大量的数据帮助模型学习各类问题模式和答案逻辑。但是如果数据中带有思考推理过程，也即cot数据集，则各类模型所需的数据量可以相对应减少50%80%。在医疗领域的带思考过程的问答微调中，10k数量的含各类疾病的治疗方式的数据，便能让14B的模型在开源医疗问题测评集上提点。 需注意，以上数据量仅为经验参考范围，实际微调中最佳数据量受数据质量、模型架构、任务复杂度及训练方法等多种因素影响。例如，若数据质量极高且与任务高度相关，可能用较少数据量就能取得好效果。在微调前，可通过小规模实验评估不同数据量对模型性能影响，确定适合特定任务和模型的最优数据量。

本文介绍存储桶复制的适用场景。 通过存储桶复制功能，可满足用户以下场景需求： 合规性要求：因合规性要求，数据需要在不同存储区域或存储桶保存一份副本。通过存储桶复制，可在媒体存储的存储区域之间复制数据，以满足业务要求。 数据迁移：因业务发展需要，将业务数据从一个存储桶复制到另一个存储桶，实现数据的迁移。 数据备份与容灾：因业务运行需要，希望所有写入媒体存储对象存储服务的数据能够在另一存储区域进行备份，以预防在数据发生不可逆损毁时，有安全、可用的备份数据，可实时切换业务访问路径，保证业务不中断。

不支持。 目前不支持将用户已购买的数据盘挂载至应用云主机。 用户可在购买应用云主机订购时选购数据盘，或在应用云主机的云盘管理界面新增数据盘，以上操作完成购买后，系统将自动为您挂载，无需其他操作。

本章节介绍HDFS服务常见问题。 HDFS误删数据怎么恢复 HDFS 设计时考虑了数据安全性，为了实现数据误删可恢复，提供回收站保护机制。HDFS 回收站（Trash）是 Hadoop 提供的数据保护机制，类似于操作系统的回收站。当用户执行删除操作时，文件不会立即被物理删除，而是移动到回收站目录中，在配置的时间间隔内可以恢复。 恢复步骤 1、确认删除操作执行的时间和用户 去到Active NameNode节点，通过审计日志查询删除操作的时间和用户。 plaintext grep 'cmddelete' /var/log/hadoop/hdfs/hdfsaudit.log grep 'src ' 若删除操作的执行时间已经超过回收站数据保留时间，则数据无法恢复。 2、找到回收站中对应目录 plaintext 如果删除操作时间已经超过回收站间隔时间，则对应目录为： /user/ /.Trash/ 如果删除操作时间没有超过回收站间隔时间，则对应目录为： /user/ /.Trash/Current 3、执行mv恢复数据 plaintext 执行mv hdfs dfs mv 怎么调整副本数 HDFS 多副本机制是在硬件不可靠、数据珍贵且不可丢失的现实背景下，采用空间换可靠性策略，通过将同一数据冗余存储在不同节点上，实现大规模分布式存储系统的高可靠、高可用、高吞吐目标。 设计目标： 高可靠性：容忍硬件故障，数据不丢失。 高可用性：节点故障不影响服务。 高吞吐量：并行读取、数据本地性。 简单可靠：以空间换可靠性，运维简单。 存在写入放大 每个数据块写入时需复制多次。 副本修复也会引发额外数据复制。 对网络带宽和磁盘IO 造成压力。 存储成本增加 副本数× 数据量 总存储空间 例：10TB数据，3副本 30TB存储开销。 权衡：可靠性vs 存储成本 合理设置副本数，有效使用存储空间。 副本数设置 1、客户端命令设置目录或文件的副本数 plaintext

本节主要介绍统计概览中的概览页面。 点击“统计概览”>“概览”，可用查看存储桶当日统计，包括：标准存储、低频访问存储、互联网下行流量、互联网上行流量、Get类请求和Put类请求。 点击该页面的“昨日关键数据”（统计时间范围为北京时间当前时刻的前一天00:0024:00的数据），可用查看各数据位置昨日的标准存储（峰值）、低频访问存储（峰值）、互联网下行流量、请求次数、数据取回。 项目 描述 当日统计 当日的存储容量，包括标准存储和低频访问存储。 当日流量 当日的流量统计，可以选择互联网下行流量（下载量）、互联网上行流量（上传量）。 当日请求次数 当日的请求次数，可以选择： 全部：包括所有的Put类请求和Get类请求。 Put类请求。 Get类请求。 昨日关键数据 统计时间范围为北京时间当前时刻的前一天00:0024:00的数据。 数据位置 存放文件的位置。 标准存储（峰值） 标准存储类型的文件的容量峰值。 低频访问存储（峰值） 低频访问存储类型的文件的容量峰值。 互联网下行流量 从互联网下载文件的数据流量。 请求次数 统计产生的GET请求、HEAD请求、PUT请求、POST请求、DELETE请求、OTHERS的次数，以及所有请求的次数总和。统计产生返回码200、204、206、403、404、4xx的次数，以及所有返回码返回次数的总和。 数据取回 低频访问存储类型的文件在查看和下载时产生的从OOS服务端读取数据的数据量。 点击该页面的“当月关键数据”（统计时间范围为北京时间当前月份的1号00：00至当前时刻的能获取到的最后一个数据），可用查看各数据位置当月的标准存储（峰值）、低频访问存储（峰值）、互联网下行流量、请求次数、数据取回。

项目 描述 服务器ID 服务器ID，可以通过下拉框选择服务器。 时间范围 可以选择相对时间： 近2小时 近6小时 近1天 近7天 近1年 自定义时间段，选择开始日期和结束日期，精确到天。 注意 起始时间必须早于结束时间，且起始时间不能早于服务器当前时间一年。 数据目录使用率 所有数据目录所在磁盘使用率的平均值。 容量配额使用率 HBlock所有数据目录容量配额使用率的平均值。 HBlock服务器 HBlock服务器的性能。 CPU使用率 服务器CPU使用率。 内存使用量 服务器内存使用量。 内存总量 服务器内存总量。 数据目录使用量 数据目录所在磁盘使用量的总和。 数据目录总容量 数据目录所在磁盘容量的总和。 配额使用量 HBlock已使用容量配额。 配额 HBlock容量配额总和。 客户端<>HBlock 当前服务器上，客户端与HBlock之间的数据传输情况。 读带宽 客户端从HBlock服务器读取数据的带宽。 写带宽 客户端向HBlock服务器写入数据的带宽。 总带宽 客户端与HBlock服务器之间的总带宽。 读IOPS 客户端从HBlock服务器读取数据的IOPS。 写IOPS 客户端向HBlock服务器写入数据的IOPS。 总IOPS 客户端与HBlock服务器之间的总IOPS。 读时延 客户端从HBlock服务器读取数据的时延。采集周期内，服务器关联卷的读时延平均值。 写时延 客户端向HBlock服务器写入数据的时延。采集周期内，服务器关联卷的写时延平均值。 总时延 客户端与HBlock服务器之间的总时延。采集周期内，服务器关联卷的读写时延平均值。 HBlock<>Cloud 当前服务器上，HBlock与云之间的数据传输情况。 上云上传带宽 HBlock服务器器向云上传数据的带宽。 上云下载带宽 HBlock服务器从云下载数据的带宽。 上云总带宽 HBlock服务器与云之间的总带宽。

管理衍生指标 进入数据架构的“技术指标 > 衍生指标”页面，您可以对衍生指标进行编辑、发布、下线、查看发布历史或删除操作。 1. 在数据架构控制台，单击左侧导航树中的“技术指标”，选择“衍生指标”页签，进入衍生指标页面。 2. 您可以根据实际需要选择如下操作。 当需要... 则... 新建 执行新建衍生指标并发布。 编辑 执行3。 发布 执行4。 查看发布历史 执行5。 预览SQL 执行6。 下线 执行7。 查看汇总表 执行8。 删除 执行9。 导入 执行10。 导出 执行11。 3. 编辑 a. 在需要编辑的衍生指标右侧，单击“编辑”，进入编辑衍生指标页面。 b. 根据实际需要编辑相关内容。 c. 在页面下方，单击“试运行”按钮，然后在弹出框中单击“试运行”按钮，测试所设置的衍生指标是否可以正常运行。 如果试运行失败，请根据错误提示定位错误原因，将配置修改正确后，再单击“试运行”按钮进行重试。 d. 如果试运行成功，单击“发布”，提交发布审核。 4. 发布 a. 在需要发布的衍生指标右侧，单击“发布”，弹出“提交发布”对话框。 b. 在下拉菜单中选择审核人。 c. 单击“确认提交”。 5. 查看发布历史 a. 在列表中，找到需要查看的衍生指标，在右侧单击“更多 > 发布历史”，将显示“发布历史”页面。 b. 在“发布历史”中，您可以查看衍生指标的发布历史和版本对比信息。 6. 预览SQL a. 在列表中，找到所需要的衍生指标，在右侧单击“更多 > 预览SQL”，弹出“预览SQL”对话框。 b. 在“预览SQL”中，您可以查看SQL语句，也可以复制SQL。 7. 下线 说明 下线衍生指标的前提是无依赖引用，即无复合指标引用。 a. 在需要下线的衍生指标右侧，单击“更多 > 下线”，系统弹出“提交下线”对话框。 b. 在下拉菜单中选择审核人。 c. 单击“确认提交”。 8. 查看汇总表 当前仅支持查看自动汇聚的汇总表详情。在需要查看汇总表的指标右侧，选择“更多 > 查看汇总表”，跳转到汇总表详情页面。 9. 删除 说明 删除衍生指标的前提是无依赖引用，即无复合指标引用。 a. 在衍生指标列表中，勾选需要删除的衍生指标，单击页面上方“更多 > 删除”，系统弹出“删除”对话框。 b. 单击“是”。 10. 导入 可通过导入的方式将衍生指标批量快速的导入到系统中。 a. 在汇总表上方，单击“更多>导入”，进入“导入配置”页签。 b. 下载衍生指标导入模板，编辑完成后保存至本地。 c. 选择是否更新已有数据。 说明 如果系统中已有的编码和模板中的编码相同，系统则认为是数据重复。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 d. 单击“添加文件”，选择编辑完成的导入模板。 e. 单击“上传文件”，上传完成后，自动跳转到“上次导入”页签，查看已导入的数据。 f. 单击“关闭”。 11. 导出 可通过导出的方式将衍生指标导出到本地。 a. 在衍生指标列表选中待导出的指标。 b. 在列表上方，单击“更多>导出”，即可将系统中的衍生指标导出到本地。 说明 在左侧主题树中选中某个主题，可以导出该主题下的所有衍生指标； 当该空间下不超过500条衍生指标数据时可以全部导出。

操作分类 具体操作 描述 基础配置 新增应用系统 新增应用系统 删除应用系统 删除应用系统 修改应用系统 修改应用系统 新增站点 创建站点 删除站点 删除站点 修改站点 修改站点 启用站点 启用站点 禁用站点 禁用站点 重置站点 重建站点业务数据，在故障站点恢复正常后操作 新增单元 新增单元 删除单元 删除单元 修改单元 修改单元 新增单元组 新增单元组 删除单元组 删除单元组 修改单元组 修改单元组 接入层配置 选择接入层网关 绑定接入层网关 移除接入层网关 解绑接入层网关 新增单元组URI配置 新增业务流量路由 删除单元组URI配置 删除业务流量路由 修改单元组URI配置 修改业务流量路由 数据层配置 新增数据源 新增数据层数据源 删除数据源 删除数据层数据源 修改数据源 修改数据层数据源 新增同步任务 新增数据同步任务 删除同步任务 删除数据同步任务 修改同步任务 修改数据同步任务 启动同步任务 启动数据同步任务 停止同步任务 停止数据同步任务 绑定链路 绑定同步链路与数据传输服务实例 解绑链路 解绑同步链路与数据传输服务实例 启动链路 启动同步链路所绑定任务 停止链路 停止同步链路所绑定任务 消息层配置 新增数据源 新增消息层数据源 删除数据源 删除消息层数据源 修改数据源 修改消息层数据源 新增同步任务 新增消息同步任务 删除同步任务 删除消息同步任务 修改同步任务 修改消息同步任务 启动同步任务 启动消息同步任务 停止同步任务 停止消息同步任务 创建路由任务配置 创建消息路由任务配置 删除路由任务配置 删除消息路由任务配置 创建路由任务 创建路由任务 删除路由任务 删除路由任务 启用路由任务 启用路由任务 停用路由任务 停用路由任务 重置位点 重置目标实例消费位点 容灾切流 基础配置推送 发起基础配置推送 流量切换 发起流量切换 主备切换 发起主备切换 取消步骤 取消切流过程指定步骤 忽略步骤 跳过切流过程指定步骤 重试步骤 重试切流过程指定步骤

本章节主要介绍云搜索服务的备份与恢复索引操作。 为避免数据丢失，您可以将集群的索引数据进行备份，当数据发生丢失或者想找回某一时间段数据时，您可以通过恢复索引操作快速获得数据。索引的备份是通过创建集群快照实现。第一次备份时，建议将所有索引数据进行备份。 说明 备份与恢复索引功能上线之前（即2018年3月10日之前）创建的集群，无法创建快照。 管理自动创建快照：自动创建快照指按照设置的规则，每天在指定时间自动创建快照。您可以开启自动创建功能、设置自动创建的策略、和关闭自动创建功能。 手动创建快照：在任意时间，您通过手动创建快照的方式，针对当时的数据或某几个索引创建快照进行备份。 恢复数据：将已有的快照，通过恢复快照功能，将备份的索引数据恢复到指定的集群中。 删除快照：对于已失效的快照，建议删除以释放存储资源。 说明 创建快照之前，您需要进行基础配置，包含存储快照的OBS桶、快照的备份路径及安全认证使用的IAM委托。 集群快照存储的OBS桶，在首次设置后，不管自动创建快照还是手动创建快照，如果快照列表中已有可用的快照，则OBS桶将无法再变更，请谨慎选择存储OBS桶。 如果OBS桶已经存储了快照，OBS无法变更，您可以使用这个方法修改：首先关闭快照功能，然后再开启快照功能，指定新的OBS桶。一旦关闭快照功能，之前创建的快照将无法用于恢复集群。 当集群处于“不可用”状态时，快照功能中，除了恢复快照功能外，其他快照信息或功能只能查看，无法进行编辑。 备份与恢复过程中，支持集群扩容、访问Kibana、查看监控、删除其他快照的操作。不支持重启此集群、删除此集群、删除正在创建或恢复的快照、再次创建或恢复快照的操作。补充说明，当此集群正在进行创建快照或者恢复快照时，此时，自动创建快照任务将被取消。

本页介绍天翼云TeleDB数据库中数据脱敏。 脱敏是指在用户无感知的情况下，对非授权用户返回被脱敏的数据。其主要原理是通过某种运算法则，在真实数据返回给访问终端前，按照既定规则，将原始数据映射到另一种形式（可以支持多种变化），该映射规则对查询用户不可见，且转换后的形式不能做逆向操作（即转换为原始数据）。 说明 无感知是指用户使用的查询操作变化，也无需增加额外的运算操作。 非授权用户是指没有访问权限的用户，以访问表为例，用户具备该表的查询权限，但被限制对某些字段真实值的获得。 例如： 安全员通过脱敏配置接口，对表的某些敏感字段设置数据脱敏规则。这样原系统中的所有用户（包括管理员）再去查看表数据时，都得到的脱敏规则使能后的结果，且规则下发后立即生效，无需停机或者重启。 相应的，对于原本正常访问的数据库用户，定义为授权用户，安全员可以将这些数据库用户定义为某些对象的白名单用户，即给这些数据库用户添加白名单属性。这些白名单用户在登录系统完成鉴权后，就被系统识别为授权用户，访问表的方式也是没有变化的，而且获得的都是原始数据。 所以，从以上两个维度实现了更细粒度的数据访问控制，是对现有访问控制的增强，而且做到对现有业务系统无感知。 创建数据脱敏策略 1. 切换到godlike用户，创建 tbldatamaskxx表、tbldatamaskyy表、tbldatamaskzz表，并插入数据。 c regression godlike create table tbldatamaskxx( i int, im int, ii int2, iim int2, j bigint, jmbigint, x varchar, xm varchar, y text, ym text) distribute by shard(i); NOTICE: Replica identity is needed for shard table, please add to this table through "alter table" command. insert into tbldatamaskxx values(1024, 1024, 7788, 7788,42949672960,42949672960, '112233201804035566', '112233201804035566','abcdefghijk', 'abcdefghijk'); insert into tbldatamaskxx(i, x) values(1025, 'all is null'); insert into tbldatamaskxx(i, x, xm, ym) values(1026, 'all is null', 'this is a very very very looooooooong string, i guess here is over 32 bytes length, emmmmm', 'tbase!!~~~'); create table tbldatamaskyy( i int, im int, ii int2, iim int2, j bigint, jmbigint, x varchar, xm varchar, y text, ym text) distribute by shard(i);; 使用mlsadmin用户创建数据脱敏策略 案例1：api健壮性测试 NOTICE: Replica identity is needed for shard table, please add to this table through "alter table" command. insert into tbldatamaskyy values(1024, 1024, 7788, 7788, 42949672960,42949672960, '112233201804035566', '112233201804035566','abcdefghijk', 'abcdefghijk'); create table tbldatamaskzz ( i int , j text , z text ) distribute by shard(i);; NOTICE: Replica identity is needed for shard table, please add to this table through "alter table" command. insert into tbldatamaskzz values(1024,'x','y'); 2. 使用mlsadmin用户创建数据脱敏策略。 c regression mlsadmin select currentdatabase(); currentdatabase regression (1 row) select currentuser; currentuser mlsadmin (1 row)

本文主要介绍MySQL到MySQL灾备 支持的源和目标数据库 支持的数据库 业务数据库 灾备数据库 本地自建MySQL数据库 ECS自建MySQL数据库 其他云上MySQL数据库 RDS for MySQL RDS for MySQL 前提条件 已登录数据复制服务控制台。 满足实时灾备支持的数据库类型和版本，详情请参见实时灾备。 使用建议 注意 灾备初始化阶段，请不要在业务数据库执行DDL操作，否则可能导致任务异常。 灾备初始化阶段，确保灾备数据库无业务写入，保证灾备前后数据一致。 数据库灾备与环境多样性和人为操作均有密切关系，为了确保灾备的平顺，建议您在进行正式的数据库灾备之前进行一次演练，可以帮助您提前发现问题并解决问题。 基于以下原因，建议您在启动任务时选择“稍后启动”功能，选择业务低峰期开始运行灾备任务，避免灾备任务对业务造成性能影响。 在网络无瓶颈的情况下，灾备初始化阶段会对业务数据库增加约50MB/s的查询压力，以及占用2~4个CPU。 灾备无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。 正在灾备的数据被其他事务长时间锁死，可能导致读数据超时。 DRS并发读取数据库，会占用大约610个session连接数，需要考虑该连接数对业务的影响。 灾备初始化阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。 数据对比 建议您结合数据对比的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

本文介绍如何使用数据管理服务DMS登录数据库。 前提条件 已登录数据管理服务。 登录所用的数据库账号已经具备足够的库表访问权限。 操作步骤 1. 点击 数据资产 >实例管理 ，进入实例列表界面。 2. 在实例列表找到目标实例，点击 登录 按钮，弹出登录弹窗。 3. 在登录弹窗中输入数据库账号和密码. 4. 点击 确定 按钮完成登录。 5. 登录成功后，原列表中的 登录 按钮会变成 切换账户 。 说明 1、开启SSL的实例可能会登录失败。 2、在企业版中主要使用托管，只有dds实例需要进行登录操作