本页介绍了数据库迁移的常见问题及解决方法。 为什么要采用mysqldump等工具迁移数据库 mysqldump是一种常用的数据库迁移工具，其操作简单但会造成数据库较长时间停机，适用于数据量不大的数据迁移。 天翼云关系数据库MySQL版提供的服务兼容原数据库，将本地数据库迁移至云数据库的过程和将数据库从一台服务器迁移另一台服务器一样。您也可以根据您的需要使用其他数据库迁移方案进行数据库迁移。 数据库实例迁移中产生binlog文件导致存储空间不足怎么办 数据库实例会定期清理过期的binlog，但数据库实例在迁移过程中，短时间内产生大量binlog文件，导致存储空间不足，会影响业务正常运行 。所以在订购实例和进行数据库迁移之前，请参看以下建议： 及时清理过期数据。 建议用户在选择实例存储空间大小时不仅仅考虑数据文件的大小，同时还要考虑日志文件的大小以及给存储空间保留一定的冗余。 若原来申请的数据库磁盘容量不足，建议用户扩容磁盘空间，确保磁盘空间足够。操作方法请参考用户指南实例管理存储空间扩容。 怎样将其他数据库引擎的数据导入到MySQL实例 相同引擎数据库之间数据导入导出，称之为同构型数据库之间数据导入导出。同构型数据库导入导出可以使用数据库迁移工具来实现如mysqldump。 不同引擎数据库之间数据导入导出，称之为异构型数据库之间数据导入导出。异构型数据库之间由于格式不同，一般不支持直接导入导出，通常需要第三方软件，通过数据复制的方式来实现。比如，先使用工具从Oracle中，以文本的格式导出表记录，然后利用Load语句导入到InnoDB引擎。

本章节主要介绍操作类问题中的集群管理问题。 无法成功创建数据仓库集群时怎么处理？ 请检查用户账户余额是否少于100元，是否已经没有配额创建新的数据仓库集群，以及是否存在网络问题。 如账户余额、配额、网络均未发现问题，请联系客户经理，请客户经理联系后台服务人员为您排查原因并解决问题。 如何清理与回收存储空间？ DWS 数据仓库中保存的数据在删除后，可能没有释放占用的磁盘空间形成脏数据，导致磁盘浪费、创建及恢复快照性能下降等问题，如何清理？ 清理与回收存储空间对系统的影响如下： 删除无用的脏数据，释放存储空间。 数据库将进行大量读写操作，可能影响正常使用，建议选择空闲时间执行。 数据库的存储空间越大，即数据可能越多，清理的时间越长。 清理与回收存储空间操作步骤如下： 1.连接数据库。具体操作步骤请参见《数据仓库服务用户指南》中“连接集群”章节。 2.执行以下命令，清理与回收存储空间。 VACUUM FULL; 默认清理当前用户在数据库中，拥有权限的每一个表。没有权限的表则直接跳过回收操作。 当系统显示以下内容时，表示清理完成： VACUUM VACUUM FULL回收所有过期的行空间，但是它需要对每个正在处理的表进行独占锁定，并且可能需要很长时间才能完成大型分布式数据库表。一般建议对指定表执行VACUUM FULL，若需要对整个数据库执行VACUUM FULL，建议在数据库维护期间操作。 使用FULL参数会导致统计信息丢失，如果需要收集统计信息，请在语句命令中加上analyze关键字。例如，执行 VACUUM FULL ANALYZE; 命令。VACUUM的语法请参见《数据仓库服务数据库开发指南》中的相关章节。

方案正文 insert操作 insert写法规范 不建议逐条insert，推荐使用insert into values (),()..();语法。 MySQL的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现批量插入。MySQL JDBC驱动在默认情况下会无视executeBatch()语句，把预计批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。只有把rewriteBatchedStatements参数置为true, 驱动才会批量执行SQL。另外这个选项对INSERT/UPDATE/DELETE操作都有效。 拆分字段的值：不建议使用函数、表达式、子查询等，推荐使用常量值。 普通字段的值：不建议使用子查询，推荐使用常量、函数、表达式。 大批量数据导入 推荐使用loaddata local infile来实现大批量数据导入。 数据迁移场景 建议使用mysqldump导出sql文件，再使用mysql source命令导入。 autoincrement字段 DRDS使用Sequence来实现autoincrement语义，并保证全局唯一。 赋值：若使用autoincrement字段，建议不要在values子句中赋值，否则容易造成主键冲突。如果在values中赋了值，建议使用alter sequence语句更改。 步长：autoincrement字段步长建议不要设置成1，会导致性能低下。默认设置成1000。 update与delete操作 普通更新 进行update/delete操作时，where条件建议带上拆分字段； 无法带上拆分字段的场景，建议控制并发度，控制更新/删除涉及的数据条数。建议先用select查出相应的数据，double check确保数据范围无误后再实行update/delete操作。 拆分字段更新 条数限制：DRDS拆分字段更新有数据量限制，一般不能超过10000条数据，数据量越少越好。若超过10000条数据，建议用改重建表的方式来做，或者是拆分成多次update操作来等价实现。 操作的时机：建议选择在业务低谷期做。 关联操作 不建议进行表关联更新、表关联删除操作，即不建议进行多张表同时进行update/delete操作。 子查询及limit操作 不建议update/delete语句中含有子查询。不建议update/delete语句中含有limit或order by limit语句。 select操作 Order by 及 Limit函数 "order by limit offset, count"场景，禁止给offset赋大数值，即禁止深度翻页。 Group by函数 不建议selectlist部分含有非group by列。 不支持不可下推的groupconcat聚合函数内含有order by子句。 不建议distinct、group by字段多于3项。 不建议join、或者子查询操作之后含有group by操作 不建议使用count(distinct ),sum(distinct )操作。 Join函数 select场景，建议join条件是每个表的拆分字段或使用广播表，或者是驱动表是一个小表（inner/left join驱动表是左表，right join驱动表是右表）。 不建议两个大表直接进行join操作。 不建议join on condition中含有非等值操作。 如遇到临时表超限（Temp table limit exceeded）报错，说明JOIN中间数据产生了临时表且超限，建议进行SQL调优。 不建议5张表以上进行join操作。 join查询操作建议不要开启事务。 不建议在事务中进行join查询，开启事务会影响DRDS对join算法的选择，无法使用最高效的算法。 子查询 不建议子查询包含在OR表达式中，或者是子查询的关联条件包含在OR表达式中 不建议使用含有limit的标量子查询，如 select (select x from t2 where t2.id t.id limit 1),a,b from t。 如果子查询和主表都路由到同一分片，建议在SQL前加/+dbxxx/来精准路由。 不建议子查询内部含有join语句。 不建议写嵌套子查询。 不建议ROW表达式跟子查询做比较操作，如 select from t where (a,b,c)(select x,y,z from t2 where …)。 不建议selectlist里面含有超过2个以上的子查询 。 DDL DDL执行时机 对已有表进行DDL操作时建议放在业务低峰期进行。 分片数 创建新拆分表时建议结合实际数据量进行合理预估，总分片数满足需求即可。不建议使用超出实际需求的分片数，拆分表分片数并非越多越好 高危DDL 进行高危DDL时请仔细校验SQL后谨慎操作，如DROP TABLE, TRUNCATE TABLE等操作。 DDL失败修复 DDL命令如遇报错，可以使用"check table 表名"命令对各个分片表结构进行校验，识别出失败的分片进行针对性修复。如ALTER TABLE命令遭遇失败可以在命令前添加/+allowalterreruntrue/，开启ALTER语句的幂等可重入执行后重试，直到check table 命令提示各个分片表结构达到一致则可认为执行成功。 MDL锁导致执行DDL报错 背景：为保证DDL的可用性，DRDS内部在执行DDL前会检查底层RDS相关表是否存在MDL锁。 若存在MDL锁,，则DDL会提前报错退出。 可能出现的问题：若系统中存在慢SQL，执行时间为几分钟不等，那么可能被MDL锁所阻拦，无法执行DDL。 解决方案1：在DRDS控制台提高参数“ddlprecheckmdlthresholdtime”的大小, 如提高到30分钟(1800秒)。 解决方案2：执行show metadata lock查看是否因为持有慢事务的MDL锁阻塞了DDL的执行。若存在阻塞, 可以使用kill physical threadId@host:port 来关闭底层慢事务。配合/+allowalterreruntrue /的hint, 以及check table来查看和执行，直到DDL彻底执行完。 DDL长时间卡死 在业务低峰期执行DDL时如果遇到长时间卡死情况，请另开会话执行xa recover命令查看是否有慢事务存在，如存在慢事务挂起请及时联系值班人员解决。

入云流量页面展示当前防火墙实例防护的互联网访问云上EIP的流量数据，数据基于会话统计，在连接期间，数据不会上报，连接结束后才会上报。 前提条件 开启弹性公网IP（EIP）防护且已有流量经过EIP，开启EIP防护的操作步骤请参见“开启互联网边界流量防护”。 查看入云流量 1. 登录管理控制台。 2. 在左侧导航栏中，单击左上方的，选择“安全> 云防火墙”，进入云防火墙的总览页面。 3. （可选）当前账号下仅存在单个防火墙实例时，自动进入防火墙详情页面，存在多个防火墙实例时，单击防火墙列表“操作”列的“查看”，进入防火墙详情页面。 4. 在左侧导航栏中，选择“流量分析> 入云流量”，进入“入云流量”页面。 5. 查看经过防火墙的流量统计信息，支持5分钟~7天的数据。 流量看板：互联网访问内部服务器时最大流量的相关信息。 入云流量：入方向请求流量和响应流量数据，最多支持同时查询30个EIP的流量数据。 取值说明： 时间段 取值说明 近1小时 取1分钟内的平均值 近24小时 取5分钟内的平均值 近7天 取1小时内的平均值 自定义 5分钟~6小时：取1分钟内的平均值 6小时（含）~3天：取5分钟内的平均值 3天（含）~7天（含）：取30分钟内的平均值 可视化统计：查看指定时间段内入方向流量中指定参数的TOP 5 排行，参数说明请参见表350。单击单条数据查看流量详情，每个详情支持查看50条数据。 入云流量可视化统计参数说明： 参数名称 参数说明 TOP访问源IP 入方向流量的源IP地址。 TOP访问来源地区 入方向流量的源IP所属的地理位置， TOP访问目的IP 入方向流量的目的IP地址。 TOP开放端口 入方向流量的目的端口。 应用分布 入方向流量的应用信息。 IP分析：查看指定时间段内 TOP 50 的流量信息。 公开IP分析：目的IP的流量信息。 访问源IP分析：源IP的流量信息。

本小节介绍日志审计(原生版)配置告警规则。 告警策略功能是对采集到的日志进行告警判断，符合告警策略的日志进行告警。 操作步骤 告警策略，对采集到的日志进行告警判断，符合告警策略的日志进行告警。 1. 登录日志审计系统。 2. 在左侧导航栏选择“风险分析 > 告警策略” ，单击“新增规则”，填写告警条件。 参数 参数说明 取值样例 规则名称 自定义输入告警规则名称。 Test 可信度 自定义您的告警规则可信度，根据业务实际情况填写可信度，填写范围：0100。数字越大，代表可信度越高。 1 规则等级 在下拉框中选择您的告警规则等级，包括：轻微、低级、中级、高级、严重。 轻微 超时时间 填写此告警规则的持续时间，单位：秒。时间不小于0秒。 60 关联类型 选择告警规则关联的设备类型，可选“单设备关联规则”或“多设备关联规则”。 单设备关联规则 告警类型 在下拉框中选择该条告警规则的告警类型。 用户违规异常行为 / 违规行为 攻击链阶段 请您根据攻击方向或影响选择类型。 未知类型 归并方式 （可多选）基于日志详情或告警规则信息选择归并方式。选择后，当有多条告警时，将根据所选归并方式将多条告警合并展示为一条。 告警目标ip 设备类型 （可多选）根据您发生告警的设备进行选择。 根结点 / 主机 / 服务器/其他 资产IP （可多选）根据您选择的资产填写IP，若不填写默认匹配所有资产。 0.0.0.0 规则描述 自定义该条告警规则的内容。 整改建议 填写此条告警发生后，建议的整改规范。 3. 填写完成后，单击“下一步”，开始补充逻辑规则。 4. 单击“确认”完成告警规则配置。

本文为您介绍Token服务缓存命中能力。 缓存命中概念 在大模型API的实际调用中，许多场景（如长文档问答、多轮对话、带有大量 System Prompt 的角色扮演）会反复向模型发送相同的前置内容。缓存命中是一项旨在优化此类场景的高效计算机制，系统会将您请求中的重复前置内容进行缓存，当您后续的请求携带相同的前置内容时，模型无需重新计算这些 Token。从而降低使用成本，命中缓存的输入Token将享受折扣价。 支持的模型 支持缓存命中能力的模型见各模型卡片，或前往按需计费模式Tokens查看。 如何提升缓存命中率 在分布式集群架构下，为了提升缓存命中率，您可以在调用模型服务时传入特定的自定义参数。 1. 提升命中率的参数接入说明 在调用支持缓存命中能力的模型时，您可以在请求体Body中携带上下文会话标识参数。 参数名称：promptcachekey 参数限制：最大长度不超过64个字符。 参数要求：建议传入具有唯一性的字符串（如用户的 UserID、会话的 SessionID、文档的 DocumentID 等）。属于同一长文档阅读或同一用户连续对话的请求，建议保持该参数值一致。 2. 调用请求示例 (cURL) plaintext curl location request POST ' header 'Authorization: Bearer xxx' header 'ContentType: application/json' header 'Accept: /' dataraw '{ "model": "xxx", "promptcachekey": "myprefixcachekey001", "messages": [ { "role": "user", "content": "请对北京与上海这两座中国顶级一线城市进行全面、深度、多角度、客观中立的对比分析。" } ], "maxtokens": 200, "temperature": 0.6, "topp": 0.7, "repetitionpenalty": 1.0, "stream": true, "enablethinking": true, "streamoptions": { "includeusage": true } }'

本文介绍了科研助手一种先付费再使用的包年包月计费模式。 适用场景 包周期计费模式需要用户预先支付一定时长的费用，适用于长期、稳定的业务需求。以下是一些适用于包周期计费模式的业务场景： 稳定业务需求：对于长期运行且资源需求相对稳定的业务，例如大模型训练单任务运行时间较长的场景，包周期计费模式能提供较高的成本效益。 长期项目：对于周期较长的项目，例如科研类的模型训练，包周期计费模式可以确保在整个项目周期内资源的稳定使用。 约束限制 包周期的资源不能关机，不能更换资源规格，关机即退订。 适用计费项 计算资源（vCPU、GPU和NPU）支持包周期。 计费周期 包周期资源的计费周期是根据您购买的时长来确定的（以北京时间为准）。一个计费周期的起点是您开通或续费资源的时间（精确到秒），终点则是到期日的对应时间点。 例如，如果您在2024/04/06 15:50:04购买了一个时长为一个月的专属资源池，那么其计费周期为：2024/04/06 15:50:04 ~ 2024/05/06 15:50:04。 到期影响 购买后，在计费周期内资源正常运行；资源到期而未续费时，则进入冻结期。 到期预警 包周期资源在到期前7天内，用户将会收到系统推送的预警消息，消息将通过邮件和短信通知用户。 到期后影响 当您的包周期资源到期未释放且未续费，则包周期的资源将进入冻结状态，冻结期间无法删除资源，您可以选择续费解冻。若长时间未续费，那么计算资源（vCPU、GPU和和MEM）将被释放，数据无法恢复。

一键部署执行结果 脚本安装成功后，会打印以下日志信息，并自动触发系统重启： plaintext 示例日志 [ALWAYS] 20260317 10:50:18 All components verified successfully, installation complete! [INFO] 20260317 10:50:18 Installation verified successfully, system will reboot to complete configuration [INFO] 20260317 10:50:19 Rebooting system... 重启后验证 系统重启完成后，登录云主机，执行以下命令验证组件安装状态，若能正常输出组件版本则说明安装成功： plaintext bash autoinstall.sh check 从示例可以看出安装已成功完成，驱动版本为535.154.05、CUDA版本为V12.1.105、cuDNN版本为8.9.7。 常见问题及解决方案 问题1：脚本报错“YUM source unreachable” 若脚本运行时提示“YUM source unreachable”，大概率是云主机网络连通性异常导致。若您曾对云主机进行过DNS修改、网关变更和网段调整等影响网络连通性的操作，均可能触发该报错。建议优先排查并恢复云主机网络正常访问，确保能正常连通脚本所需的下载源后，再重新执行脚本。 问题2：脚本报错“Unsupported XXX version or kernel”或者“Unsupported operating system” 若脚本运行时提示“Unsupported XXX version or kernel”或“Unsupported operating system”，则表明当前云主机的操作系统版本或内核版本暂不支持一键部署的安装方式。遇到此问题时，请先确认是否对云主机进行过内核相关信息的修改，若有修改请先尝试恢复原有内核配置；若未进行过以上修改，可参见手动安装Tesla驱动指引，根据自身云主机的操作系统、显卡等信息自行选择适配的驱动版本进行安装。

本文向您介绍云主机网络延迟和丢包,如何定位的解决方案。 问题概述 当您的云主机出现网络延迟和丢包的问题，可能出现以下三种情况。 云主机被入侵：云主机如果发生被黑客入侵或者中毒情况，那么可能病毒程序可能会频繁发送数据包造成带宽超出上限，从而导致丢包现象，严重的情况下可能会使远程登录服务无法使用。 云主机本地网络故障：系统中可能存在业务进程传输io过大导致网络丢包，比如云主机在大量传输文件等。 云主机应用运行异常：应用运行异常会导致网络丢包，如某个应用占用很高的CPU、内存，造成云主机资源不足。 解决方案 云主机被入侵的排查方式： 可以通过 netstat anpt 命令查看系统是否存在异常连接。 可以通过查询图中Foreign Address字段中的IP地址归属判断云主机是否存异常连接，如果IP地址归属为国外地址或者非业务访问连接地址，那么云主机有可能被攻击或中毒。这种情况下建议在云主机中安装专业杀毒软件或者重装云主机系统，并对云主机做相关基于业务场景的安全加固，确保不会再次发生中毒现象。 本地网络故障的排查方式 以CentOS 7.6为例，执行以下命令，安装iotop工具。 plaintext yum install y iotop 可通过图中DISK READ和DISK WRITE字段以及COMMAND字段判断某个进程的读写情况。若存在IO流量值很大的情况，需要考虑对相应进程进行整改以确保网络稳定性。比如关闭正在传输的进程，或者分批次进行文件传输等。

本页介绍如何使用数据稽核功能进行数据迁移项的对比。 什么是数据稽查 数据稽查功能用于对比源库与目标库的数据差异，帮助用户及时发现数据不一致的问题。支持对源库和目标库的对象数目、数据行数、字段内容等多个维度的进行一致性对比。 数据稽查的类型 对象对比 对象级对比任务，对源库和目标库的数据库、索引、表、视图等对象的数量进行对比，检查数据对象是否缺失。 支持的数据链路：MySQL>MySQL、PostgreSQL>PostgreSQL、DDS/MongoDB>DDS/MongoDB、SQL Server>SQL Server。 行数对比 通过对源和目标库中表的行数进行对比，检查表的数据是否缺失。 支持的数据链路：MySQL>MySQL、PostgreSQL>PostgreSQL、DDS/MongoDB>DDS/MongoDB、SQL Server>SQL Server。 内容对比 通过对源和目标库中表的行数据进行对比，检查表的行数据是否一致。 支持的数据链路：MySQL>MySQL、PostgreSQL>PostgreSQL、SQL Server>SQL Server。 支持设置数据块大小：用户可以自由控制内容对比的数据块大小，数据块的大小可设置在100010000范围内。 支持抽样校验：如果迁移或同步的数据量非常大，对所有数据都进行校验会对源库和目标库造成高负荷。为此，内容对比提供抽样校验功能，用户可以通过设置抽样比例对数据进行抽样检验，以减小数据库的负担。可设置的抽样比例为10%、20%、30%、……、100%。 支持设置任务超时时间：用户可以设定内容对比任务的最长运行时间，如果任务未能在最大期限内完成，则任务自行终止。可设置的时间长度为1180分钟。 支持查看不一致数据的所在范围：如果发现不一致的数据，用户可以查看不一致数据所在的范围，缩小了用户需要自行检查的数据范围。

慢日志存储与归档 慢日志存储 开启DAS收集慢日志开关后，DAS会将SQL的文本内容存储到OBS中，以便进行分析。 慢日志归档 慢日志每三分钟会自动执行归档，您也可以通过单击“生成最新慢日志文件”立即触发归档，查看最新的数据。 慢日志归档最近10天的慢日志。 您还可以通过下载，将归档的慢日志下载到本地进行查看。 删除慢日志 在慢SQL页面，您可以选择全部删除或者自定义删除指定时间段的慢日志信息。 说明 慢日志删除后无法恢复，请谨慎操作。 全量SQL洞察 在实例开启DAS收集全量SQL的前提下，该模块基于全量SQL数据进行分析，并提供多维度的分析、搜索、过滤的能力，帮助用户全面洞察SQL，TOP SQL快速定位异常原因，保障数据库稳定运行。 全量SQL洞察功能在对实例性能影响极小(5%以内)的情况下，记录了全量SQL，提供了访问最频繁、更新最频繁的表，锁等待时间最长的SQL等多维度的分析、搜索、过滤能力。 使用须知 关闭DAS收集全量SQL后，DAS将不再采集您新产生的SQL，已经收集的SQL也会被删除，请您谨慎操作。 全量SQL功能不能保证记录全部数据，针对RDS for MySQL引擎，会有如下使用限制： 当前全量SQL受内存缓冲区限制，业务量大的场景下，全量SQL有较小概率因缓冲区满，存在丢弃部分记录。 当前全量SQL单条记录超过4096字节时，会默认丢弃该条记录。 此限制在MySQL 5.7.33.3及以后版本可以通过设置参数rdssqltracerreservebigrecords来选择是否丢弃。您可以在界面，将该参数设为ON，即表示单条记录超过4096字节也不被丢弃。

本文为您介绍模型推理服务缓存命中能力。 缓存命中概念 在大模型API的实际调用中，许多场景（如长文档问答、多轮对话、带有大量 System Prompt 的角色扮演）会反复向模型发送相同的前置内容。缓存命中是一项旨在优化此类场景的高效计算机制，系统会将您请求中的重复前置内容进行缓存，当您后续的请求携带相同的前置内容时，模型无需重新计算这些 Token。从而降低使用成本，命中缓存的输入Token将享受折扣价。 支持的模型 支持缓存命中能力的模型见各模型卡片，或前往按需计费模式Tokens查看。 如何提升缓存命中率 在分布式集群架构下，为了提升缓存命中率，您可以在调用模型服务时传入特定的自定义参数。 1. 提升命中率的参数接入说明 在调用支持缓存命中能力的模型时，您可以在请求体Body中携带上下文会话标识参数。 参数名称：promptcachekey 参数限制：最大长度不超过64个字符。 参数要求：建议传入具有唯一性的字符串（如用户的 UserID、会话的 SessionID、文档的 DocumentID 等）。属于同一长文档阅读或同一用户连续对话的请求，建议保持该参数值一致。 2. 调用请求示例 (cURL) plaintext curl location request POST ' header 'Authorization: Bearer xxx' header 'ContentType: application/json' header 'Accept: /' dataraw '{ "model": "xxx", "promptcachekey": "myprefixcachekey001", "messages": [ { "role": "user", "content": "请对北京与上海这两座中国顶级一线城市进行全面、深度、多角度、客观中立的对比分析。" } ], "maxtokens": 200, "temperature": 0.6, "topp": 0.7, "repetitionpenalty": 1.0, "stream": true, "enablethinking": true, "streamoptions": { "includeusage": true } }'

本平台提供了以下三种途径进行数据的上传/下载,请根据您的需求选择合适的方式。 1. 科研助手控制台上传/下载数据,该方法操作简单而且不用额外工具。 2. JupyterLab上传/下载数据,该方法适用于在开发机中使用JupyterLab时上传/下载数据。优点是使用简便,但是只支持文件不支持文件夹,文件大小不能超过2G。 3.通过网盘提供数据。 控制台上传/下载数据 前提条件 准备好需要上传的文件，目前中心代理模式下上传数据集大小限制为100M，分片3M。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【数据集管理】。 3. 选择一个数据集，在操作栏中单击【查看】按钮。 4. 在【数据集管理 】页面点击【本地上传】按钮。 5. 选择【上传文件 】或【上传文件夹 】，在弹出的页面选择具体的文件或文件夹，并点击【上传】，完成文件上传。 6. 在【数据集管理 】页面点击【下载】按钮，进行文件下载。 JupyterLab上传/下载数据 前提条件 1. 已创建接入方式为JupyterLab的开发机。 2. 准备好需要上传的文件，该方法支持文件不支持文件夹，文件大小不能超过2G。不建议传输大文件。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【开发机】。 3. 在【开发机】页面中，打开一个运行中的JupyterLab开发机。选择挂载的数据集目录，并点击进入。 4. 按照下图操作指引，在JupyterLab页面上传或下载数据。 网盘上传/下载数据 使用方法详见网盘数据集

本文为您详细介绍Qwen2.572BInstruct模型。 模型简介 Qwen2.5系列发布了许多基本语言模型和指令调整语言模型，参数范围从0.5到720亿个参数不等。Qwen2.572BInstruct模型是Qwen2.5系列大型语言模型指令调整版本。 使用场景 Qwen2.5 系列模型在自然语言理解、文本生成、编程能力、数学能力等方面都有显著提升。可以应用于聊天机器人和虚拟助手、内容创作和编辑、教育和学习辅助、编程辅助、数学问题解决等多种场景。 评测效果 Qwen2.572BInstruct 型号提供卓越的性能，甚至在几项关键任务中超过了更大的 Llama3.1405B。Qwen2.572BInstruct 在数学 （MATH： 83.1）、编码 （LiveCodeBench： 55.5） 和聊天 （ArenaHard： 81.2） 方面表现出色。与其基本型号 Qwen2.572B 及其前身 Qwen272BInstruct 相比，Qwen2.572BInstruct 展示了所有任务的全面改进。 Datasets MistralLarge2 Instruct Llama3.170BInstruct Llama3.1405BInstruct Qwen272BInstruct Qwen2.572BInstruct MMLUPro 69.4 66.4 73.3 64.4 71.1 MMLUredux 83.0 83.0 86.2 81.6 86.8 GPQA 52.0 46.7 51.1 42.4 49.0 MATH 69.9 68.0 73.8 69.0 83.1 GSM8K 92.7 95.1 96.8 93.2 95.8 HumanEval 92.1 80.5 89.0 86.0 86.6 MBPP 80.0 84.2 84.5 80.2 88.2 MultiPLE 76.9 68.2 73.5 69.2 75.1 LiveCodeBench 23052409 42.2 32.1 41.6 32.2 55.5 LiveBench 0831 48.5 46.6 53.2 41.5 52.3 IFeval strictprompt 64.1 83.6 86.0 77.6 84.1 ArenaHard 73.1 55.7 69.3 48.1 81.2 AlignBench v1.1 7.69 5.94 5.95 8.15 8.16 MTbench 8.61 8.79 9.08 9.12 9.35

本文为您详细介绍Qwen2.572BInstruct模型。 模型简介 Qwen2.5系列发布了许多基本语言模型和指令调整语言模型，参数范围从0.5到720亿个参数不等。Qwen2.572BInstruct模型是Qwen2.5系列大型语言模型指令调整版本。 使用场景 Qwen2.5 系列模型在自然语言理解、文本生成、编程能力、数学能力等方面都有显著提升。可以应用于聊天机器人和虚拟助手、内容创作和编辑、教育和学习辅助、编程辅助、数学问题解决等多种场景。 评测效果 Qwen2.572BInstruct 型号提供卓越的性能，甚至在几项关键任务中超过了更大的 Llama3.1405B。Qwen2.572BInstruct 在数学 （MATH： 83.1）、编码 （LiveCodeBench： 55.5） 和聊天 （ArenaHard： 81.2） 方面表现出色。与其基本型号 Qwen2.572B 及其前身 Qwen272BInstruct 相比，Qwen2.572BInstruct 展示了所有任务的全面改进。 Datasets MistralLarge2 Instruct Llama3.170BInstruct Llama3.1405BInstruct Qwen272BInstruct Qwen2.572BInstruct MMLUPro 69.4 66.4 73.3 64.4 71.1 MMLUredux 83.0 83.0 86.2 81.6 86.8 GPQA 52.0 46.7 51.1 42.4 49.0 MATH 69.9 68.0 73.8 69.0 83.1 GSM8K 92.7 95.1 96.8 93.2 95.8 HumanEval 92.1 80.5 89.0 86.0 86.6 MBPP 80.0 84.2 84.5 80.2 88.2 MultiPLE 76.9 68.2 73.5 69.2 75.1 LiveCodeBench 23052409 42.2 32.1 41.6 32.2 55.5 LiveBench 0831 48.5 46.6 53.2 41.5 52.3 IFeval strictprompt 64.1 83.6 86.0 77.6 84.1 ArenaHard 73.1 55.7 69.3 48.1 81.2 AlignBench v1.1 7.69 5.94 5.95 8.15 8.16 MTbench 8.61 8.79 9.08 9.12 9.35

前置条件 1. 使用前，您的租户账号需在天翼云存储控制台开通并创建相应的存储 ，详见++对象存储快速入门++、++并行文件服务快速入门++。 2. 已在本平台完成相关产品的委托授权。 操作说明 基础数据集的存储方式包括普通存储和智算存储： 普通存储（ZOS）： 账号自有存储：指租户在天翼云官网同资源池下开通的对象存储，用于数据长期存储和备份，完成委托授权后您可在本平台直接使用。 平台共享存储：本平台赠予您体验的存储，默认集群额度为 300G，是所有用户共享的存储，您的用量受限且不支持扩容，超出用量后需自行前往对象存储购买自有存储。平台后续将逐渐废弃此类存储，建议您直接使用自有存储。 智算存储（HPFS）： 账号自有存储：指租户在天翼云官网同资源池下开通的HPFS存储，常用于大模型的开发和训练等数据密集性的高性能计算场景，完成委托授权后您可在本平台直接使用。如需使用开发机和训练任务功能，请提前将数据、模型、代码导入智算存储中。训练时需要与文件存储频繁交互，请确保存储状态可用且充足。 平台共享存储：本平台赠予您体验的存储，默认集群额度为 512 G，是所有用户共享的存储，您的用量受限且不支持扩容，超出用量后需自行前往HPFS购买自有存储。平台后续将逐渐废弃此类存储，建议您直接使用自有存储。

本节介绍了怎样在本地主机和Windows弹性云主机之间互传数据的方法。 方法一：安装传输工具 在本地主机和Windows弹性云主机上分别安装QQ.exe等工具进行数据传输。 方法二：本地磁盘映射 使用远程桌面连接mstsc方式进行数据传输。该方式不支持断点续传，可能存在传输中断的情况，因此不建议上传大文件。文件较大时，建议使用部署FTP服务等方式进行数据互传。 1. 登录本地主机。 2. 使用快捷键“Win+R”打开“运行”窗口。 3. 在“打开”栏，输入“mstsc”，打开远程桌面连接。 图 远程桌面连接 4. 单击左下角的，展开选项菜单。 5. 选择“本地资源”页签，并单击“本地设备和资源”栏的“详细信息”。 图 本地资源 6. 勾选“驱动器”和“其他支持的即插即用（PnP）设备”，并单击“确定”，将本地主机上的所有磁盘映射到Windows弹性云主机。 如果只需要映射部分本地主机上的磁盘到Windows弹性云主机，请展开“驱动器”，勾选待映射的磁盘设备。 图 本地设备和资源 7. 再次打开远程桌面连接窗口，并在“计算机”栏输入Windows弹性云主机的弹性IP地址。 图 远程桌面连接Windows弹性云主机 8. 单击“连接”。 9. 登录Windows弹性云主机。 10. 查看Windows弹性云主机的磁盘信息，如果有显示本地主机的磁盘设备，则表示您的本地主机与Windows弹性云主机之间可以互传数据了，如下图所示。 图 查看磁盘设备

您可以通过包年包月计费提前预留资源,同时享受比按量计费更大的价格优惠。 VPN连接支持两种计费模式：包周期、按量付费。 包周期方式：根据购买的VPN网关带宽大小、连接数和购买时长计算费用； 按量付费方式：根据购买的VPN网关连接数数量和实际产生的流量计算流量费用。 计费周期 计费周期 扣费及出账时间 计费项 ::: 小时 账单出账时间通常在当前计费周期结束后下一小时，具体以系统实际出账时间为准。 流量费用 、连接数费用 月 账单出账时间通常在当前计费周期结束的下个自然月1日，具体以系统实际出账时间为准。 VPN网关带宽费用 、连接数费用 计费方式变更 包周期到期转按需 包周期转按需指的是包周期计费模式转换为按量计费模式，用户进行转按需操作后，在资源到期时生效，计费模式转换为按量计费。 1. 对于以包周期方式订购的VPN网关资源，在资源到期之前，可以通过单击操作列中“更多”下的“到期转按需”按钮执行到期转按需操作。 2. 点击“到期转按需”按钮之后，会进入到续订管理页面，确认资源信息无误后，点击“转按需”即可完成计费方式变更。 3. 在操作完成之后，在费用中心页面，单击“订单管理”下的“续订管理”，可以查看到期转按需的订单。 4. 在订单到期之前，可以手动取消到期转按需订单。 说明 要转换付费方式的VPN网关不能是已过期状态，只有未过期的VPN网关才可以修改付费方式，已过期的VPN网关要想修改付费方式需要先续费。

空间分析可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中Top表的空间使用情况、空间碎片、Top库空间使用情况、空间异常诊断等，可以根据分析内容进行判断磁盘是否需要扩容以及碎片整理、索引的合理性等。 前提条件 仅限来源为天翼云RDS的MySQL数据库。 仅支持西南1、华东1、上海36、华北2、长沙42、华南2、青岛20、南昌5、西安7、杭州7资源池。 已录入DMS中，且实例状态正常的数据库实例。 操作步骤 1. 登录数据管理服务。 2. 在左侧导航栏中，单击 智能运维 > 空间分析，进入空间分析界面。 注意事项 实例纳管至DMS后，默认开启空间分析数据采集，默认采集频率为6小时。 支持用户关闭空间分析数据采集，关闭后，将无法查看最新的空间分析数据。 空间分析数据采集频率支持更改为15分钟、30分钟、1小时、6小时、12小时、24小时。 功能介绍 空间分析可以直观地查看数据库实例的空间使用概况、空间剩余可用天数，以及数据库中Top表的空间使用情况、空间碎片、Top库空间使用情况、空间异常诊断等。 磁盘空间概况：磁盘剩余量、使用量、近一周日均增长量、预计可用天数。 磁盘空间变化趋势：数据空间变化趋势、磁盘使用量变化趋势，最大可支持查看近30天磁盘空间变化。 Top表分析：Top20表总占用空间、数据空间、索引空间、碎片空间、碎片率、行数、平均行长度，支持下载、以及查看数据变化趋势。 Top库分析：Top20总占用空间、库数据空间、索引空间分析，支持下载、以及查看数据变化趋势。 问题分析：分析存在多列索引、未使用索引、冗余索引、未分区大表等异常情况的表。 表检索：可实时查看指定库下的表空间信息。

本节介绍如何手动添加API资产。 手动添加API资产用于添加单个API资产。若防护对象的API资产规模较大，请配置API自动发现任务自动发现防护对象中的API资产，具体操作请参见API自动发现。 前提条件 已开通Web应用防火墙（原生版）实例企业版或旗舰版。 已完成防护域名接入，并正常防护。 操作步骤 1. 登录天翼云控制中心。 2. 单击页面顶部的区域选择框，选择区域。 3. 在产品服务列表页，选择“安全 > Web应用防火墙（原生版）”。 4. 在左侧导航栏，选择“API安全 > API管理”，进入API管理页面。 5. 在API列表上方，单击“新增API”，弹出新建API资产页面。 6. 在新建API资产页面中，配置API资产参数，配置完成后，单击“确认”。 API资产参数说明如下： 参数 说明 防护对象 通过下拉框选择已接入防护的防护对象。若下拉框没有目标对象，请参考接入WAF接入防护对象。 站点 选择防护对象下的站点，一次只能选择一个站点。 API名称 自定义API的名称。长度为263字符，以字母或中文开头，可包含数字、“.” 、“”、“”、“/”、“%”、“:”、“$”、“{”、“}”。 路径 API的路径。长度为11000字符，目前仅支持大小写字母、数字、"/"、""、""、"."以及通配符"" ，如/api//login，可以匹配api/v1/login、api/v2/login等。 说明 路径中的每一节支持独立通配符，可对该节进行通配匹配，但不允许连续出现通配符，也不支持正则类型输入。 请求方法 通过下拉框选择请求API的方法，支持GET、POST、HEAD、PUT、DELETE、OPTIONS、PATCH。 业务用途 通过下拉框选择API的业务用途。若下拉框没有目标选项，请参考[新增业务用途规则](

本文介绍出现网站访问异常的情况如何处理。 网站接入Web应用防火墙（边缘云版）之后出现访问异常的情况，一般可以通过以下流程进行排查修复： 检查源站是否正常 可通过直接将域名指向源站IP的方式（修改本机HOSTS文件），不经过Web应用防火墙（边缘云版）防护节点直接访问源站，确认源站能否正常响应。如果直接访问源站也访问异常，证明是源站本身存在问题，需要到源站排查定位问题并修复处理。 检查是否被Web应用防火墙（边缘云版）服务误拦截 可通过Web应用防火墙（边缘云版）控制台的“日志管理 > WAF攻击日志”页面查看是否相关的攻击日志记录，如果有对应的攻击记录并分析确认该请求为正常请求则可通过添加白名单规则的方式放行请求。如果没有相关攻击日志记录，可进一步到“域名列表 >安全防护 > 安全基础配置”页面将防护模式开关修改成关闭，然后再尝试访问网站，如果访问异常的情况依旧存在，则证明不是Web应用防火墙（边缘云版）防护影响的异常，需要从其他方面排查。 常见请求错误的排查定位 400 Bad Request ：客户端请求提交的内容不符合源站程序的校验，请检查请求格式和源站要求的校验格式是否一致。 413 Request Entity Too Large ：请求体太大超过服务器限制，请检查源站的网关和WEB服务器限制的请求大小是否需要调大。 502 Bad Gateway：网关错误，请检查源站是否异常，如果直接访问源站正常，则检查是否有黑名单、iptables等防火墙限制了防护节点的回源请求。 HTTPS访问异常：确认上传到WAF控制台的HTTPS证书是否失效，检查HTTPS证书链是否完整。

问题原因 上述报错可能原因是当前导入的文件数据量较大，同时因为spark.sql.shuffle.partitions参数设置的并行度过大，导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下： 1.登录DLI管理控制台，单击“作业管理 > SQL作业”，对应SQL作业行的操作列，单击“编辑”按钮，跳转到“SQL编辑器”。 2.在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。 3.重新执行作业。 SQL作业运行报错：DLI.0002 FileNotFoundException 问题现象 SQL作业执行报错，报错信息大致如下： Please contact DLI service. DLI.0002: FileNotFoundException: getFileStatus on obs://xxx: status [404] 解决方案 请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。 DLI不允许同时有多个作业在同一时间点对相同表进行读写操作，否则会造成作业冲突，导致作业运行失败。 用户通过CTAS创建hive表报schema解析异常错误 目前DLI支持hive语法创建TEXTFILE、SEQUENCEFILE、RCFILE、ORC、AVRO、PARQUET文件类型的表，如果用户CTAS建表指定的文件格式为AVRO类型，而且直接使用数字作为查询语句（SELECT）的输入，如“CREATE TABLE tbavro STORED AS AVRO AS SELECT 1”则会报schema解析异常。 此问题的原因是如果不指定列名，则会把SELECT后的内容同时作为列名和插入值，而AVRO格式的表不支持列名为数字，所以会报解析schema异常错误。 用户可以通过“CREATE TABLE tbavro STORED AS AVRO AS SELECT 1 AS colName”指定列名的方式解决该问题，或者将存储格式指定为除AVRO以外的其它格式。 在DataArts Studio上运行DLI SQL脚本，执行结果报org.apache.hadoop.fs.obs.OBSIOException错误

TPCH的测试和度量指标 TPCH 测试分解为3 个子测试：数据装载测试、Power测试和Throughput测试。建立测试数据库的过程被称为装载数据，装载测试是为测试DBMS装载数据的能力。装载测试是第一项测试，测试装载数据的时间，这项操作非常耗时。Power 测试是在数据装载测试完成后，数据库处于初始状态，未进行其它任何操作，特别是缓冲区还没有被测试数据库的数据，被称为raw查询。Power测试要求22 个查询顺序执行1 遍，同时执行一对RF1 和RF2 操作。最后进行Throughput 测试，也是最核心和最复杂的测试，更接近于实际应用环境，与Power 测试比对SUT 系统的压力有非常大的增加，有多个查询语句组，同时有一对RF1 和RF2 更新流。 测试中测量的基础数据都与执行时间有关，这些时间又可分为：装载数据的每一步操作时间、每个查询执行时间和每个更新操作执行时间，由这些时间可计算出：数据装载时间、Power@Size、Throughput@Size、QphH@Size 和$/QphH@Size。 Power@Size 是Power 测试的结果，被定义为查询时间和更改时间的几何平均值的倒数，公式如下： 其中：Size 为数据规模；SF 为数据规模的比例因子；QI （i，0）为第 i个查询的时间，以秒为单位；R（I j，0）为 RFj更新的时间，以秒为单位。 Throughput@Size 是Throughput 测试的结果，被定义为所有查询执行时间平均值的倒数，公式如下：

本章节主要介绍操作类问题中有关集群管理的问题。 如何查看所有集群？ MRS所有的集群都展示在“集群列表”页面中，进入“集群列表”页面，可查看所有集群。集群数量较多时，可采用翻页显示，您可以查看任何状态下的集群。 现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”状态的集群，目前界面只显示6个月内创建且已删除的集群，若需要查看6个月以前删除的集群，请联系技术支持人员。 失败任务管理：仅包含“失败”状态的任务。 −集群创建失败的任务 −集群删除失败的任务 −集群扩容失败的任务 −集群缩容失败的任务 如何查看MRS服务的操作日志信息？ “操作日志”页面记录了用户对集群和作业的操作的日志信息。目前，MRS界面记录的日志信息分为以下几类： 集群操作 −创建集群、删除集群、扩容集群和缩容集群等操作 −创建目录、删除目录和删除文件等操作 作业操作：创建作业、停止作业和删除作业等操作 数据操作：IAM用户任务、新增用户、新增用户组等操作 记录用户操作的日志信息如下图所示： 日志信息 如何查看MRS集群配置信息？ 集群创建完成后在MRS控制台单击集群名称进入集群基本信息页面，可以查看到集群的基本配置信息。其中，节点的实例规格和容量决定了该集群对数据的分析处理能力。节点实例规格越高，容量越大，集群运行速度越快，分析处理能力越强，相应的成本也越高。 在基本信息页面，单击“前往Manager”，跳转至MRS集群管理页面。用户可在集群管理页面查看和处理告警信息、修改集群配置等。

本节介绍了全量数据恢复：恢复到指定时间点的操作场景、约束限制、操作步骤等相关内容。 操作场景 关系型数据库服务支持使用已有的自动备份，恢复实例数据到指定时间点。 实例恢复到指定时间点，会从OBS备份空间中选择一个该时间点最近的全量备份下载到实例上进行全量恢复，再重放增量备份到指定时间点，恢复时长和实例的数据量有关，平均恢复速率为80MB/s。 功能说明 类别 说明 恢复范围 恢复整个实例。 恢复后实例数据 恢复后实例数据与用于恢复的“全备文件+增备文件”中的数据一致。 恢复到新实例会为用户重新创建一个和该时间点数据相同的实例。 恢复的时间点 可以恢复到全量备份保留时间内，最早的一个全量备份之后的任意时间点内的数据。 恢复类型 恢复到新实例 恢复到新实例各配置项 新实例的数据库引擎和数据库版本，自动与原实例相同。 其他参数需要重新配置。 恢复时长 恢复时长和实例的数据量有关，平均恢复速率为80MB/s。 约束限制 请勿在RDS for MySQL实例的生命周期内执行“reset master”命令，以免造成恢复到指定时间点功能异常。 恢复到新实例时，原实例备份存在大事务有可能会导致恢复失败，如果恢复失败请提交工单处理。 如果实例启用了“SQL限流”功能，不同恢复场景的限制如下： − 恢复到新实例：5.7版本原有的SQL限流规则都会失效，5.6和8.0会保留原实例的限流规则。 − 恢复到当前实例：当前实例的SQL限流规则都会恢复到备份所在的时间点。 − 恢复到已有实例：5.7版本目标实例的SQL限流规则全部失效，5.6和8.0原实例的规则会覆盖目标实例规则。

本章节主要介绍安装客户端。 操作场景 该操作指导安装工程师安装MRS集群所有服务（不包含Flume）的客户端。MRS针对不同服务提供了Shell脚本，供开发维护人员在不同场景下登录其对应的服务维护客户端完成对应的维护任务。 说明 通过Manager界面修改服务端配置或系统升级后，建议重新安装客户端，否则客户端与服务端版本将不一致。 前提条件 安装目录可以不存在，会自动创建。但如果存在，则必须为空。目录路径不能包含空格。 客户端节点为集群外部服务器时，必须能够与集群业务平面网络互通，否则安装会失败。 客户端必须启用NTP服务，并保持与服务端时间一致，否则安装会失败。 对于下载所有组件客户端的情况，HDFS与Mapreduce是合一目录（“ 客户端目录 /HDFS/”）。 安装和使用客户端可以使用任意用户进行操作，用户名和密码请从管理员处获取，本章节以“userclient”进行举例。要求“userclient”用户为服务器文件目录（如“/opt/Bigdata/client”）和客户端安装目录（如“/opt/Bigdata/hadoopclient”）的“owner”，两个目录的权限为“755”。 使用客户端需要已从管理员处获取“组件业务用户”（默认用户或新增用户）和“密码”。 使用omm 和root以外的用户安装客户端时，若“/var/tmp/patch”目录已存在，需将此目录权限修改为“777”，将此目录内的日志权限修改为“666”。 操作步骤 1. 获取软件包。 登录FusionInsight Manager，具体请参考访问FusionInsight Manager（MRS 3.x及之后版本），在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端”，弹出“下载集群客户端”信息提示框。 详见下图：下载客户端 说明 在只安装单个服务的客户端的场景中，选择“集群 > 待操作集群的名称 > 服务 > 服务名称 > 更多 > 下载客户端”，弹出“下载客户端”信息提示框。 2. 选择客户端类型”中选择“完整客户端”。 “仅配置文件”下载的客户端配置文件，适用于应用开发任务中，完整客户端已下载并安装后，管理员通过Manager界面修改了服务端配置，开发人员需要更新客户端配置文件的场景。 平台类型包括x8664和aarch64两种： x8664：可以部署在x86平台的客户端软件包。 aarch64：可以部署在TaiShan服务器的客户端软件包。 说明 集群支持下载x8664和aarch64两种类型客户端，但是客户端类型必须和待安装节点的架构匹配，否则客户端会安装失败。 3. 是否在集群的节点中生成客户端文件？ 是，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件，文件生成后默认保存在主管理节点“/tmp/FusionInsightClient”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。单击“确定”，等待下载完成后，使用omm用户或root用户将获取的软件包复制到将要安装客户端的服务器文件目录，例如“/opt/Bigdata/client”。然后执行步骤5。 说明 当用户无法获取root用户权限，需要用omm用户操作。 否，单击“确定”指定本地的保存位置，开始下载完整客户端，等待下载完成，执行步骤4。 4. 上传软件包。 使用WinSCP工具，以准备安装客户端的用户（如“userclient”），将获取的软件包上传到将要安装客户端的服务器文件目录，例如“/opt/Bigdata/client”。 客户端软件包名称格式为：“FusionInsightCluster ServicesClient.tar”。 后续步骤及章节以FusionInsightCluster1ServicesClient.tar进行举例。 说明 客户端所在主机可以是集群内节点，也可以是集群外节点。当该节点为集群外部服务器时，必须能够与集群网络互通，并启用NTP服务以保持与服务端时间一致。 例如可以为外部服务器配置与集群一样的NTP时钟源，配置之后可以执行ntpq np命令检查时间是否同步。 如果显示结果的NTP时钟源IP地址前有“”号，表示同步正常，如下： remote refid st t when poll reach delay offset jitter 10.10.10.162 .LOCL. 1 u 1 16 377 0.270 1.562 0.014 如果显示结果的NTP时钟源IP前无“”号，且“refid”项内容为“.INIT.”，或者回显异常，表示同步不正常，请联系技术支持。 remote refid st t when poll reach delay offset jitter 10.10.10.162 .INIT. 1 u 1 16 377 0.270 1.562 0.014 也可以为外部服务器配置与集群一样的chrony时钟源，配置之后可以执行chronyc sources命令检查时间是否同步。 如果显示结果的主OMS节点chrony服务IP地址前有“”号，表示同步正常，如下： MS Name/IP address Stratum Poll Reach LastRx Last sample ^10.10.10.162 10 10 377 626 +16us[ +15us] +/ 308us 如果显示结果的主OMS节点NTP服务IP前无“”号，且“ Reach ”项内容为“0”，表示同步不正常。 MS Name/IP address Stratum Poll Reach LastRx Last sample ^? 10.1.1.1 0 10 0 +0ns[ +0ns] +/ 0ns 5. 以userclient用户登录将要安装客户端的服务器。 6. 解压软件包。 进入安装包所在目录，例如“/opt/Bigdata/client”。执行如下命令解压安装包到本地目录。 tar xvf FusionInsightCluster1ServicesClient.tar 7. 校验软件包。 执行sha256sum命令校验解压得到的文件，检查回显信息与sha256文件里面的内容是否一致，例如： sha256sum c FusionInsightCluster1ServicesClientConfig.tar.sha256 FusionInsightCluster1ServicesClientConfig.tar: OK 8. 解压获取的安装文件。 tar xvf FusionInsightCluster1ServicesClientConfig.tar 9. 配置客户端网络连接。 a.确保客户端所在主机能与解压目录下“hosts”文件（例如“/opt/Bigdata/client/FusionInsightCluster ServicesClientConfig/hosts”）中所列出的各主机在网络上互通。 b.当客户端所在主机不是集群中的节点时，需要在客户端所在节点的“/etc/hosts”文件（更改此文件需要root用户权限）中设置集群所有节点主机名和业务平面IP地址映射，主机名和IP地址请保持一一对应，可执行以下步骤在hosts文件中导入集群的域名映射关系。 切换至root用户或者其他具有修改hosts文件权限的用户。 su root 进入客户端解压目录。 cd /opt/Bigdata/client/FusionInsightCluster1ServicesClientConfig 执行 cat realm.ini >>/etc/hosts ，将域名映射关系导入到hosts文件中。 说明 当客户端所在主机不是集群中的节点时，配置客户端网络连接，可避免执行客户端命令时出现错误。 如果采用yarnclient模式运行Spark任务，请在“ 客户端安装目录 /Spark/spark/conf/sparkdefaults.conf”文件中添加参数“spark.driver.host”，并将参数值设置为客户端的IP地址。 当采用yarnclient模式时，为了Spark WebUI能够正常显示，需要在Yarn的主备节点（即集群中的ResourceManager节点）的hosts文件中，配置客户端的IP地址及主机名对应关系。 10. 进入安装包所在目录，执行如下命令安装客户端到指定目录（绝对路径），例如安装到“/opt/hadoopclient”目录。 cd /opt/Bigdata/client/FusionInsightCluster1ServicesClientConfig 执行./install.sh /opt/hadoopclient命令，等待客户端安装完成（以下只显示部分屏显结果）。 The component client is installed successfully 说明 如果已经安装的全部服务或某个服务的客户端使用了“/opt/hadoopclient”目录，再安装其他服务的客户端时，需要使用不同的目录。 卸载客户端请删除客户端安装目录。 如果要求安装后的客户端仅能被该安装用户（如“userclient”）使用，请在安装时加“o”参数，即执行./install.sh /opt/hadoopclient o命令安装客户端。 如果安装NTP服务器为chrony模式，请在安装时加“chrony”参数，即执行./install.sh /opt/hadoopclient ochrony命令安装客户端。 由于HBase使用的Ruby语法限制，如果安装的客户端中包含了HBase客户端，建议客户端安装目录路径只包含大写字母、小写字母、数字以及?.@+字符。 客户端节点为集群外部服务器且此节点无法与主oms节点的业务平面IP互通时或者无法访问主节点的20029端口时，客户端可以正常安装成功，但无法注册到集群中，无法在界面上进行展示。 a.执行cd /opt/hadoopclient命令进入客户端安装目录。 b.执行source bigdataenv命令配置客户端环境变量。 c.如果集群为安全模式，执行以下命令，设置kinit认证，输入客户端用户登录密码；普通模式集群无需执行用户认证。 kinit admin Password for admin@HADOOP.COM:

1.创建数据库 在使用DataArts Studio数据集成将数据迁移上云之前，我们需要在目的端数据湖中创建目标数据库。根据数据湖治理落地流程，建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库，从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念，此处可先简单了解，在数据架构时将深入了解与操作。 您可以参考以下任一一种方式在数据湖中创建数据库。 您可以在DataArts Studio数据开发模块中，可视化方式创建数据库，具体操作请参见“数据开发 > 数据管理 > 新建数据库”章节。 您可以通过在DataArts Studio数据开发模块或数据湖产品的SQL编辑器上，开发并执行用于创建数据库的SQL脚本，从而创建数据库。在DataArts Studio数据开发模块开发脚本的具体操作请参见“数据开发 > 脚本开发 > 开发脚本> 开发SQL脚本”章节；数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。 2.创建数据表 在使用DataArts Studio数据集成将数据迁移上云之前，我们需要在目的端数据湖的SDI层数据库中创建一个目标表，用于存储原始数据。批量数据迁移场景下，关系型数据库之间的迁移和关系型数据库到Hive的迁移支持自动创建目标表，这种情况下可以不预先在目的端数据库中创建目标表。 您可以参考以下任一一种方式在数据湖中创建原始数据表。如果表字段个数较多，建议使用编写SQL脚本的方式创建表。 您可以在DataArts Studio数据开发模块中，可视化方式创建数据表，具体操作请参见“数据开发 > 数据管理 > 新建数据表”章节。 您可以通过在DataArts Studio数据开发模块或数据湖产品的SQL编辑器上，开发并执行用于创建数据表的SQL脚本，从而创建数据表。在DataArts Studio数据开发模块开发脚本的具体操作请参见“数据开发 > 脚本开发 > 开发脚本> 开发SQL脚本”章节；数据湖产品的SQL编辑器上的具体操作请参见对应数据湖产品的帮助文档。

本章节介绍DDS的自定义策略。 如果系统预置的DDS权限，不满足您的授权要求，可以创建自定义策略。 目前天翼云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 本章为您介绍常用的DDS自定义策略样例。 DDS自定义策略样例 示例1：授权用户创建文档数据库实例 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "dds:instance:create" ] } ] } 示例2：拒绝用户删除文档数据库实例 拒绝策略需要同时配合其他策略使用，否则没有实际作用。用户被授予的策略中，一个授权项的作用如果同时存在Allow和Deny，则遵循 Deny优先原则 。 如果您给用户授予DDS FullAccess的系统策略，但不希望用户拥有DDS FullAccess中定义的删除文档数据库实例权限，您可以创建一条拒绝删除文档数据库实例的自定义策略，然后同时将DDS FullAccess和拒绝策略授予用户，根据Deny优先原则，则用户可以对DDS执行除了删除文档数据库实例外的所有操作。拒绝策略示例如下： { "Version": "1.1", "Statement": [ { "Effect": "Deny" "Action": [ "dds:instance:deleteInstance" ], } ] } 示例3：多个授权项策略 一个自定义策略中可以包含多个授权项，且除了可以包含本服务的授权项外，还可以包含其他服务的授权项，可以包含的其他服务必须跟本服务同属性，即都是项目级服务或都是全局级服务。多个授权语句策略描述如下： { "Version": "1.1", "Statement": [ { "Action": [ "dds:instance:create", "dds:instance:modify", "dds:instance:deleteInstance", "vpc:publicIps:list", "vpc:publicIps:update" ], "Effect": "Allow" } ] } 实例4：授权资源策略 一个自定义策略可以设置资源策略，表示在当前的action下面，拥有哪些资源的操作权限，目前支持实例名称的配置，可以用来表示通配符。授权资源策略的描述如下: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "dds:instance:list" ] }, { "Effect": "Allow", "Action": [ "dds:instance:modify" ], "Resource": [ "DDS:::instanceName:dds" ] } ] }

高可用性与灾备 对象存储系统通常具有内建的高可用性和多地冗余能力，可以确保数据的持久性和可靠性。即使计算节点发生故障，数据仍然安全地存储在对象存储中，计算资源可以快速恢复并重新处理数据。 灵活的数据管理 存算分离的架构允许用户更灵活地管理数据生命周期。例如，可以将冷数据移至对象存储，并在需要时动态加载到计算节点进行分析。这样，用户能够更好地控制数据的访问模式和存储成本。 技术实现与应用 实现存算分离需要配置搜索引擎与对象存储系统的连接。用户可以通过搜索引擎的 API 和配置文件，指定外部对象存储作为数据的存储位置。计算节点在进行索引或查询操作时，会根据需要从对象存储中拉取数据，这个过程是透明且自动化的。 搜索引擎还提供了工具和接口，使用户能够监控存算分离的运行状态，调整数据加载和处理的策略。无论是对大规模数据集的批处理，还是实时查询场景，搜索引擎的存算分离功能都能够提供高效的解决方案。 操作示例 我们以Elasticsearch为例，点击对应实例的“数据管理备份管理”，开启备份。根据引导开通ZOS服务，创建存储桶，填写对象存储的AK/SK。具体操作可参考创建快照备份。 1. 开通好备份功能之后，创建测试index： plaintext PUT myindex { "settings": { "numberofshards": 1, "numberofreplicas": 0 }, "mappings": { "properties": { "name": { "type": "text" }, "age": { "type": "integer" } } } } 2. 插入数据： plaintext POST myindex/doc { "name": "John Doe", "age": 30 } POST myindex/doc { "name": "Jane Doe", "age": 25 } 在备份管理页面，点击手动备份，填写备份名称、存储路径、备份对象等信息。备份对象我们选择索引，填写索引名称“myindex”。点击确认。备份状态变成“已生成”，就成功备份了。 在索引管理页面，删除“myindex”索引。删除成功后，索引管理查询没有“myindex”索引。 3. 数据恢复： 如果需要继续使用“myindex”索引的场景，回到备份管理页面，针对生成的快照点击备份恢复，点击确认，等待恢复完成。 在索引管理页面，看到“myindex”索引又恢复到实例中即可正常使用查询分析等功能。 通过支持对象存储实现存算分离，搜索引擎在数据管理和系统架构方面提供了更大的灵活性和扩展性。无论是在弹性扩展、成本优化，还是在高可用性与灾备、灵活数据管理等场景中，存算分离都能够帮助用户更高效地利用资源，构建健壮且经济高效的分布式搜索和分析系统。

您可以在MySQL控制台上升级数据库版本,也可以通过数据传输服务DTS升级数据库版本。本文介绍关系数据库MySQL版升级数据库版本的具体操作。 注意 仅II类型资源池支持该功能，I类型资源池不支持该功能，具体支持情况以控制台页面展示为准。更多资源池信息，请参见功能概览。 方式一 ：通过控制台进行原地升级 注意 您可以通过控制台进行原地升级数据库版本，该方式支持将主备及以上规格的实例，从 5.7版本升级到8.0版本。 由于升级时会拷贝系统组件包，因此要求您的存储空间使用率低于85%，否则将升级失败，如果您的存储空间使用率超过85%，您可以通过存储空间扩容来扩大存储空间以满足升级要求。 约束限制 不支持只读实例，升级前需要释放只读实例。 仅主备实例及以上多节点实例才支持大版本升级。 升级前确保实例状态为运行中，且延迟少于10秒。 如果实例开启了SSL功能，则不支持升级，请先关闭SSL加密后再升级。 数据库中的存储过程、触发器、视图或函数中如果包含MySQL 8.0不支持的特性，可能会导致升级失败。 只支持InnoDB，针对非系统表，在将版本升级到MYSQL 8.0后，会把所有非InnoDB转换成InnoDB表。 用户参数不支持迁移，升级完成后自行设置。例如：SQL审计升级前开启，升级后默认关闭，需要用户自行开启。 数据库版本升级之后，旧版本的审计日志的内容可能不会进行展示。

本小节介绍日志审计(原生版)报表用户指南。 报表是将日志审计（原生版）获取到的数据源数据，按报表的形式展示。 内置报表包括：攻击事件报表、审计事件报表、恶意程序报表、应用服务器报表、网络设备报表、防火墙事件报表、windows审计报表、Linux审计报表、天翼云堡垒机审计报表。 新增报表组 您需要在报表组中新增自定义报表，首先需要新增报表组。 1. 登录日志审计（原生版）控制台。 2. 在左侧导航栏选择“审计报表 > 报表”，进入“报表”页面。 3. 单击“新增组”，填写“报表组名称”和“报表组描述”。 4. 填写完成后，单击“确认”完成报表组的新增。 新增报表 1. 登录日志审计（原生版）控制台。 2. 在左侧导航栏选择“审计报表 > 报表”，进入“报表”页面。 3. 选择需要新增报表的组，单击“新增报表”，进入“配置报表”页面。 4. 在“配置报表”页面，填写相关内容。 参数 参数说明 取值样例 名称 填写自定义报表模板的名称，在同一个报表组内不支持重名的报表。 Test 标题 填写报表文件的大标题。 Test 数据源 选择报表内容生成的数据源，如何配置数据源请参考数据源。 保存时间 选择报表生成后在系统内保存的时间，以天为单位。 7天 纸张大小 选择生成报表的纸张大小模板，支持选择“A3”、“A4”。 A4 纸张方向 选择生成报表的纸张方向。 垂直 页眉/页脚 根据需求选择是否开启。 5. 在页面右侧，拖拽需要配置的文档模板模块，完成报表模板的配置。 6. 配置完成后单击“提交”，完成报表的配置。

您可以通过包年包月计费提前预留资源,同时享受比按量计费更大的价格优惠。 适用场景 包年包月是一种计费模式，适用于多种场景，尤其是需要稳定资源并长期使用的情况： 1.长期稳定使用 常驻服务： 适用于需要长期稳定运行的服务，如网站托管、数据库服务器、企业应用等。 2.成本可控和节约 成本控制： 对于需要长期使用的资源，包年包月可以降低长期成本，相比按需付费更为经济。 预算规划： 有助于企业预算规划，避免长期高额的变动费用，提供更稳定的费用支出。 3.稳定资源需求 资源保障： 对于有稳定资源需求的业务，如特定配置的服务器、存储或计算资源，包年包月提供稳定的资源保障。 约束与限制 包年包月的计费模式虽然有其优势，但也存在一些约束和限制，这些限制可能因服务提供商和具体服务套餐而异： 1.长期绑定 合约期限： 通常需要按照一定期限购买，可能是一年或更长时间的合约，无法随时更改或取消。 费用一次性支付： 一次性支付包年包月费用，无法根据实际使用情况灵活调整费用。 2.非弹性和限制 固定资源： 购买后资源固定，无法根据实际需求灵活调整，可能导致资源过剩或不足。 限制升级： 一些服务可能在包年包月期间限制资源的升级，只能在合同到期后进行。 3.限制服务范围 部分服务限制： 某些服务或特性可能无法包含在包年包月套餐内，需要额外付费或选择其他计费模式。 4.资费约束 费用固定性： 购买后的费用是固定的，无法根据实际使用情况进行变动或调整。