本章节介绍如何将部署在云容器引擎的应用通过安装cubems插件实现应用接入 概述 部署在云容器引擎的应用可以直接通过安装cubems插件实现应用接入。 环境规划 1.开通微服务云应用平台MSAP 开通 微服务云应用平台。 2.环境信息配置 使用微服务治理中心前，需要为应用提前规划环境、项目和分组信息。您可通过进入微服务治理控制台>应用治理>应用接入>云容器引擎进行配置，也可跳转至微服务云应用平台创建。 网络通路 1.DNS配置 上报域名为内网域名，需要在DNS配置文件（/etc/resolv.conf）首行添加nameserver 100.95.0.1 才生效。 2.创建VPC终端节点 使用微服务治理中心前，需要在目标VPC中创建终端节点。创建路径：微服务治理中心控制台>应用治理>应用接入>ECS集群>网络通路。 进入应用接入页面。 点击云容器引擎，选择VPC，点击创建终端节点。 点击确定授权并创建VPC终端节点。 点击确定后，刷新页面，显示VPC的终端节点状态为已创建。

本文旨在为您介绍云原生API网关如何查看网关监控数据、资源监控数据、在云原生API网关开启日志和链路追踪、以及如何通过云原生API网关查看REST API、接口和路由的监控数据。这些功能将帮助您更高效地管理和优化接口性能,同时提升整体服务质量。 查看网关监控数据 操作步骤 1. 登录 云原生API网关控制台。 2. 在左侧导航栏，选择 "概览"。 3. 在实例监控模块，右上角下拉列表可选择实例。 4. 在实例监控页面，可看到该实例最近时刻的QPS，请求成功率，节点CPU使用率和已使用内存的指标信息。 查看网关资源监控数据 操作步骤 1. 登录 云原生API网关控制台。 2. 在左侧导航栏，选择 "实例"，并在顶部菜单栏选择地域。 3. 进入实例详情页，在左侧导航栏中，选择 "观测分析"。 4. 选择"监控分析"，可看到该实例最近时刻的流量监控，请求监控和延迟监控等指标信息。 5. 选择"资源监控"，可看到该实例每个节点最近时刻的CPU使用率，内存使用率，磁盘和网络等指标信息。 开启网关日志采集 云原生网关对接天翼云日志服务（LTS）实现了访问日志采集、上报和查询能力。开启日志采集后，您可以通过分析云原生API网关的访问日志了解客户端用户行为，以便排查问题。

通过IAM用户控制资源访问 在协同使用资源的场景下，根据实际的职责权限情况，您可以创建多个IAM用户并为其授予不同的权限，实现不同IAM子用户可以分权管理不同的资源，从而提高管理效率，降低信息泄露风险。本文介绍如何创建IAM子用户并授予特定权限策略，从而控制对虚拟私有云资源的访问。 操作步骤 创建IAM子用户 具体操作，请参见“创建子用户/子用户分组”。 创建自定义策略 天翼云提供了访问虚拟私有云资源的系统策略，更多信息，请参见“管理权限”。如果系统策略不能满足需求，您还可以创建自定义策略，具体操作，请参见“自定义策略“。 策略分为用户可以自行定义的自定义策略，以及预定义在平台录入的系统策略两类。 细粒度授权策略结构包括策略版本号（Version）及策略授权语句（Statement）列表。 策略版本号：Version，标识策略结构的版本号。目前为1.1. 策略授权语句：Statement，包括了基本元素：作用（Effect）和权限集（Action）。 作用（Effect）包含两种：允许（Allow）和拒绝（Deny）。 授权项（Action）是对资源的具体操作权限，支持单个或多个操作权限。 a) 脚本配置策略示例一：为IAM子用户配置虚拟私有云查看者权限。 { "Version": "1.1", "Statement": [ { "Action": [ "vpc::list", "vpc::get", "vpc::get", "vpc::check", "elb::list", "elb::get", "dps::list", "dps::get", "ctlts:inst:listProject", "ctlts:inst:listUnit", "ecs::get", "ecs::list" ], "Effect": "Allow" } ] } b) 脚本配置策略示例二：为IAM子用户配置虚拟私有云所有操作权限。 { "Version": "1.1", "Statement": [ { "Action": [ "vpc::", "ecs::get", "elb::list", "elb::get", "dps::list", "dps::get", "ctlts:inst:listProject", "ctlts:inst:listUnit", "ecs::list" ], "Effect": "Allow" } ] }

方式2：配置模板获取 操作场景 直接使用配置模板为集群服务新增配置，不支持对配置模板内容进行修改。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“集群服务”，进入集群服务列表页面。 5. 选择指定集群服务，单击集群服务名称进入集群服务详情页面。 6. 单击“配置管理”tab。 7. 选择要新增配置的的配置组，鼠标移入到配置组名称上，单击右侧的“新增配置”图标，页面右侧为新增配置。 8. 选择新增方式为“配置模板获取”。如图所示： 9. 选择配置模板。 10. 单击“保存”完成配置新增。 方式3：共享其他集群配置 操作场景 当前集群服务与其他集群的配置存在依赖管理，可直接共享其他集群服务的配置。 操作步骤 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 4. 进入到翼MR Manager以后，单击菜单“集群服务”，进入集群服务列表页面。 5. 选择指定集群服务，单击集群服务名称进入集群服务详情页面。 6. 单击“配置管理”tab。 7. 选择要新增配置的的配置组，鼠标移入到配置组名称上，单击右侧的“新增配置”图标，页面右侧为新增配置。 8. 选择新增方式为“共享其他集群配置”。如图所示： 9. 选择要共享的集群和配置。 10. 单击“保存”完成配置新增。 说明 1. 与其他集群共享的配置，在配置文件名称前会有“”进行标识。 2. 与其他集群共享的配置，在任意一个集群服务下进行配置修改后，共享该配置的集群服务的配置也会同步进行修改。 方式4：复制其他组配置

前提条件 已获取管理控制台的登录账号与密码。 已使用的数据安全专区，需停止系统所有操作，解绑EIP。 操作步骤 1. 登录管理控制台。 2. 选择“安全 > 数据安全专区（原生版）”，进入数据安全专区实例管理页面。 3. 选择待退订的实例，单击所在行“操作”列的“更多 > 退订”，弹出的退订实例对话框。 4. 确认实例信息无误后，单击“确定”，进入控制中心>退订管理>退订申请，选择退订原因，勾选确认退订金额，点击退订按钮完成退订。 到期与欠费 包周期资源开通成功后，如果没有按时续费，云平台会提供一定的保留期。 保留期 ：指宽限期到期后客户的包年/包月资源仍未续订或按需资源仍未缴清欠款，将进入保留期。保留期内客户不能访问及使用云服务，但对客户存储在云服务中的数据仍予以保留。 云服务进入保留期后，天翼云将会通过邮件、短信等方式向您发送提醒，提醒您续订或充值。保留期到期仍未续订或充值，存储在云服务中的数据将被删除、云服务资源将被释放。 欠费后，可以查看欠费详情。为防止相关资源被停止或者释放，请及时进行充值，账号将进入欠费状态，需要在约定时间内支付欠款。

处理措施 查找大key、热key，方法如下： DCS控制台提供了大Key和热Key的分析功能，你可参考缓存分析减少大key和热key。 通过rediscli的bigkeys和hotkeys参数查找大Key和热Key： Rediscli提供了bigkeys参数，能够使rediscli以遍历的方式分析Redis实例中的所有Key，并返回Key的整体统计信息与每个数据类型中Top1的大Key，bigkeys仅能分析并输入六种数据类型（STRING、LIST、HASH、SET、ZSET、STREAM），命令示例为： rediscli h p a bigkeys 。 自Redis 4.0版本起，rediscli提供了hotkeys参数，可以快速帮您找出业务中的热Key，该命令需要在业务实际运行期间执行，以统计运行期间的热Key。命令示例为： rediscli h p a hotkeys 。热Key的详情可以在结果中的summary部分获取到。 提前发现大key、热key。 参考配置告警配置节点级别的内存利用率 监控指标的告警。 如果某个节点存在大key，这个节点比其他节点内存使用率高很多，会触发告警，便于您发现潜在的大key。 参考配置告警配置节点级别的 入网最大带宽、出网最大带宽 、CPU利用率监控指标的告警。 如果某个节点存在热key，这个节点的带宽占用、CPU利用率都比其他节点高，该节点会容易触发告警，便于您发现潜在热key。 说明 由于Redis 3.0实例不支持热key分析，您可以使用该方式帮助您发现热key。 其他优化建议： string类型控制在10KB以内 ，hash、list、set、zset 元素尽量不超过5000 。 key的命名前缀为业务缩写，禁止包含特殊字符(比如空格、换行、单双引号以及其他转义字符)。 Redis事务功能较弱，不建议过多使用。 短连接性能差，推荐使用带有连接池的客户端。 如果只是用于数据缓存，容忍数据丢失，建议关闭持久化。 如果实例内存使用率通过以上方式仍然很高，请考虑在业务低峰期扩大实例规格。具体操作请参见变更实例规格。

本章节介绍资源及磁盘管理类的常见问题有哪些及解决办法。 创建实例需要多长时间 对于RDS for MySQL和RDS for PostgreSQL实例： 正常情况下，无论是主备实例还是单机实例，创建时间都在57分钟之间。只读实例的创建时间与主实例的数据量有关，数据量越大，创建时间越长。如果是主实例是空实例，创建实例需78分钟。 对于RDS for SQL Server实例： 单机实例创建时间约1215分钟，主备实例创建时间约1518分钟。 如果超过这个时间，创建过程可能存在问题。 占用RDS磁盘空间的日志及文件有哪些 占用关系型数据库实例的磁盘空间的日志及文件如下表： MySQL数据库文件类型 数据库引擎 文件类型 :: MySQL 日志文件：数据库undolog、redolog和Binlog文件。 MySQL 数据文件：数据库内容文件和索引文件。 MySQL 其他文件：ibdata、iblogfile0和临时文件等。 PostgreSQL数据库文件类型 数据库引擎 文件类型 :: PostgreSQL 日志文件：数据库错误日志文件和事务日志文件。 PostgreSQL 数据文件：数据库内容文件、索引文件、复制槽数据文件、事务状态数据文件和数据库配置文件。 PostgreSQL 其他文件：临时文件。 Microsoft SQL Server数据库文件类型 数据库引擎 文件类型 :: Microsoft SQL Server 日志文件：数据库的错误日志、事务日志文件和跟踪文件。 Microsoft SQL Server 数据文件：数据库内容文件。 解决方案 1. 随着业务数据的增加，原来申请的数据库磁盘容量可能会不够用，您需要为关系型数据库实例进行扩容。 2. 针对数据空间过大，可以删除无用的历史表数据进行释放空间（DROP或TRUNCATE操作，如果是执行DELETE操作，需要使用OPTIMIZE TABLE来释放空间）；如果没有可删除的历史数据，需要进行磁盘扩容。 3. 针对大量排序查询导致的临时文件过大，建议进行优化SQL查询。 1. 应用中存在大量的排序查询，产生了大量的临时文件。 2. . 短期内大量增、删、改，产生大量binlog文件占用空间。 3. 由于大量的事务和写入操作产生了大量的binlog日志文件。 4. 云监控服务目前可以监控存储空间的大小、使用量、利用率等，并且设置告警策略。

本页介绍天翼云TeleDB数据库在哪里做日志相关参数。 logdestination (string) TeleDB支持多种方法来记录服务器消息，包括stderr、csvlog和syslog。在 Windows 上还支持eventlog。设置这个参数为一个由想要的日志目的地的列表，之间用逗号分隔。默认值是只记录到stderr。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。如果csvlog被包括在logdestination中，日志项会以“逗号分隔值” （CSV）格式被输出，这样可以很方便地把日志载入到程序中。要产生 CSV 格式的日志输出，必须启用loggingcollector。当包含stderr或csvlog时， 会创建文件currentlogfiles，以记录日志收集器和相关记录目的当前正在使用的日志文件的位置。这提供了一种便捷的方式来查找当前实例正在使用的日志。 这里是这个文件内容的一个例子：stderr log/postgresql.log csvlog log/postgresql.csv当一个新的日志文件被创建为一个循环的效果，并且当logdestination 被重新加载时，currentlogfiles被重新创建。 当stderr和csvlog 都不包含在logdestination中，并且日志记录收集器被禁用时， 它将被删除。注意在大多数 Unix 系统上，你将需要修改系统的syslog守护进程的配置来使用logdestination的syslog选项。TeleDB可以在syslog设备LOCAL0到LOCAL7中记录（见syslogfacility），但是大部分平台上的默认syslog配置会丢弃所有这种消息。你将需要增加这样的内容：local0. /var/log/postgresql到syslog守护进程的配置文件来让它工作。在 Windows 上，当你使用logdestination的eventlog选项时，你应该在操作系统中注册一个事件源及其库，这样 Windows 事件查看器能够清楚地显示事件日志消息。

本文将为您介绍天翼云短信服务的产品优势，方便您快速了解短信服务。 快速稳定 云化的分布式处理技术，智能化调度，三网合一，通道高并发且延迟低，保证最快的发送速度，到达率可达99%。 价格优势 顶级运营商，接入三大运营商金牌代理商，具备全网覆盖且多点接入的资源储备；价格优势明显。 三网覆盖 接入电信、移动、联通三大运营商，具备国内100%全网覆盖且多点接入的资源储备。 安全可控 每日发送量阈值可设置，以防止资源意外大量损耗；单客户每日发送量阈值可设置，以减少打扰；黑名单用户可设置，以降低用户投诉风险。 快速集成 支持各类编程语言对接产品API，如Java、 PHP、Python、Node.js及C等。支持HTTPS标准协议，无需客户单独适配SMGP、CMPP、SGIP等专用协议，最快10分钟接入。 无忧售后 724小时在线客服，随时咨询、回访系统使用情况，具有全套解答、排查、转发用户提交问题，收集、管理、分析能力。

本文介绍全站加速最佳实践的概述。 天翼云全站加速产品，依托全球2300+分布式加速节点，基于云网融合优势，通过动静分离、多级缓存、智能路由、协议优化、链路优化等多项技术，为用户提供低延时、高可用的加速网络服务。广泛应用于金融、教育、传媒、政府机构、电子商务、娱乐资讯、网络游戏等行业。 主要行业应用场景及最佳实践详见以下： 全站加速业务实例 全站加速在金融行业的最佳实践 全站加速在教育行业的最佳实践 全站加速在传媒行业的最佳实践 全站加速在电商行业的最佳实践 全站加速在游戏行业的最佳实践 全站加速在娱乐资讯行业的最佳实践 如何获取客户端真实IP QUIC在短视频场景下的最佳实践 全站加速媒体存储资源

本节介绍了云容器引擎的最佳实践:存储卷。 存储基础知识 云容器引擎使用Kubernetes编排系统作为集群、应用、存储、网络等模块的管理平台。本文为您介绍容器存储相关的基础知识，以便在使用容器服务的存储能力时，了解相应模块的基础知识和使用原则。 数据卷（Volume） 因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。数据卷（Volume）定义了外置存储的细节，并内嵌到Pod中作为Pod的一部分。实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。 数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。 数据卷（Volume）使用原则：一个Pod可以挂载多个数据卷（Volume）。一个Pod可以挂载多种类型的数据卷（Volume）。每个被Pod挂载的Volume卷，可以在不同的容器间共享。Kubernetes环境推荐使用PVC和PV方式挂载数据卷（Volume）。虽然单Pod可以挂载多个数据卷（Volume），但是并不建议给一个Pod挂载过多数据卷。

P1型弹性云主机功能如下： 处理器与内存配比为1:8。 处理器：Intel Xeon E52690V4 2.6GHz。 支持NVIDIA Tesla P100 GPU卡，单实例最大支持4张P100显卡，如果需要使用单机8张P100显卡，可以使用物理机。 提供GPU硬件直通能力。 单精度能力9.3 TFLOPS，双精度能力4.7 TFLOPS。 最大网络带宽10Gb/s。 使用16GiB HBM2显存，显存带宽732Gb/s。 使用800GiB的NVMe SSD卡作为本地临时存储。 完整的基础能力 网络自定义，自由划分子网、设置网络访问策略；海量存储，弹性扩容，支持备份与恢复，让数据更加安全；弹性伸缩，快速增加或减少云主机数量。 灵活选择 与普通云主机一样，P1型云主机可以做到分钟级快速发放。用户可以根据业务规模灵活选择规格，后续将逐步支持1:2、1:4、1:8规格云主机的创建。 优秀的超算生态 拥有完善的超算生态环境，用户可以构建灵活弹性、高性能、高性价比的计算平台。大量的HPC应用程序和深度学习框架已经可以运行在P1实例上。 常规支持软件列表 P1型云主机主要用于计算加速场景，例如深度学习训练、推理、科学计算、分子建模、地震分析等场景。应用软件如果使用到GPU的CUDA并行计算能力，可以使用P1型云主机。常用的软件支持列表如下： Tensorflow、Caffe、PyTorch、MXNet等深度学习框架 RedShift for Autodesk 3dsMax、VRay for 3ds Max Agisoft PhotoScan MapD

P2s型弹性云主机功能如下： 处理器：第二代英特尔® 至强® 可扩展处理器 6278，主频2.6GHz，睿频3.5GHz，或英特尔® 至强® 可扩展处理器 6151, 主频3.0GHz，睿频3.4GHz。 支持NVIDIA Tesla V100 GPU卡，每台云主机支持最大8张Tesla V100显卡。 支持NVIDIA CUDA并行计算，支持常见的深度学习框架Tensorflow、Caffe、PyTorch、MXNet等。 单精度能力14 TFLOPS，双精度能力7 TFLOPS。 支持NVIDIA Tensor Core能力，深度学习混合精度运算能力达到112 TFLOPS。 单实例最大网络带宽30Gb/s。 使用32GiB HBM2显存，显存带宽900Gb/s。 完整的基础能力 网络自定义，自由划分子网、设置网络访问策略；海量存储，弹性扩容，支持备份与恢复，让数据更加安全；弹性伸缩，快速增加或减少云主机数量。 灵活选择 与普通云主机一样，P2s型云主机可以做到分钟级快速发放。 优秀的超算生态 拥有完善的超算生态环境，用户可以构建灵活弹性、高性能、高性价比的计算平台。大量的HPC应用程序和深度学习框架已经可以运行在P2s实例上。 常规软件支持列表 P2s型云主机主要用于计算加速场景，例如深度学习训练、推理、科学计算、分子建模、地震分析等场景。应用软件如果使用到GPU的CUDA并行计算能力，可以使用P2s型云主机。常用的软件支持列表如下： Tensorflow、Caffe、PyTorch、MXNet等常用深度学习框架 RedShift for Autodesk 3dsMax、VRay for 3ds Max等支持CUDA的GPU渲染 Agisoft PhotoScan MapD

本节主要介绍云存储网关的产品优势。 易用即装即用 高度优化的压缩安装包，只需3个命令即可安装在Linux操作系统上，从安装包解压到集群初始化不超过3分钟。云存储网关与通用64位x86服务器和ARM服务器上的主流Linux操作系统兼容。 成本利用率高 兼容主流Linux操作系统，支持和其他应用混合部署，支持异构硬件部署，支持自动精简配置，显著提高了资源利用率，降低使用成本。 安全稳定可靠 支持多副本和纠删码数据冗余保护机制，多种异常情况下确保数据不丢，并且保持数据一致性，可以承载企业核心业务数据；通过传输加密、监控告警、配置备份等最大程度实现安全保障。 高可用业务永续 可达秒级故障切换速度，实现不中断会话的故障转移，媲美传统高端存储，单节点故障不影响可用性，确保企业核心应用724永续。 快速读写延迟低 采用分布式双控架构，提升读写性能，延迟极低。同时优化了数据重建流程，避免性能瓶颈，快速响应企业的核心应用。 上云弹性扩展 可作为本地与云端存储之间的桥梁，利用天翼云对象存储（经典版）I型（ObjectOriented Storage，OOS）提供的PB级弹性存储空间能力，实现大规模横向扩展，将全量数据自动同步到OOS中，本地仅保留热数据以节省本地存储空间，或者保留全量数据以保障本地I/O性能，实现混合云存储。

本页介绍了天翼云关系数据库MySQL版的资源以及磁盘管理的一些常见问题。 创建MySQL实例需要多长时间 根据实例规格、资源池当前负载情况，开通实例所需时长会有所差异，平均时间为5~10分钟。 其中只读实例的创建时间与主实例的数据量有关，数据量越大，创建时间越长。 占用MySQL实例磁盘空间的日志有哪些 文件类型 文件种类 日志文件 undolog、redolog、binlog、慢日志、错误日志。如果开启了审计，还会存在审计日志。 数据文件 数据库内容文件和索引文件。 其他文件 ibdata、iblogfile0和临时文件等。 MySQL实例是否支持磁盘缩容 关系数据库MySQL版实例暂不支持对磁盘进行缩容操作。 您可以通过创建新的所需磁盘空间的数据库实例，并通过恢复操作将数据库迁入到新实例。详细操作可参考“用户指南”中 实例覆盖性恢复。 哪些内容会占用用户所创建的MySQL实例空间 占用用户所创建实例的空间主要有如下部分： 用户正常的数据（不包含备份数据，备份数据在单独的存储空间存储）。 磁盘空间会有必要的文件系统开销，这些开销主要包括inode、reserved block等。 关系数据库MySQL版实例正常运行所需的数据，比如系统数据库、数据库回滚日志、数据库重做日志、binlog文件文件、索引等。 DDL操作对实例磁盘空间的要求 为了确保数据库业务正常，应该避免在应用业务高峰进行DDL（Data Definition Language）等操作，因为这些操作可能会导致磁盘空间爆增。如果必须进行DDL操作时，请务必确保磁盘空间大于等于表空间两倍大小+10GB，即：假设实例的表空间为100GB，在进行DDL操作时，需提前检查确保磁盘空间大于等于1002+10210GB。

本节主要介绍应用场景 分布式关系型数据库（简称DRDS）是一个面向OLTP业务的分布式关系型数据库访问服务，适用于各行业数据库应用。 分布式关系型数据库尤其适用于大规模的数据存储与高并发访问的行业应用，如大型应用、物联网数据、文件索引、高性价比数据库解决方案等应用场景，主要应用场景包括如下： 互联网应用 电商、金融、O2O、零售、社交应用等行业，普遍存在用户基数大、营销活动频繁、核心交易系统数据库响应日益变慢的问题，制约业务发展。 DRDS 提供线性水平扩展能力，能够实时提升数据库处理能力，提高访问效率，轻松应对高并发的实时交易场景。 物联网数据 在工业监控和远程控制、智慧城市的延展、智能家居、车联网等物联网场景下。传感监控设备多，采样频率高，数据规模大，会产生超过单机数据库存储能力极限的数据，造成数据库容量瓶颈。DRDS提供的容量水平扩展能力，可以有效的帮助用户低成本的存储海量数据。 高性价比数据库解决方案 政务机构、大型企业、银行等行业为了支持大规模数据存储和高并发数据库访问，传统方案需要强依赖小型机和高端存储等高成本的商业解决方案。DRDS利用普通服务器进行集群部署，提供与传统商业解决方案相同甚至更高的处理能力。

什么是云监控服务？ 云监控服务为用户提供一个针对弹性云主机、带宽等资源的立体化监控平台。使您全面了解云上的资源使用情况、业务的运行状况，并及时收到异常告警做出反应，保证业务顺畅运行。云监控服务架构图如图1所示。 图 1 云监控服务架构图 云监控服务主要具有以下功能： 自动监控： 云监控服务不需要开通，在创建弹性云主机等资源后监控服务会自动启动，您可以直接到云监控服务查看该资源运行状态并设置告警规则。 主机监控： 通过在弹性云主机或物理机中安装云监控服务Agent插件，用户可以实时采集ECS或BMS 1分钟级粒度的监控数据。已上线CPU、内存和磁盘等40余种监控指标。有关主机监控的更多信息，请参阅主机监控简介。 灵活配置告警规则： 对监控指标设置告警规则时，支持对多个云服务资源同时添加告警规则。告警规则创建完成后，可随时修改告警规则，支持对告警规则进行启用、停止、删除等灵活操作。有关告警规则的更多信息，请参阅告警规则管理。 实时通知： 通过在告警规则中配置告警通知，当云服务的状态变化触发告警规则设置的阈值时，系统通过短信、邮件通知等多种方式实时通知用户，让用户能够实时掌握云资源运行状态变化。 监控面板： 为用户提供在一个监控面板跨服务、跨维度查看监控数据，将用户关注的重点服务监控指标集中呈现，既能满足您总览云服务的运行概况，又能满足排查故障时查看监控详情的需求。有关监控面板的更多信息，请参阅监控看板简介。 资源分组： 资源分组支持用户从业务角度集中管理其业务涉及到的弹性云服务器、云硬盘、弹性IP、带宽、数据库等资源。从而按业务来管理不同类型的资源、告警规则、告警记录，可以迅速提升运维效率。 事件监控： 事件监控提供了事件类型数据上报、查询和告警的功能。方便您将业务中的各类重要事件或对云资源的操作事件收集到云监控服务，并在事件发生时进行告警。

如何查看用量统计。 查看统计用量 前提条件 已开通云点播产品。 至少创建了一个点播实例。 账号属性为主账号。 操作步骤 进入云点播控制台，选择左侧导航栏的【用量统计】可打开任务统计页面，在这里，您可以看到存储流出流量、存储空间、转码时长、API调用次数四个标签卡，分别对应云点播的四个计费项目。 您也可以通过切换当前页面的时间选择控件或点播实例选择控件，切换查询的条件。其中： 点播实例默认展示所有已开通的点播实例统计信息。 您查询的用量统计信息最长跨度不能超过31天。 注意 1. 该展示界面会按照1小时作为最小颗粒度拉取统计数据并予以展示。为保证展示画面的流畅性，在查询时间跨度较长时，将会对统计数据进行归并展示，按照归并区间的最大值进行展示。 2. 云点播采集计费数据的时间间隔为1小时，由于话单数据传输、计量与前端展示可能存在时间不同步，因此在该展示界面可能出现展示数据与话单不一致的情况。最终用量情况，请以账单数据为准。 下载用量统计数据 您可以在任意图表的右上角找到【下载数据】的图标，点击即可下载当前展示页面的统计数据。数据会以excel文档的形式提供。

本节主要介绍包年包月 本章会介绍分布式关系型数据库包年包月的收费模式。 1、收费方式 （1）预付费方式：用户需先登录天翼云用户中心进行充值，系统会根据用户选购的实际资源对用户云账户中的金额进行扣除。 （2）计费周期：按月计费，以自然月为计费单位。 2 、升级规则 关系型数据库升级时间不满整月的，升级后配置按当月实际发生天数计费。 3 、续订规则 续订数据库，续费按原订购模式按月方式进行续费。 4 、退订规则 退订云数据库，不满整月的按当月实际发生天数收取费用。 退订云数据库后实例会进入冻结状态，冻结周期为15天，冻结期过后如不续费会删除实例。 5 、提醒/通知规则 （1）到期通知：服务到期前7天、3天邮件通知，到期前1天、当天邮件通知和短信提醒。 （2）超期通知：服务超期1天邮件通知，超期3天、7天邮件通知和短信提醒。

密钥安全管理实践 私钥（privateKey/SK）严禁明文写入代码，应通过环境变量或密钥管理平台（如 HashiCorp Vault）注入。 为不同的业务系统（如生产环境、测试环境）创建不同的应用，使用独立的密钥，避免相互干扰。 建议定期轮换公私钥对，并在轮换后及时更新所有调用方的配置。 异常处理实践 异常场景 建议处理方式 护栏服务超时（网络抖动） 建议超时时间设为 3~5 秒；超时后根据业务风险等级决定放行或拦截，不应直接报错中断用户会话 successfalse（参数错误） 记录完整请求日志，不将接口调用失败等同于内容风险，应放行并同时告警 checkResultfail 不直接将原始大模型内容返回用户，优先使用配置的代答内容，若代答为空则使用兜底话术 在线测试额度耗尽 额度耗尽返回502，不影响正式 API 调用，可继续使用；如需更多测试次数，可使用正式 API 进行测试

名称 说明 日志格式 单行日志：采集的日志文件中，如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据，则选择单行日志。 多行日志：采集的日志中包含像java异常的日志，如果您希望多行异常的日志显示为一条日志，正常的日志则每一行都显示为一条单独的日志数据，则选择多行日志，方便您查看日志并且定位问题。 日志时间 系统时间：表示系统当前时间，默认为日志采集时间，每条日志的行首显示日志的采集时间。 说明 日志采集时间：ICAgent采集日志，并且发送到云日志服务的时间。 日志打印时间：系统产生并打印日志的时间。ICAgent采集日志并发送日志到云日志平台的频率为1秒钟。 采集日志时间限制：系统时间的前后24小时内。 时间通配符：用日志打印时间来标识一条日志数据，通过时间通配符来匹配日志，每条日志的行首显示日志的打印时间。 如果日志中的时间格式为：20190101 23:59:59.011，时间通配符应该填写为：YYYYMMDD hh:mm:ss.SSS。 如果日志中的时间格式为：1911 23:59:59.011，时间通配符应该填写为：YYMD hh:mm:ss.SSS。 说明 如果日志中不存在年份信息，则云日志会自动补齐年份数据为当前年份数据。 填写实例 YY year (19) YYYY year (2019) M month (1) MM month (01) D day (1) DD day (01) hh hours (23) mm minutes (59) ss seconds (59) SSS millisecond（999） hpm hours (03PM) h:mmpm hours:minutes (03:04PM) h:mm:sspm hours:minutes:seconds (03:04:05PM) hh:mm:ss ZZZZ (16:05:06 +0100) hh:mm:ss ZZZ (16:05:06 CET) hh:mm:ss ZZ (16:05:06 +01:00) 分行模式 日志格式选择多行日志时，需要选择分行模式，分行模式选择“日志时间”时，是以时间通配符来划分多行日志；当选择“正则模式”时，则以正则表达式划分多行日志。 正则表达式 此配置是用来标识一条日志数据的正则表达式。日志格式选择“多行日志”格式后且“分行模式”已选择“正则模式”后需要设置。

本节介绍了DDoS高防（边缘云版）接入配置最佳实践。 网站类业务购买DDoS高防（边缘云版）产品后需要通过CNAME解析方式接入，将攻击流量引流到DDoS高防（边缘云版），可以达到隐藏源站目的，在遭受大流量DDoS攻击时保障源站服务器的稳定可靠。您可以参考本文中的接入配置和防护策略最佳实践，使用DDoS高防（边缘云版）更好地保护您的业务。 接入配置流程概述 正常情况下业务接入需要参照以下三个步骤进行配置。若业务遭受攻击时紧急接入，在接入配置前建议联系天翼云安全专家进行评估后协助接入，联系方式详见服务保障。 步骤1：自身业务梳理 首先，建议您在接入DDoS高防（边缘云版）前对待接入的业务进行全面梳理，在了解当前业务状况和具体数据的基础上，能更好地使用DDoS高防（边缘云版）提供的各类防护策略进行业务防护。 梳理项 说明 操作建议 网站和业务信息 网站或应用业务每天的流量带宽峰值情况，包括Mbps 根据日常业务高峰判定风险时间段 若有接入CDN可从CDN流量分析统计获取相应业务数据，作为DDoS高防（边缘云版）的业务带宽评估和购买套餐的选择依据。 业务的主要受众群体（如访问用户的主要地理区域信息） 判断非法攻击来源。 方便根据地理区域信息配置防护策略。 源站是否部署在非中国内地地域 判断业务实例是否符合最佳网络架构。 可在后续选择资源池防护时提供指导依据。 请求协议（如HTTPS） 无 若业务使用HTTPS协议需要上传证书。 业务端口 判断源站使用的端口是否在DDoS支持的范围内 无。 业务是否需要支持IPv6协议 根据源站服务器网络架构及业务开通情况判断是否需要支持IPv6 如果您的业务需要支持IPv6协议，可在域名接入配置中选择开启IPv6支持。 源站服务器的操作系统及所使用的Web服务中间件（Nginx、IIS等） 判断源站服务器是否存在防火墙ACL访问控制策略，避免源站误拦截DDoS高防（边缘云版）回源IP转发的流量。 如果有，需要在源站上设置放行DDoS高防（边缘云版）的回源IP。 业务是否存在空连接 例如，服务器主动发送数据包防止会话中断这类情况接入DDoS高防（边缘云版）后可能影响正常业务。 无。 业务交互过程 了解业务交互过程及其处理逻辑，以便后续配置针对性防护策略。 无。 业务及攻击情况 业务类型及业务特征（例如，游戏、棋牌、网站、App等业务） 便于在后续攻防过程中分析攻击特征。 无。 业务流量（入方向） 帮助后续判断是否包含恶意流量。 无。 业务流量（出方向） 帮助后续判断是否遭受攻击，并且作为是否需要额外业务带宽扩展的参考依据。 无。 单IP的入方向流量范围和连接情况 帮助后续判断是否可针对单个IP制定限速策略。 业务是否遭受过大流量攻击及攻击类型 根据历史遭受的攻击类型，设置针对性的DDoS防护策略。 无。 业务遭受过最大的攻击流量峰值 根据攻击流量峰值判断DDoS高防（边缘云版）功能规格的选择。 无。 业务是否遭受过CC攻击及最大攻击峰值 通过分析历史攻击特征，配置CC防御策略。 更多信息可参见CC防护最佳实践。 业务是否提供API接口服务 无。 提供信息为配置访问策略作为指导依据。 业务是否已完成压力测试 评估源站服务器的请求处理性能，作为后续业务异常判断条件之一。 无。

本节介绍了通过外部镜像文件创建Windows系统盘镜像的流程等内容。 流程概览（Windows） 除了可以通过云主机创建私有镜像，系统也支持外部镜像导入功能，可将您本地或者其他云平台的主机系统盘镜像文件导入至镜像服务私有镜像中。导入后，您可以使用该镜像创建新的云主机，或对已有云主机的系统进行重装。 创建过程 私有镜像创建过程如下图所示。 Windows系统盘镜像创建过程 步骤说明如下： 1. 准备符合平台要求的外部镜像文件，请参考下文“准备镜像文件（Windows）”。 2. 上传外部镜像文件到OBS个人桶中，请参考下文“上传镜像文件（Windows）”。 3. 通过管理控制台选择上传的镜像文件，并将镜像文件注册为私有镜像，请参考下文“注册镜像（Windows）”。 4. 私有镜像注册成功后，使用该镜像创建新的云主机，请参考下文“使用镜像创建弹性云主机（Windows）”。 准备镜像文件（Windows） 您需要提前准备好符合条件的镜像文件。 说明： 下表中，网络、工具、驱动相关的配置需要在虚拟机内部完成，强烈建议您在原平台的虚拟机实施修改后，再导出镜像文件。当然，您也可以使用弹性云主机完成这些配置，具体操作请参见Windows外部镜像文件在导出前未完成初始化配置，怎么办？ Windows操作系统的镜像文件限制 镜像文件属性 条件 :: 操作系统 Windows Server 2008相关版本、Windows Server 2012相关版本、Windows Server 2016相关版本 支持32位和64位 操作系统不能与特定的硬件绑定 操作系统必须支持全虚拟化 所支持的操作系统版本请参考外部镜像文件支持的格式和操作系统类型，在此范围内的操作系统支持后台自动化配置（详情请参阅通过镜像文件注册私有镜像过程中，系统会对镜像做哪些修改？），在此之外的操作系统请您自行排查及安装Guest OS driver驱动，在注册镜像页面选择Other Windows，导入后系统启动情况取决于驱动完备度。 镜像格式 VMDK、VHD、QCOW2、RAW、VHDX、QED、VDI、QCOW、ZVHD2和ZVHD 镜像大小 镜像大小不超过128GB。 网络能力 必选项，不设置会导致云主机启动异常或网络能力异常，包括： 设置网卡属性为DHCP 可选项，即增值能力，主要包括： 开启网卡多队列 开启网卡多队列功能可以将网卡中断分散给不同的CPU处理，实现负载均衡，从而提升网络PPS和带宽性能。操作方法请参考如何设置镜像的网卡多队列属性？ 配置动态获取IPv6地址 IPv6的使用，可以有效弥补IPv4网络地址资源有限的问题。镜像中配置动态获取IPv6地址，发放的云主机能够同时支持IPv4和IPv6地址。配置方法请参考如何开启云主机动态获取IPv6？。 工具 强烈建议安装CloudbaseInit工具。 CloudbaseInit是开源的云初始化工具，使用安装了CloudbaseInit的镜像创建云主机时可以通过“用户数据注入”功能，注入初始化自定义信息（例如为云主机设置登录密码）；还可以通过查询、使用元数据，对正在运行的云主机进行配置和管理。不安装CloudbaseInit工具，将无法对云主机进行自定义配置，只能使用镜像原有密码登录云主机。 安装方法请参考安装并配置CloudbaseInit工具。 插件 为了保证使用私有镜像创建的新云主机可以实现一键式重置密码功能，建议您在创建私有镜像前安装密码重置插件CloudResetPwdAgent。详情请参见安装一键式重置密码插件（Windows）。 驱动 安装PV driver 安装UVP VMTools 其他限制 暂不支持创建带有数据盘的镜像，镜像文件中必须只能包含系统盘，且系统盘大小范围为：[40GB, 1024GB] 镜像文件的初始密码至少包含以下4种字符：大写字母、小写字母、数字、特殊字符（!@$%^+[{}]:,./?） 镜像启动分区和系统分区必须包含在同一个磁盘中。 外部镜像文件必须包含可用的Administrator账号和密码。

常见的购买类问题Q&A。 如何开通ECX服务？ 可前往ECX控制台自助购买ECX服务，目前已开放边缘虚拟机、边缘网络、边缘裸金属自助购买服务，裸金属开放资源比较少，部分资源已售罄，如需购买您可以先联系您的客户经理、线上咨询或拨打客服热线电话寻求帮助，热线电话：4008109889转1咨询。 为什么不能购买包年包月或按需计费产品？ 不能购买的常见原因如下： 您的账号未通过实名认证，如需购买ECX产品，必须完成实名认证。如果是企业或组织，请联系您的客户经理完成认证。 您选购的实例规格占用的vCPU、内存、VPC或其他指标已超出了账号的配额，请通过 天翼云官网我的工单管理新建工单，或联系您的客户经理提高配额。 您的账号没有自助下单的权限，或没有购买按需计费产品的权限，请联系您的客户经理修改权限。 购买包年包月的ECX虚拟机时，是否可以选择带宽按使用流量计费？ 可以，需单独购买包年包月的虚拟机、按需计费的带宽，然后在ECX控制台边缘虚拟机实例 或ECX控制台边缘网络公网IP&带宽中进行绑定即可。 购买边缘虚拟机实例时，系统盘建议设置多大？ “宿主共享型”实例规格会指定系统盘的大小，其他类型实例规格可用户自定义，系统允许系统盘设置在20～500GB之间，非特殊情况，推荐设置在100GB以内。考虑到部分镜像对系统盘大小有要求，建议添加数据盘，数据优先存储在数据盘。

本文主要介绍如何管理公共镜像。 公共镜像概述 公共镜像是由天翼云官方提供的镜像，适配了弹性云主机兼容性并安装了必要的初始化插件，所有用户均可使用，涵盖大部分主流操作系统。 公共镜像类型包含Windows、CentOS、Ubuntu、Debian等，您可以根据实际需要选择。在使用过程中，如果遇到操作系统类问题，您可以联系开源社区获得技术支持。同时，天翼云也会提供相应的技术协助。 公共镜像中集成了一些服务器的网络以及用户基本功能正常使用所依赖的相关插件，如CloudInit或CloudbaseInit、一键式重置密码插件、网卡多队列插件等。 说明 这些插件为弹性云主机功能保障的基本插件，请勿做删除或者修改操作，否则会影响您的基本功能使用。 已知问题 GPU云主机 VNC登录时候回显信息为Guest has not initialized the display (yet) GPU云主机在使用镜像时候可能会在远程登录时候显示Guest has not initialized the display (yet)，这时候按ctrl+alt+1组合键即可解决。

什么是短信服务（Short Message Service），简称SMS。是一种为用户的手机或其他电信终端提供直接发送或接收文字以及数字信息的服务。 什么是短信服务 短信服务（Short Message Service），简称SMS。 是一种为用户的手机或其他电信终端提供直接发送或接收文字以及数字信息的服务，用户每次能接收和发送短信的最大字符数，是70个中文字符，英文或数字字符。 是天翼云为用户提供的一种通信服务。 是天翼云依托运营商优势为广大企业客户提供的快速触达手机用户短信发送服务。调用API即可发送验证码、通知类短信；验证短信国内秒级触达，到达率最高可达99%；安全、可靠、稳定。 产品优势 支持向国内手机用户发送验证码、短信通知等内容。国内短信支持三网合一专属通道，与工信部携号转网平台实时互联。产品具备电信级运维保障，支持实时监控自动切换，到达率高达99%。 产品功能 短信验证码： 3秒可达，国内短信采用三网合一专属通道，与工信部携号转网平台实时互联。 通道正规、覆盖率高且安全稳定。 短信通知： 安全可靠：保证99%到达率，国内短信具备电信级运维保障，支持实时监控自动切换。 大容量高并发，智能调度。 异步通知： 支持通过回调方式通知用户，进而减少等待时间。 数据统计： 提供请求量、发送成功量、失败量等统计数据。 支持通过日期、手机号等维度查看短信发送详情。 群发助手： SaaS工具，可通过控制台进行短信发送，支持所有短信模板的发送任务。

本章节介绍应用服务网格的日志中心功能 概述 应用服务网格支持采集控制面（control plane）、数据面（sidecar）日志以及应用服务网格网关日志，您可以在控制台日志中心查看日志。 基础概念 1. 日志单元：日志单元是云日志服务中日志数据的采集、存储、查询、分析的基本单元。每个日志单元隶属于一个日志项目，每日志项目中可创建多个日志单元。 2. 日志项目：日志项目是云日志服务的资源管理单位，您可使用日志项目管理不同的应用、产品或项目中的数据。每个日志项目下可创建多个日志单元，是您访问云日志服务资源的入口。 前提条件 1. 天翼云账号已经开通了云日志服务，如果没有开通可以通过服务网格控制台>网格实例>自定义配置>创建云日志服务。 2. 网格控制面和数据面集群已经安装了日志采集插件logoperator。可以通过ccse控制台>插件>插件市场安装。 启用服务网格日志采集 1. 登录服务网格控制台，在左侧的导航栏中选择网格实例>自定义配置。 2. 选择启用日志服务，可以选择已有的日志项目或者新建日志项目，支持为数据面、控制面和网关分别创建日志单元，您可以参考云日志服务管理日志项目查看已有的项目。如果需要新建项目，应用服务网格控制台会自动为您创建对应名称的项目。 日志中心日志查询 您可以在日志服务控制台查询服务网格控制面和数据面的日志，更多详情可参考云日志服务日志查询。

包年包月支持7天无理由退订，该退订是否扣费？ 7天无理由退订有次数限制，每个账号享有3次7天无理由退订机会。新购资源7天内退订不扣费，但期间不能进行续订、扩容、变更等操作，否则按非七天无理由退订处理，需要收取相应的使用费用和退订手续费，且不退还代金券及优惠券。 使用文件系统上传下载数据时，是否计费？ 本地与云上海量文件服务之间的数据迁移需要配置云主机作为中转节点，从公网访问海量文件存储服务。在进行数据迁移过程，主要涉及弹性公网IP的收费。更多信息，请参见弹性IP计费说明。 包年包月模式或按带宽计费模式下：按照制定的带宽大小计费，不限流量。 按流量计费模式下：按照实际使用流量计费，对下行方向流量不收费，仅对上行方向流量收费。即上传数据到文件系统不会收取流量费用，而从文件系统下载数据则会有弹性公网IP收入流量费用。 海量文件服务OceanFS支持免费试用吗？ 如果您想要开通试用的海量文件服务，请联系相应的客户经理在业务受理平台上面为您开通，官网自行订购的包周期和按需暂时不支持免费试用。

本节介绍了GeminiDB Redis的自动、修改、关闭、删除自动备份等操作说明。 GeminiDB Redis支持创建数据库实例的自动备份，以保证数据可靠性。当数据库或表被恶意或误删除，可依赖实例的备份保障数据安全。 自动备份策略 系统按照自动备份策略，对数据库进行自动备份，备份将以压缩包的形式存储在对象存储服务中，以保证用户数据的机密性和持久性。建议您定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份恢复数据库。由于开启备份会损耗数据库读写性能，建议您选择业务低峰时间段启动自动备份。 创建数据库实例时，系统默认开启自动备份策略，默认开启的自动备份策略设置如下： 保留天数：自动备份可保留天数默认为7天。可设置保留天数范围为1~35天。 说明 保留天数小于7天，系统每天都会进行自动备份。 系统会自动检测已有的自动备份文件，若备份文件超过用户自定义的数据保留天数，则将其删除。 备份时间段：默认为24小时中，间隔一小时的随机的一个时间段，例如01:00～02:00，12:00～13:00等。备份时间段以GMT时区保存。如果碰到夏令时或冬令时切换，备份时间段会因时区变化而改变。 备份周期：默认为全选。 全选：选择一周内的每一天。系统每天都会进行自动备份。 选择周期：选择一周内的一天或几天。系统会在所选时间进行自动备份。 说明 备份周期对应的备份开始时间1小时内，系统会自动触发全量备份。备份所需时间由备份数据量决定，备份数据量越大，备份所需时间越长。 实例创建成功后，您可根据业务需要设置自动备份策略。系统将按照您设置的自动备份策略对数据库进行备份。 关闭自动备份策略后，自动备份将会立即停止。

基础防御IPS限制 修改基础防御规则动作 最多可修改3000条规则为“观察”。 最多可修改3000条规则为“拦截”。 最多可修改128条规则为“禁用”。 自定义IPS特征 仅专业版支持自定义IPS特征。 最多支持添加500条特征。 日志数据限制 云防火墙支持查看7天以内的日志数据，如果需要记录并查看1365天的日志数据，您可以将单类或者多类日志记录至云日志服务LTS中。 单个日志单次最多支持导出100,000条记录。

万卡规模国产化集群下,断点续训在5类故障下实现1分钟检测、5分钟内定位、15分钟内恢复训练。 测试数据及代码准备 数据集 数据集大小 使用模型 Wikipediaen (1M条) 9.1GB Llama270B /Llama3.1405B 使用预处理为MindRecord格式的Wikipediaen (1M条)数据集，上传到对象存储，并由对象存储下载到平台HPFS。 测试代码在gitlab仓库下载到本地，并放置于/work/home下。 脚本和任务准备 按照下面修改run.sh脚本 plaintext ! /bin/bash huijuformers的绝对路径, 需要修改pathtohuijuformers export BASEDIR/work/data/llama29216/huijuformers 以下为平台自动注入的环境变量 yaml文件中需要修改的环境变量 export BATCHSIZE1 export EPOCHS350 export LEARNINGRATE6.e5 export DATAPARALLEL256 export MODELPARALLEL4 export PIPELINESTAGE9 模型微调相关 export FINETUNEMODELTYPEllama270bbase 合并为一个参数,与模型存放文件夹名称一致（与后端沟通过） export FINETUNINGTYPEALL export TIMETAG$(date +"%m%d%H%M") 数据相关 export DATASETPATH${BASEDIR}/data export DATASETFILEoriginaldata.json 需要修改 以下为平台后端需要自行更改后传入的环境变量 平台数据格式转换，专用数据调试时用不到 export DATASETTMPPATH${BASEDIR}/data/processeddata/${FINETUNEMODELTYPE} mkdir p ${DATASETTMPPATH} 模型输入 专业模式，平台训练时需要按照平台的挂载路径去修改这一块的变量 export CHECKPOINTDIR'' 低代码模式，微调时约定挂载为下面的路径 export CHECKPOINTDIR/work/mount/publicModel/${FINETUNEMODELTYPE}/${FINETUNEMODELTYPE} 输出文件夹路径，runmode为训练模式，如train,lora,full runmodetrain export OUTPUTDIR${BASEDIR}/output/${FINETUNEMODELTYPE}/${runmode}/${TIMETAG} export OUTPUTROOTDIR${BASEDIR}/output/${FINETUNEMODELTYPE}/${runmode} rm rf ${OUTPUTDIR}/resumerecord 获取节点IP、名称，记录至文件 echo $(hostname I awk '{print $1}'),$NODENAME >> ${BASEDIR}/output/nodes sed i '/pamlimits.so/s/^//' /etc/pam.d/sshd 启动脚本 cd ${BASEDIR}/bin/scripts apt install netcat y 微调 bash finetune.sh 预训练 export MSTOPOTIMEOUT7200 bash train.sh 启动训练任务 点击训练任务页面的新建任务，按照如下的示例配置训练命令和模型挂载等，然后启动任务。 Llama270B万卡测试结果 在平台使用9216卡对Llama270B进行预训练，万卡规模国产化集群下，断点续训在5类故障下实现1分钟检测、5分钟内定位、15分钟内恢复训练。

万卡规模国产化集群下,断点续训在5类故障下实现1分钟检测、5分钟内定位、15分钟内恢复训练。 测试数据及代码准备 数据集 数据集大小 使用模型 Wikipediaen (1M条) 9.1GB Llama270B /Llama3.1405B ● 使用预处理为MindRecord格式的Wikipediaen (1M条)数据集，上传到对象存储，并由对象存储下载到平台HPFS。 ● 测试代码在gitlab仓库下载到本地，并放置于/work/home下。 脚本和任务准备 按照下面修改run.sh脚本 ! /bin/bash huijuformers的绝对路径, 需要修改pathtohuijuformers export BASEDIR/work/data/llama29216/huijuformers 以下为平台自动注入的环境变量 yaml文件中需要修改的环境变量 export BATCHSIZE1 export EPOCHS350 export LEARNINGRATE6.e5 export DATAPARALLEL256 export MODELPARALLEL4 export PIPELINESTAGE9 模型微调相关 export FINETUNEMODELTYPEllama270bbase 合并为一个参数,与模型存放文件夹名称一致（与后端沟通过） export FINETUNINGTYPEALL export TIMETAG$(date +"%m%d%H%M") 数据相关 export DATASETPATH${BASEDIR}/data export DATASETFILEoriginaldata.json 需要修改 以下为平台后端需要自行更改后传入的环境变量 平台数据格式转换，专用数据调试时用不到 export DATASETTMPPATH${BASEDIR}/data/processeddata/${FINETUNEMODELTYPE} mkdir p ${DATASETTMPPATH} 模型输入 专业模式，平台训练时需要按照平台的挂载路径去修改这一块的变量 export CHECKPOINTDIR'' 低代码模式，微调时约定挂载为下面的路径 export CHECKPOINTDIR/work/mount/publicModel/${FINETUNEMODELTYPE}/${FINETUNEMODELTYPE} 输出文件夹路径，runmode为训练模式，如train,lora,full runmodetrain export OUTPUTDIR${BASEDIR}/output/${FINETUNEMODELTYPE}/${runmode}/${TIMETAG} export OUTPUTROOTDIR${BASEDIR}/output/${FINETUNEMODELTYPE}/${runmode} rm rf ${OUTPUTDIR}/resumerecord 获取节点IP、名称，记录至文件 echo $(hostname I awk '{print $1}'),$NODENAME >> ${BASEDIR}/output/nodes sed i '/pamlimits.so/s/^//' /etc/pam.d/sshd 启动脚本 cd ${BASEDIR}/bin/scripts apt install netcat y 微调 bash finetune.sh 预训练 export MSTOPOTIMEOUT7200 bash train.sh