万卡规模国产化集群下，断点续训在5类故障下实现1分钟检测、5分钟内定位、15分钟内恢复训练。

测试数据及代码准备

● 使用预处理为MindRecord格式的Wikipedia-en (1M条)数据集，上传到对象存储，并由对象存储下载到平台HPFS。

● 测试代码在gitlab仓库下载到本地，并放置于/work/home下。

脚本和任务准备

按照下面修改run.sh脚本

#! /bin/bash

# huijuformers的绝对路径, 需要修改path_to_huijuformers
export BASE_DIR=/work/data/llama2_9216/huijuformers

## 以下为平台自动注入的环境变量

# yaml文件中需要修改的环境变量
export BATCH_SIZE=1
export EPOCHS=350
export LEARNING_RATE=6.e-5
export DATA_PARALLEL=256
export MODEL_PARALLEL=4
export PIPELINE_STAGE=9

# 模型微调相关
export FINETUNE_MODEL_TYPE=llama2_70b_base  # 合并为一个参数,与模型存放文件夹名称一致（与后端沟通过）
export FINETUNING_TYPE=ALL
export TIME_TAG=$(date +"%m%d-%H%M")

# # 数据相关
# export DATASET_PATH=${BASE_DIR}/data
# export DATASET_FILE=original_data.json     # 需要修改

# ## 以下为平台后端需要自行更改后传入的环境变量

# # 平台数据格式转换，专用数据调试时用不到
# export DATASET_TMP_PATH=${BASE_DIR}/data/processed_data/${FINETUNE_MODEL_TYPE}
# mkdir -p ${DATASET_TMP_PATH}

# # 模型输入
# # 专业模式，平台训练时需要按照平台的挂载路径去修改这一块的变量
# export CHECKPOINT_DIR=''

# # 低代码模式，微调时约定挂载为下面的路径
# # export CHECKPOINT_DIR=/work/mount/publicModel/${FINETUNE_MODEL_TYPE}/${FINETUNE_MODEL_TYPE}
# # 输出文件夹路径，run_mode为训练模式，如train,lora,full
run_mode=train
export OUTPUT_DIR=${BASE_DIR}/output/${FINETUNE_MODEL_TYPE}/${run_mode}/${TIME_TAG}
export OUTPUT_ROOT_DIR=${BASE_DIR}/output/${FINETUNE_MODEL_TYPE}/${run_mode}
rm -rf ${OUTPUT_DIR}/resume_record

# 获取节点IP、名称，记录至文件
echo $(hostname -I | awk '{print $1}'),$NODE_NAME >> ${BASE_DIR}/output/nodes

sed -i '/pam_limits.so/s/^/#/' /etc/pam.d/sshd
# 启动脚本
cd ${BASE_DIR}/bin/scripts

# apt install netcat -y
# 微调
# bash finetune.sh
# 预训练
export MS_TOPO_TIMEOUT=7200
bash train.sh

启动训练任务

点击训练任务页面的新建任务，按照如下的示例配置训练命令和模型挂载等，然后启动任务。

Llama2-70B万卡测试结果

在平台使用9216卡对Llama2-70B进行预训练，万卡规模国产化集群下，断点续训在5类故障下实现1分钟检测、5分钟内定位、15分钟内恢复训练。

整体结果

训练环境

训练配置

训练结果

断点续训

断点CheckPoint总大小：22T，其中0卡断点CheckPoint大小：2.9G。

故障1：业务故障，kill所有python进程

故障2：节点心跳故障，把node上label去掉

故障3：节点down故障，reboot

故障4：网络故障，网卡link down

故障5：PCIE故障，模拟NPU掉卡