多模态模型训练 hf原始权重路径 ... } "basicparameters":{ "datasetdir":"/work/home/qwen25vl/MindSpeedMM/data", data文件夹所在路径 "dataset":"/work/home/qwen25vl/MindSpeedMM/data/mllmformatllavainstructdata.json", 2.3.2中处理好的数据文件路径 "cachedir":"/work/home/qwen25vl/MindSpeedMM/data/cachedirfull", 可指定为任意路径,但是注意cachedir在多机上不要配置同一个路径避免写入同一个文件导致冲突,推荐使用非hpfs路径 "valrate":0.1, 指定将训练集划分为验证集的比例,若不设置默认不开启训练集切分 ... } plaintext "visionencoder":{ "pipelinenumlayers":[32,0,0,0,0,0,0,0], vit中pp切分方式,list里每一个数字代表每一个pplayer中的visiontransformers层的数量,总数为numlayers,需要和2.2.4中权重转换的vitpplayers一致 ... } "textdecoder":{ "pipelinenumlayers":[4,7,8,9,9,9,9,9], llm中pp切分方式,list里每一个数字代表每一个pplayer中的transformers层的数量,总数为numlayers,需要和2.2.4中权重转换的llmpplayers一致 ... } 3.2.2 训练脚本准备 多节点全参微调的脚本与单节点LoRA微调的脚本基本一致,但是需要针对分布式参数部分进行相应调整以及去除LoRA参数: 复制单节点训练脚本: plaintext 参考单机训练脚本拷贝出一份多机训练脚本 cp examples/qwen2.5vl/finetuneqwen25vl32b.sh examples/qwen2.5vl/finetuneqwen25vl32bmultinodes.sh 修改分布式参数以及去除LoRA参数:在脚本中,调整以下配置: plaintext
来自: