多模态模型训练 lora参数,与微调时的参数一致 lorar 8 lora参数,与微调时的参数一致 scaling loraalpha / lorar PP parameters: 72B ppsize 1 pp与微调时的参数一致 tpsize 4 tp与微调时的参数一致 usenpu True mergemodel(basesavedir, lorasavedir, mergesavedir, ppsize, tpsize) print('Finished!') 进行最后的权重转化: plaintext 以下命令用于将LoRA权重合并后的Qwen2.5VL32BInstruct权重转换为Huggingface格式 python checkpoint/convertcli.py Qwen25VLConverter mmtohf cfg.savehfdir "./modelfromhf/Qwen2.5VL32BInstructLoRA" 新的hf模型格式的目 cfg.mmdir "./ckpt/qwen25vl32bloramergetp4pp1" 合并后的megatron权重目录 cfg.hfconfig.hfdir "./modelfromhf/Qwen2.5VL32BInstruct" 原始huggingface权重目录 cfg.parallelconfig.llmpplayers [64] 需与2.2.4中切分方式一致 cfg.parallelconfig.vitpplayers [32] 需与2.2.4中切分方式一致 cfg.parallelconfig.tpsize 4 需与2.2.4中切分方式一致 四、总结 通过本文档的实践操作,用户可以熟练掌握平台多模态图文理解模型训练的关键流程,包括环境搭建、代码管理、镜像管理、数据处理、权重转换以及单机和多机训练等核心任务。在实际操作中,如果遇到任何问题,可以结合日志信息和平台提供的工具进行排查和优化。随着平台功能的持续升级和优化,相信在未来,用户将能够更加高效地完成大模型的训练任务,并不断探索和应用前沿的人工智能技术。
来自: