多模态模型训练 3.3.1 全参微调 plaintext 以下命令用于将全参微调后的Qwen2.5VL32BInstruct权重转换为Huggingface格式 python checkpoint/convertcli.py Qwen25VLConverter mmtohf cfg.savehfdir "./modelfromhf/Qwen2.5VL32BInstructFull" 新的hf模型格式的目录 cfg.mmdir "./ckpt/qwen25vl32bfulltp2pp8" 全参微调后保存的权重目录 cfg.hfconfig.hfdir "./modelfromhf/Qwen2.5VL32BInstruct" 原始huggingface权重目录 cfg.parallelconfig.llmpplayers [4,7,8,9,9,9,9,9] 需与2.2.4中切分方式一致 cfg.parallelconfig.vitpplayers [32,0,0,0,0,0,0,0] 需与2.2.4中切分方式一致 cfg.parallelconfig.tpsize 2需与2.2.4中切分方式一致 3.3.2LoRA微调 LoRA微调后的权重需要先使用权重合并工具mergelora.py将LoRA权重merge进原始megatron权重,然后通过3.3.1中类似全参微调的方式将合并后的权重转换为Huggingface格式。 修改examples/qwen2vl/mergelora.py中的权重路径: plaintext if name 'main': basesavedir "./modelweights/qwen25vl32btp4pp1" 原始megatron格式权重路径 lorasavedir "./ckpt/qwen25vl32bloratp4pp1" 训练好的lora权重路径 mergesavedir "./ckpt/qwen25vl32bloramergetp4pp1" 合并后的megatron权重路径 loratargetmodules ['linearqkv','linearproj','linearfc1','linearfc2'] loraalpha 16
来自: