大模型学习机文本生成模型微调最佳实践 (3) 训练参数配置 必填: Name, Text file选择刚才上传的文件。 其他参数的设定需要有足够的背景知识, 这里不做详细介绍, 您可自行学习模型训练时的基本参数。 (4) 启动训练 在启动前保证Model页已经Load过基础模型。 注意 Llama 27b模型的训练默认fp16精度大约消耗18G显存, 入门款T4显卡机型无法支持, 需要在加载基础模型时选择loadin8bit以降低内存占用。 点击页面右下方 Start LoRA Training按钮, 下方将会出现提示文字, 等待模型完成训练与保存。 注意 1.在此阶段您可能会遇到各类问题导致训练失败, 建议参考 常见例如: 中文不是utf8编码, 显存不足等。 2.由于huggingface.io网站访问受限, 学习机在启动服务时需要检查是否在启动脚本run.sh里写入了export HFHUBOFFLINE1, 否则在训练启动和结束时都会自动访问huggingface网站导致超时失败。 3.完成训练后的基础模型已经被训练影响, 需要重新reload一次基础模型以恢复初始状态。