使用大模型学习机微调自己的文本生成模型 本文向您介绍使用大模型学习机微调自己的文本生成模型。 前提条件 大模型学习机预装了Llama 27bchat模型与stablediffuisonbasev2.1模型,以及配套的开源服务框架textgenerationwebui与stablediffuisonwebui,使您不需单独进行下载模型与配置环境。 云主机开通与如何登录网页页面参见部署文档。 1. 模型微调简介 由于基础大模型参数量极多,训练需要的资源量极大,因此基于基础大模型进行微调的小模型应运而生。学习机内框架自带的LoRA技术便是其中最主流的一种。 LoRA小模型无法独立使用,需要在加载完基础大模型后再进行加载,对基础大模型的能力进行扩展。 已有LoRA模型,如何加载可参考文本生成模型使用最佳实践。 2. 准备训练数据 模型训练支持多种输入格式,主要分为格式化数据(Formatted Dataset)与原始文本数据(Raw text file)。 2.1 格式化数据(Formated Dataset) 格式化数据一般用于对话领域,以json形式进行组织,可以在/root/textgenerationwebui/training/formats目录下找到各类格式的配置文件。以alpacachatbotformat为例, 每条数据包括instruction, output或instruction,input,output三个部分。参考示例数据如下: [ { "instruction": "我想基于天翼云云主机通过镜像部署大模型学习机,你能告诉我具体怎么操作吗?", "output": "当然可以。首先,您需要登录云主机控制台,并选择创建云主机资源池,然后点击“创建云主机”按钮。" }, { "instruction": "好的,我已经点击了“创建云主机”按钮,接下来应该怎么做?", "output": "在当前可用选项中,您可以在重庆重庆2或宁夏中卫5购买GPU计算加速型云主机的Pi7规格;或者在重庆重庆2购买GPU计算加速型云主机的Pi2规格。" } ] 您需要将私有数据组织成上述格式,并保存为[文件名].json文件。例如xuexijichatdata.json 参考/root/textgenerationwebui/training/formats/alpacachatbotformat.json文件内容, 格式化输入数据将被组织成 User: %instruction%nAssistant: %output%输入模型,此处的 User和 Assistant务必与Parameter页面的Chat标签下的Character和User的Name保持一致。对话时的角色标签对大模型来说是一个很强的特征。 需要参考下图将Parameter页Chat标签下默认的Name 修改为Character’s Name: Assistant;User Name:User 。否则在进行chat 对话时小模型几乎完全无效 。