部署与登录LLaMA 3/LLaMA 2大模型学习机 本文向您介绍如何部署大模型学习机。 您可以通过本文的指导,使用镜像部署大模型学习机。 购买云主机 1. 登录云主机控制台,选择创建云主机资源池,点击“创建云主机”按钮。 2. 您可在以下资源池进行不同规格的开通: 注意 在加载Llama 2或者LLaMA3模型时, Pi2和s7.2xlarge.4规格使用默认配置会因为显存/内存不足加载失败, 需要通过勾选loadin8bit选项降低模型精度或关闭StableDiffusion服务后再加载Llama 2/LLaMA3模型. 参考文档:大模型学习机服务启停。 云服务器规格族 云服务器规格 支持大模型镜像资源池 镜像 GPU计算加速型 PI7 重庆重庆2、宁夏中卫5、辽宁辽阳1 LLaMA2StableDffusionWebUIGPU LLaMA3StableDffusionWebUIGPU GPU计算加速型 PI2 重庆重庆2、上海上海7 LLaMA2StableDffusionWebUIGPU LLaMA3StableDffusionWebUIGPU 通用型 S7(64G以上规格) 西南1az1/az2 LLaMA2StableDffusionWebUICPU LLaMA3StableDffusionWebUICPU