您可通过本文进行通过镜像部署大模型学习机,您也可以通过视频教程(访问码:hbw8)完成大模型的部署,以下为大模型部署的文字教程。
购买云主机
登录云主机控制台,选择创建云主机资源池,点击“创建云主机”按钮。
您可在以下资源池进行不同规格的开通:
云服务器规格族 云服务器规格 支持大模型镜像资源池 镜像 GPU计算加速型 PI7 重庆-重庆2、宁夏-中卫5、辽宁-辽阳1 LLaMA2-StableDffusion-WebUI-GPU
LLaMA3-StableDffusion-WebUI-GPU
GPU计算加速型 PI2 重庆-重庆2、上海-上海7 LLaMA2-StableDffusion-WebUI-GPU
LLaMA3-StableDffusion-WebUI-GPU
通用型 S7(64G以上规格) 西南1-az1/az2 LLaMA2-StableDffusion-WebUI-CPU
LLaMA3-StableDffusion-WebUI-CPU
基础配置
根据您的需要选择计费方式:包年/包月或按量付费。
规格分类处选择“GPU计算加速型”,在下方的规格列表的pi2和pi7中选择需要的规格。
选择镜像“ubuntu-LLaMA2-StableDiffusion-WebUI-GPU(预装大模型环境)(60GB)”或“ubuntu-LLaMA3-StableDiffusion-WebUI-GPU(预装大模型环境)(60GB),点击“下一步:网络配置”
网络配置
点击“创建安全组”按钮,跳转至网络控制台-安全组页面。
点击“创建安全组”按钮,在弹窗中等待模板下拉菜单选择“开放全部端口”。
点击“确定”,完成安全组创建。
返回云主机订购页面,点击“选择安全组”按钮,在安全组列表中勾选刚才创建的安全组。
点击“确定”,完成安全组选择。
弹性IP选择“自动分配”,根据需要选择带宽大小。为确保大模型学习机顺畅运行,如有其他数据下载需求, 建议10M以上, 否则建议5M及以下。
点击“下一步:高级配置”。
- 根据提示完成高级配置,点击“下一步:确认配置”。
确认配置无误后,点击“立即购买”
- 支付成功后返回云主机控制台,选择订购云主机所在的地域。云主机状态变更为“运行中”后即为开通成功,可以进行后续操作。
添加安全组规则
(1)点击云主机名称进入云主机详情页。
(2)选择云主机详情页下方的安全组页签。
(3)点击默认安全组展开详情按钮。
(4)点击“添加规则”,在端口范围处填写7860,点击确定。
(5)再次点击“添加规则”,在端口范围处填写7861,点击确定。
登录大模型
登录前准备:选择云主机详情的“弹性IP”页签,复制列表中的弹性IP。
(1)登录文本对话大模型(LLaMA2/LLaMA3)
将刚刚复制到的弹性IP替换到http://弹性IP:7861/ 中并在浏览器中输入跳转至登录页面。
您可以任选以下两个账号其一进行登录:
注意建议您登录后尽快修改密码,修改密码方法在文档“修改大模型学习机登录密码”可查看。
账号一:
username:user
password:$I$CFLvkJ69I
账户二:
username:user2
password:C7O0hgW5fxkN
(2)登录AI图片生成大模型(StableDiffusion)
将刚刚复制到的弹性IP替换到http://弹性IP:7860/ 中并在浏览器中输入跳转至于登录页面。
您可以任选以下两个账号其一进行登录:
注意建议您登录后尽快修改密码,修改密码方法在文档“修改大模型学习机登录密码”可查看
账户一:
username:user
password:$I$CFLvkJ69I
账户二:
username:user2
password:C7O0hgW5fxkN
使用大模型进行推理计算
(1)文本对话大模型(LLaMA2/LLaMA3)
首先需要在Model标签页点击LLaMA2/LLaMA3大模型,然后点击Load按钮进行加载。
稍等一会,提示“Successfully loaded”,即可点击左上角的“chat”按钮,体验使用文本对话大模型(LLaMA2/LLaMA3)啦!
注意在加载Llama 2或者LLaMA3模型时, Pi2和s7.2xlarge.4规格使用默认配置会因为显存/内存不足加载失败, 需要通过勾选load-in-8bit选项降低模型精度或关闭StableDiffusion服务后再加载Llama 2/LLaMA3模型. 参考文档:大模型学习机服务启停
使用文本多轮对话页面:
文章生成页面:
(2)AI图片生成大模型(stable diffusion):
AI图片生成大模型登录后可以直接使用,以下为图片生成页面。