操作前提
- 如果您尚未购买天翼云云主机,推荐您使用更简单快捷的活动页一键部署方案。
- 如果您已购买的云主机位于【重庆-重庆2、宁夏-中卫5】资源池(其余资源池镜像正在加载中),且满足以下条件,请参考本文部署大模型学习机。
- 配置:内存32G, 显存16G以上
- 已开通公网IP
- 云主机未到期
操作步骤
重装操作系统
- 登录云主机控制台,前往您已购买的云主机所在的资源池。确认云主机状态为“已关机”,则可以进行重装操作系统操作。
点击“更多”按钮,点击下拉菜单中“一键重装”按钮。
- 在重装操作系统弹窗中,镜像类型选择“公共镜像”,并在重装选择下拉菜单中选择“ubuntu-LLaMA2-StableDiffusion-WebUI-GPU(预装大模型环境)(60GB)”或ubuntu-LLaMA3-StableDiffusion-WebUI-GPU(预装大模型环境)(60GB)。
设置并确认密码,点击“确定”按钮,完成重装操作系统操作。
- 返回云主机控制台,选中已完成重装操作系统的云主机,点击“开机”按钮。确认云主机状态为“运行中”,则可以进行后续操作。
添加安全组规则
(1)点击云主机名称进入云主机详情页。
(2)选择云主机详情页下方的安全组页签。
(3)点击默认安全组展开详情按钮。
(4)点击“添加规则”,在端口范围处填写7860,点击确定。
(5)再次点击“添加规则”,在端口范围处填写7861,点击确定。
登录大模型
登录前准备:选择云主机详情的“弹性IP”页签,复制列表中的弹性IP。
(1)登录文本对话大模型(LLaMA2/LLaMA3)
将刚刚复制到的弹性IP替换到http://弹性IP:7861/ 中并在浏览器中输入跳转至登录页面。
您可以任选以下两个账号其一进行登录:
注意建议您登录后尽快修改密码,修改密码方法在文档“修改大模型学习机登录密码”可查看。
账号一:
username:user
password:$I$CFLvkJ69I
账户二:
username:user2
password:C7O0hgW5fxkN
(2)登录AI图片生成大模型(StableDiffusion)
将刚刚复制到的弹性IP替换到http://弹性IP:7860/ 中并在浏览器中输入跳转至于登录页面。
您可以任选以下两个账号其一进行登录:
注意建议您登录后尽快修改密码,修改密码方法在文档“修改大模型学习机登录密码”可查看。
账户一:
username:user
password:$I$CFLvkJ69I
账户二:
username:user2
password:C7O0hgW5fxkN
使用大模型进行推理计算
(1)文本对话大模型(LLaMA2/LLaMA3)
首先需要在Model标签页点击LLaMA2/LLaMA3大模型,然后点击Load按钮进行加载。
稍等一会,提示“Successfully loaded”,即可点击左上角的“chat”按钮,体验使用文本对话大模型(LLaMA2/LLaMA3)啦!
注意在加载时参数默认以fp16精度进行加载, Pi2和s7.2xlarge.4规格需要勾选load in 8 bit,否则会因显存/内存不足而加载失败。
使用文本多轮对话页面:
文章生成页面:
(2)AI图片生成大模型(stable diffusion):
AI图片生成大模型登录后可以直接使用,以下为图片生成页面。