步骤1:创建应用
1、登录天翼云官网,进入【公有云生态专区】应用列表页,订购Server节点。
选择“GPUStack-集群版Server”,点击“立即订购”。
2、在开通应用页面按提示订购“GPUStack-集群版Server'”,点击确认下单并确认配置后,点击“立即购买”进行付款,付款成功即可创建应用。
3、订购Worker节点。选择“GPUStack-集群版Worker”,点击“立即订购”。
4、在开通应用页面按提示订购“GPUstack-集群版Worker”,点击确认下单并确认配置后,点击“立即购买”进行付款,付款成功即可创建应用。
步骤2:进入应用
1、在【我的应用】页,查看GPUstack-集群版Server应用状态,当应用状态为运行中时,代表Server服务部署完成。点击“查看应用”,进入应用详情页。
2、点击“立即使用”或在浏览器中输入复制的应用入口,即可访问 GPUStack。
步骤3:配置应用
1、登录GPUStack服务
在应用登录页面输入用户名及密码信息,首次登录需输入初始账密信息,后续可在应用内修改。
说明
GPUstack默认账号为admin,密码为gpustack
2、添加集群
参考以下操作,在 GPUStack 中创建新集群。
3、添加节点(Worker)
集群创建完毕后,需添加Worker节点⾄集群,操作如下。
1. 取消⼿动配置节点 IP,选择⾃动检测节点 IP
2. 复制服务 Worker 节点启动命令
若您使⽤公有云⽣态专区购买的 Worker 节点,需修改命令:
替换命令“
quay.io/gpustack/gpustack:v2.0.2 \”为“royi-hub-registry-huadong1.crsinternal.ctyun.cn/app-images/gpustack/gpustack:v2.0.2 \”在命令末尾直接增加如下配置:
--system-default-container-registry royi-hub-registryhuadong1.crs-internal.ctyun.cn/app-images
示例如下:
1sudo docker run -d --name gpustack-worker \
2 -e "GPUSTACK_RUNTIME_DEPLOY_MIRRORED_NAME=gpustack-worker" \
3 -e "GPUSTACK_TOKEN=gpustack_XXXXXXXXX" \
4 --restart=unless-stopped \
5 --privileged \
6 --network=host \
7 --volume /var/run/docker.sock:/var/run/docker.sock \
8 --volume gpustack-data:/var/lib/gpustack \
9 --runtime nvidia \
10 royi-hub-registry-huadong1.crs-internal.ctyun.cn/app-images/gpust
ack/gpustack:v2.0.2 \
11 --server-url http://XXX.XXX.XXX.XXX:7080 --system-default-contain
er-registry royi-hub-registry-huadong1.crs-internal.ctyun.cn/app-images说明
第3⾏中TOKEN信息由GPUStack⽣成,可复制GPUStack⽣成的命令中的TOKEN信息
第11⾏中,server-url http://XXX.XXX.XXX.XXX:7080 需替换为Server地址,即应⽤详情⻚中的应⽤⼊⼝地址
4、启动 Worker 服务
1.通过天翼云云主机控制台,使⽤订购时设置的密码,登录 Worker 节点云主机。
2.在命令⾏中执⾏3.2节复制的Worker节点启动命令。
3.执行完成后,返回 GPUStack 应用 Web页面点击完成,节点成功添加
4. 修改Worker节点安全组规则。通过云主机列表⻚,进⼊Worker节点云主机详情⻚,选中“安全组”Tab,点击安全组名称超链接。
5. 开放10050、10051端⼝。在⼊⽅向规则Tab中,点击添加规则按钮,新增端⼝10050和10051允许策略。
6. 添加成功后,可在集群列表查看节点添加结果,节点列表中可查看Worker节点状态。
说明
如需添加多个Worker节点,在订购后,重复执⾏3、4节即可。
5、部署模型
进⼊模型库菜单,选择合适的模型开始部署。
6、模型验证
等待模型部署成功后,便可进⼊试验场,进⾏验证。
7、API密钥管理
API密钥将鼠标悬停在用户头像上,选择“API密钥”,点击“创建密钥”生成新密钥。
注意
该密钥仅在创建时可见一次,请妥善保存。