步骤1:创建应用
1、登录天翼云官网,进入【公有云生态专区】应用列表页,选择“EATP-标准版”,点击“立即订购”。
2、在开通应用页面按提示订购“EATP-标准版”,点击确认下单并确认配置后,点击“立即购买”进行付款,付款成功即可完成应用创建。
步骤2:进入应用
1、在【我的应用】页,查看应用状态,当应用状态为运行中时,代表服务部署完成。点击“查看应用”,进入应用详情页。
2、点击“立即使用”或在浏览器中输入复制的应用入口,即可访问EATP。
步骤3:配置应用
1、登录EATP服务
在应用登录页面输入用户名及密码信息,首次登录需输入初始账密信息,后续可在应用内修改。
说明
EATP默认用户名为:admin,密码为:Eatp123@
2、利用EATP添加GPU集群并部署模型
说明
若您不需要模型部署、GPU管理能力,可从第4节开始配置服务。
1)登录后,在顶部导航中点击【模型部署】,从统一入口进入ModelStack。
2) 进入ModelStack后,选择左侧导航【集群】,点击【添加集群】按钮,准备在ModelStack中创建用于推理的集群。
3)创建集群时,选择“Docker”环境,并为集群命名,保存后即完成集群创建。
4)为集群添加节点。您可以将需要用于推理的GPU节点信息添加至集群中,点击【添加节点】按钮。
根据您的GPU设备型号选择对应的GPU厂商,并完成环境检查。
注意,指定参数配置中,请关闭手动配置IP,选择自动检测节点IP。
复制节点启动命令,并在登录GPU设备后执行。
注意
为保证GPU服务器与EATP正常通信,配置前,请确保已开放GPU服务器10050、10051端口。在规则Tab中,点击添加规则按钮,新增端口10050和10051允许策略。
5)确认平台里已经有可用的算力节点。添加成功后,可在集群列表查看节点添加结果,节点列表中可查看GPU服务器节点状态。
6) 部署模型。在左侧导航中,选择【模型库】,进入模型库页。
根据您的算力情况、使用场景,选择目标模型,如“Qwen3.5-0.8B”点击即可部署。
在弹出的表单中填写模型参数。标准版EATP服务组中,模型将默认部署在前置添加GPU服务器上,即“Test”。推理后端、版本如无特殊需求,使用默认推荐参数即可。
点击提交即开始模型部署。
模型部署时间根据模型大小有所不同,通常需要15分钟到60分钟不等。可在左侧导航中,点击【部署】,进入模型部署页面,查看模型部署进度。当节点状态为“Running”时代表模型部署完成。
7)验证模型服务是否正常。左侧导航菜单中选择【对话】,在对话页面中,选择之前操作部署的模型,并输入对话。若能正常对话,即代表模型服务正常。
3、在EATP中同步模型配置
模型部署完后,需将模型部署信息同步至渠道后,才可对外提供模型服务。
返回EATP主页面,左侧菜单中,点击【渠道管理】。EATP中,已默认添加第2节中在ModelStack中部署的模型渠道,可通过【编辑】弹窗中的信息确认模型是否同步完成。
若“更新渠道信息”弹窗中正确显示第2节中部署的模型信息,即代表模型部署且同步成功。若模型为空,可点击下方【获取模型列表】进行模型添加。
4、配置渠道
若需管理更多渠道来源的API,需先将渠道API信息添加至EATP平台中。
1. 添加渠道。在左侧导航栏中,选择【渠道管理】,点击【添加渠道】按钮。
2. 在添加渠道表单中,根据API供应商提供的信息,完成表单填写。点击【提交】,即可完成渠道配置。
5、验证模型是否正常对外提供服务
1.以管理员身份,在EATP平台中,左侧导航中选择【令牌管理】。
2. 点击添加令牌按钮,创建一个可用于外部调用模型服务的凭证。
3. 在“创建新令牌”窗口中,根据需求填写令牌约束信息。
4. 创建完成后,可在列表中查看生成的令牌,密钥即模型服务的API Key。
模型服务API 的URL,可在左侧菜单中【操练场】页面中获取。
您可通过在AI应用中配置模型服务API的URL即Key信息,已确认模型是否正常对外提供服务。同时,EATP平台中,【使用日志】页面也可查看调用相关的数据。
使用建议
使用EATP完成模型部署与配置后,您可直接创建令牌来运营模型服务;也可前往【用户管理】模块创建用户,由用户自行创建令牌来运营服务。