本文为您展示星辰MaaS模型服务平台-服务部署模块相关操作。
支持模型一键部署为在线推理服务,提供服务地址供外部调用,并支持服务上下线和管理等功能。
操作步骤
登录星辰MaaS模型服务平台。
在左侧导航栏选择“服务部署”。
点击“新建”,可创建待部署的模型,部署成功后,系统会生成服务名称及服务地址。
创建成功后可以对模型进行编辑和删除操作。
操作流程
创建服务
服务列表
操作说明:点击【模型部署-服务部署】进入,在《服务列表》用户可输入服务名称,模型名称,服务状态,创建时间的任一值进行模型的查询。
新建服务
操作说明:在《服务列表》点击【新建】,也可在《模型详情页面》点击【快速部署】进入。新建服务包括四个部分信息,服务基本信息、环境变量、算力规格和健康探针配置,分别对服务进行填写,实现模型服务的创建。
基本信息
选择模型版本信息;
选择镜像信息;
选择是否为大模型;
填写服务名称信息;
填写服务调用路径信息;
填写启动命令信息;
填写端口信息;
填写共享内存、内存单位信息。
环境变量信息
支持在新建模型推理服务页面配置环境变量,包括变量名、变量值等。
算力规格信息
支持在新建模型推理服务页面配置算力规格,包括规格类型、服务副本数、单实例节点数。
健康探针配置
支持在新建模型推理服务页面配置健康探针。包括启动探针、存活探针、就绪探针各自的失败阈值、周期、初始延迟、成功阈值、超时时间等。
服务部署
上线
操作说明:任务创建完成后会返回《服务列表》,点击【上线】系统会执行上线流程,部署完成就是已上线的状态。
下线
操作说明:上线后的服务想下线则点击【下线】系统会执行下线流程,执行完成就是已下线的状态。
删除
操作说明:在《服务列表》想删除点击【删除】系统会执行删除操作,执行完成就是不显示在模型列表的状态。
编辑
操作说明:在《服务列表》想编辑点击【编辑】系统会执行编辑操作,打开编辑页面,执行完成后保存返回模型列表。
服务日志
操作说明:在《服务列表》点击【服务日志】进入。支持按POD,日志条数,时间范围进行查询,同时支持一键【重置】查询条件。