在线服务
更新时间 2025-06-26 16:25:54
最近更新时间: 2025-06-26 16:25:54
模型服务支持在推理场景将平台预置模型和模型仓库模型部署为模型在线服务。
前置条件
创建在线服务
登录智算服务平台。
创建在线服务入口:
入口一:在左侧菜单选择“模型服务”-“在线服务”,点击“部署我的模型”,进入在线服务创建页面。
入口二:在左侧菜单选择“模型广场”,点击模型卡片的“部署”,进入在线服务创建页面。
入口三:在左侧菜单选择“我的模型”,点击模型卡片的“部署”,进入在线服务创建页面。
参数类型 | 参数名 | 说明 |
模型服务信息 | 服务名称 | 必填,在线服务名称。 |
服务地址 | 自动生成,服务调用地址。 | |
镜像环境
| 镜像来源 | 支持选择系统预置镜像、自定义镜像、共享容器镜像和他人分享镜像。 |
模型选择 | 将模型管理中的模型文件挂载到容器内路径。 | |
代码包选择 | 非必填,可以选择目标代码包。 | |
环境变量 | 输入变量名称和值。 | |
运行命令 | 必填,用以启动镜像的运行命令和端口号(例如:启动镜像的运行命令脚本,示例如下:cd /work/mount/code #切换到执行脚本所在目录。 python /run.py#执行启动脚本。 | |
资源配置 | 队列 | 选择目标队列,展示当前总资源及使用情况。 |
资源规格 | 选择当前任务所需要的资源规格。 | |
实例数量 | 输入当前部署实例的数量。 |
在列表可查看模型是否部署成功,在操作列可进行模型查看、更新、停止、重启、修改、上下线、删除等操作。停止服务后计费也会停止,再次启动服务即可开通计费。
操作列点击【查看】可进入该服务的详情页,查看部署的模型列表、服务监控、配置历史、运行记录、事件日志、服务日志。
服务部署完成后下一步需要创建服务接入。