服务部署
更新时间 2025-09-09 11:43:29
最近更新时间: 2025-09-09 11:43:29
服务部署支持在推理场景将平台预置模型和模型仓库模型部署为模型在线服务。
前置条件
创建在线服务
登录训推智算服务平台。
创建在线服务入口：
入口一：在左侧菜单选择“模型服务”-“服务部署”，点击“部署模型”，进入在线服务创建页面。
入口二：在左侧菜单选择“模型管理”，点击模型卡片的“部署”，进入在线服务创建页面。
| 参数名 | 说明 |
|---|---|
| 服务名称 | 必填，在线服务名称。 |
| 服务地址 | 自动生成，服务调用地址。 |
| 镜像来源 | 支持选择系统预置镜像、自定义镜像、共享容器镜像和他人分享镜像。 |
| 模型选择 | 将模型管理中的模型文件挂载到容器内路径。 |
| 代码包选择 | 非必填，可以选择目标代码包。 |
| 环境变量 | 输入变量名称和值。 |
| 运行命令 | 必填，用以启动镜像的运行命令和端口号（例如：启动镜像的运行命令脚本，示例如下：cd /work/mount/code #切换到执行脚本所在目录。python /run.py#执行启动脚本。 |
| 队列 | 选择目标队列，展示当前总资源及使用情况。 |
| 资源规格 | 选择当前任务所需要的资源规格。 |
| 实例数量 | 输入当前部署实例的数量。 |
| 服务授权 | 必填，选择调用服务时使用的服务授权。 |
在列表可查看模型是否部署成功，在操作列可进行模型查看、更新、停止、重启、修改、上下线、删除等操作。停止服务后计费也会停止，再次启动服务即可开通计费。
操作列点击【查看】可进入该服务的详情页，查看部署的模型列表、服务监控、配置历史、运行记录、事件日志、服务日志。
服务授权
服务授权为服务部署创建App Key供用户调用。
创建在线服务入口：
入口一：在左侧菜单选择“服务部署”-“我的服务”-“部署模型”，新建页面点击“创建服务授权”。
入口二：在左侧菜单选择“服务部署”-“授权管理”，点击“创建服务授权”，进入服务授权创建页面。
入口三“在左侧菜单选择“服务部署”-“我的服务”，详情页点击”服务授权“页面中点击”创建服务授权“。
创建服务授权：
输入服务授权名称：必填，最长不超过15个字符。
查看服务授权：在授权管理菜单还可以查看当前授权绑定的服务列表。
可以单击操作列的按钮查询当前授权的明文、重置或删除。
服务授权解绑和添加：在服务部署详情页，可以点击“服务授权”按钮进入当前服务绑定的授权信息列表，可以解绑不再使用的授权，绑定新的授权。
服务调用
获得服务调用接口地址
在postman中构造请求接口，在请求header中需要填入Authorization鉴权信息，为避免被安全护栏拦截，建议在http请求header中填入User-Agent信息：
请求路径：https://wishub-x5.ctyun.cn/api/v1/c760bd1e83/d1a696ae54419d34987d95d52ac337f8/v1/xxx/yyy，其中/xxx/yyy 为具体的功能路径，如/chat/completions;其余前缀通过服务详情的“接口地址”获得。
请求方式：POST;
请求header必填项： Authorization: Bearer AppKey Content-Type: application/json;
其他header：
User-Agent: PostmanRuntime-ApipostRuntime/1.1.0获得服务调用返回
