基于昇腾通用推理镜像的自定义部署 3.保存模型 在VSCode列表页面保存模型到模型管理。 三、服务部署 点击“部署我的模型”,填写表单创建服务。 服务名称:服务名称应小于50字符,不能包含空格。 镜像选择:系统内置镜像、从JupyterLab/VSCode中制作的自定义镜像、容器镜像服务共享过来的镜像。平台预置支持910B的通用推理服务镜像ascendcommoninfersvc 模型选择:开发机保存的模型,或其他方式保存的模型。 代码包选择:开发机保存的代码包,或其他方式保存的代码包。 环境变量:输入镜像的启动依赖的环境变量。 运行命令:输入镜像的启动运行命令。 端口号:在线服务进程监听的端口号。 资源部署信息:现在规格以及实例数 授权管理:选择已创建的授权或去新创建授权后再选择 服务部署好后,进入服务的详情页获取服务的APPKEY和modelId 调用OpenAPI验证 App Key需要放置在请求的Authrization请求头中: Authorization: Bearer APPKEY e.g. modelId需要添加在请求体中的model字段:model: modelId e.g. Postman请求示例 plaintext curllocation ' header 'Authorization: Bearer 4a56fe' header 'ContentType: application/json' data '{ "model":"b41b61", "maxtokens":1024, "topp":0.1, "topk":5, "stream":false, "temperature":0.8, "streamoptions": { "includeusage":true }, "messages": [ { "role":"user", "content":"ping" } ] }'