基于昇腾通用推理镜像的自定义部署BGE模型 本最佳实践文档旨在为用户提供一个全面、高效的基于升腾通用推理镜像的自定义部署样例。 一、引言 本文围绕昇腾通用推理镜像的自定义部署展开最佳实践梳理,旨在从模型准备、环境配置、部署流程等关键维度,提供一套可复用的最佳实践。通过标准化的操作指南,帮助开发者快速掌握昇腾推理镜像的自定义部署方法。 二、模型准备 1.开发机完成推理代码开发和调试 1.1创建vscode开发机 1.2启动vscode开发机 1.3打开vscode开发机 1.4在vscode开发机/work/cache目录下,创建code和model目录 1.5准备代码包,把app.tar.gz文件复制到/work/cache/code 1.6右击鼠标,打开Terminal 1.7 解压代码包到/work/cache/code目录下 plaintext cd /work/cache/code tar xzvf app.tar.gz 1.8.下载权重文件 plaintext cd/work/cache/model wget tar xvf bgem3.tar stripcomponents1 rmbgem3.tar 启动bge服务 plaintext cd /work/cache/code/app pip install r requirements.txt i exportMODELPATH/work/cache/model mkdir/logger python teleservice.py 1.9 耐心等几分钟,看到下面日志即代表启动完成 1.10 点加号,进入新的Terminal界面 验证服务是否正常 plaintext curl X POST H "ContentType: application/json" d '{ "input": ["近日天翼云科技有限公司总经理胡志强在世界电信日期间接受新华网记者采访。"], "model": "bgem3", "encodingformat": "float" }' 发现有向量数据返回及代表成功