在天翼云使用Ollama运行DeepSeek的最佳实践-7B等版本 如何通过vllm部署模型? 建议使用天翼云提供的DeepSeek镜像,减少安装过程中可能遇到的问题。如您必须通过vllm部署模型,请参考如下步骤: 1. 安装依赖包 plaintext 安装pip curl o getpip.py python getpip.py 修改pip镜像源,以清华源为例 pip config set global.indexurl 安装依赖包 pip install modelscope1.22.3 pip install openai1.61.0 pip install tqdm4.67.1 pip install transformers4.48.2 pip install vllm0.7.1 pip install jinja23.1.0 2. 下载模型 为了方便,我们以较小的DeepSeekR1DistillQwen1.5B为例(3.5G左右),将以下内容保存为 modeldownload.py 文件,参数 cachedir 为模型的下载路径,您可以按需修改,需确保存储空间足够存放模型。 plaintext from modelscope import snapshotdownload modeldir snapshotdownload('deepseekai/DeepSeekR1DistillQwen1.5B', cachedir'/root/modelpath', revision'master') 3. 运行模型 完成下载后,即可使用 vllm 运行模型。 plaintext vllm serve /root/modelpath/deepseekai/DeepSeekR1DistillQwen1.5B servedmodelname DeepSeekR1DistillQwen1.5B maxmodellen2048 apikey mytoken port8000 注意 其中 apikey 参数用于模型 api 调用时认证动作,可按需修改值。 4. 使用WebUI访问模型 基于我们已经安装、配置好的 OpenWebUI页面,可以直接访问模型。 管理员设置中,配置OpenAI API访问地址,密钥就是上文中的 apikey。 选择对应的模型,直接进行问答体验。 返回DeepSeek专题导航。