在天翼云使用vLLM运行DeepSeek的最佳实践-32B等版本 步骤二:云主机开通 创建弹性云主机弹性云主机快速入门 天翼云 创建配备GPU驱动的GPU云主机(Linux)GPU云主机用户指南创建GPU云主机 天翼云 步骤三:手动部署DeepSeek 建议使用天翼云提供的DeepSeek镜像,减少安装过程中可能遇到的问题。如您必须通过vLLM部署模型,请参考如下步骤: 1. 安装依赖包 plaintext 安装pip curl o getpip.py python getpip.py 修改pip镜像源,以清华源为例 pip config set global.indexurl 安装依赖包 pip install modelscope1.22.3 pip install openai1.61.0 pip install tqdm4.67.1 pip install transformers4.48.2 pip install vllm0.7.1 pip install jinja23.1.0 2. 下载模型 为了方便,我们以较小的DeepSeekR1DistillQwen1.5B为例(3.5G左右),将以下内容保存为 modeldownload.py 文件,参数 cachedir 为模型的下载路径,您可以按需修改,需确保存储空间足够存放模型。 plaintext from modelscope import snapshotdownload modeldir snapshotdownload('deepseekai/DeepSeekR1DistillQwen1.5B', cachedir'/root/modelpath', revision'master') 运行该文件,启动模型下载。 plaintext python modeldownload.py 3. 运行模型 完成下载后,即可使用 vLLM 运行模型。 plaintext vllm serve /root/modelpath/deepseekai/DeepSeekR1DistillQwen1.5B servedmodelname DeepSeekR1DistillQwen1.5B maxmodellen2048 apikey mytoken port8000 注意 其中 apikey 参数用于模型 api 调用时认证动作,可按需修改值。 4. 使用WebUI访问模型 基于我们已经安装、配置好的 OpenWebUI页面,可以直接访问模型。 管理员设置中,配置OpenAI API访问地址,密钥就是上文中的 apikey。 ![1739275580172[1].png]( 选择对应的模型,直接进行问答体验。 ![1739275700080[1].png](