1. 安装最新版本

pip install vllm

2. 安装指定版本
   Install vLLM with CUDA 11.8.

   export VLLM_VERSION=0.4.0
   export PYTHON_VERSION=39
   pip install github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_6_4.whl --extra-index-url download.pytorch.org/whl/cu118
   

3. 碰到的问题
   由于github的访问受限的问题。
   可以考虑

   ~/.config/vllm/nccl/cu11
   ~/.config/vllm/nccl/cu12
   

[vllm-nccl]中两个lib文件放到对应的目录中