什么是DeepSeek

DeepSeek 是一个基于 Transformer 架构的大型语言模型（LLM），由深度求索（DeepSeek）公司开发。它能够处理自然语言理解、生成、翻译、问答等多种任务。在目前大模型主流榜单中，DeepSeek-V3 在开源模型中位列榜首，与世界上最先进的闭源模型不分伯仲。在对话模型典型任务方面的评测效果如下：

当前 DeepSeek 模型有多个版本，参数量从 1.5B、70B到671B不等，适用于不同的应用场景和计算资源。参数量越多，资源消耗越多，使用者可以根据自己实际需求选择不同模型版本。

注意

为维护良好的网络环境和公共秩序，禁止任何用户或机构利用天翼云平台从事违法活动、传播不良信息或实施违反社会公序良俗的行为。若发生此类行为，天翼云将依法采取必要措施，停止相关服务功能，并依法追究责任。
模型由DeepSeek公司提供，模型的结果仅供参考，并可能因不同的环境、数据或操作条件而有所不同，我们不对模型的任何结果负责。

快速体验DeepSeek

Ollama 是一个专为本地运行大语言模型（LLMs）而设计的工具，支持多种模型格式，并提供了简单易用的命令行接口。这里，我们以DeepSeek-r1-7b模型为例，讲解如何在天翼云使用Ollama运行 DeepSeek模型，读者可以根据自己实际需求修改云主机模型和云主机配置。

步骤一：创建GPU云主机

进入创建云主机页面
a.点击天翼云门户首页的“控制中心”，输入登录的用户名和密码，进入控制中心页面。
b.单击“产品服务列表>弹性云主机”，进入主机列表页。
c.单击“创建云主机”，进入弹性云主机创建页。
进行基础配置
a.根据业务需求配置“计费模式”、“地域”、“企业项目”、“虚拟私有云”、“实例名称”、“主机名称”等。
b.选择规格。此处选择“CPU架构”为“X86”、分类“GPU加速/AI加速型”、“规格族”为“GPU计算加速型pi7”、“规格”为“pi7.4xlarge.4”。
c.选择镜像。“镜像类型”选择“镜像市场”，在云镜像市场中选择预置了DeepSeek R1模型的DeepSeek-R1-7B-Ubuntu22.04镜像。
注意
本镜像推荐配置：内存≥8G、显存≥16G。
注意
目前也提供了预装DeepSeek-R1-70B模型的镜像，如您有需求，也可在云镜像市场中进行选择。
d.设置云盘类型和大小。
网络及高级配置
设置网络，包括“网卡”、“安全组”，同时配备 “弹性IP”用于下载和访问模型；设置高级配置，包括“登录方式”、“云主机组”、“用户数据”。
确认并支付

步骤二：使用DeepSeek模型

通过web界面进行模型交互
注意
镜像自带的 ollama 工具监听 127.0.0.1:11434、webui 监听 0.0.0.0:3000 端口，云主机默认不对外开放任何端口访问，请按需开放端口访问规则，避免数据泄露。
a. 放行云主机安全组的 3000 端口。具体操作请参考添加安全组规则-弹性云主机-用户指南-安全-安全组-配置安全组规则 - 天翼云。
b. 访问DeepSeek模型的可视化界面。登录地址为：http://{公网ip地址}:3000。
注意
云主机全自动安装DeepSeek模型和可视化界面，请等待云主机启动 5 分钟后，再访问登录界面。
首次登录页面如下：
c.注册管理员账号。
d.使用设置。
刷新进入首页，在模型下拉列表中，选择刚部署的DeepSeek:7b 模型。
点击左下角进入设置页面，如果您不想开放其他用户注册使用，则需要关闭 “允许用户注册” 功能。
如果您允许用户注册，还可以设置用户注册之后的行为，例如选择新用户注册后默认用户角色为“用户”/“待激活” 等，需要管理员手动激活。
设置模型可见性。多用户模式下，建议把模型设置为“Public”。

e.使用DeepSeek模型进行模型推理。

自定义部署DeepSeek

自定义部署DeepSeek

步骤一：规格选型

不同版本的模型参数量不同，参数量越多，资源消耗越多。不同规模的企业、客户有不同诉求，客户可根据自己的实际需求，选择所需镜像和模型版本。参数较少的DeepSeek模型可以在CPU上正常运行、如1.5B、7B模型，更大的模型需要GPU才能获得良好的体验。天翼云提供了不同模型的硬件配置建议，如下：

模型	推荐显卡数
模型	T4	V100	V100S	A10	A100
DeepSeek-R1-1.5B	1卡16G（1*16G）	1卡32G（1*32G）	1卡32G（1*32G）	1卡24G（1*24G）	1卡40G（1*40G）
DeepSeek-R1-7B	2卡32G（2*16G）	1卡32G（1*32G）	1卡32G（1*32G）	1卡24G（1*24G）	1卡40G（1*40G）
DeepSeek-R1-8B	2卡32G（2*16G）	1卡32G（1*32G）	1卡32G（1*32G）	1卡24G（1*24G）	1卡40G（1*40G）
DeepSeek-R1-14B	4卡64G（4*16G）	2卡64G（2*32G）	2卡64G（2*32G）	2卡48G（2*24G）	2卡80G（2*40G）
DeepSeek-R1-32B	-	4卡128G（4*32G）	4卡128G（4*32G）	4卡96G（4*24G）	4卡160G（4*40G）
DeepSeek-R1-70B	-	-	-	-	4卡160G（4*40G）

对应的GPU云主机规格请参见NVIDIA GPU云主机-GPU云主机-产品简介-产品规格 - 天翼云。

步骤二：云主机开通

创建弹性云主机-弹性云主机-快速入门 - 天翼云

创建配备GPU驱动的GPU云主机（Linux）-GPU云主机-用户指南-创建GPU云主机 - 天翼云

步骤三：手动部署DeepSeek

安装ollama

a. 下载安装脚本

使用非天翼云DeepSeek镜像时，需要手动安装ollama，这里以 amd64 为例，将如下脚本保存到本地，命名为 install_ollama.sh。

#!/bin/sh
# This script installs Ollama on Linux.
# It detects the current operating system architecture and installs the appropriate version of Ollama.

set -eu

red="$( (/usr/bin/tput bold || :; /usr/bin/tput setaf 1 || :) 2>&-)"
plain="$( (/usr/bin/tput sgr0 || :) 2>&-)"

status() { echo ">>> $*" >&2; }
error() { echo "${red}ERROR:${plain} $*"; exit 1; }
warning() { echo "${red}WARNING:${plain} $*"; }

TEMP_DIR=$(mktemp -d)
cleanup() { rm -rf $TEMP_DIR; }
trap cleanup EXIT

available() { command -v $1 >/dev/null; }
require() {
    local MISSING=''
    for TOOL in $*; do
        if ! available $TOOL; then
            MISSING="$MISSING $TOOL"
        fi
    done

    echo $MISSING
}

[ "$(uname -s)" = "Linux" ] || error 'This script is intended to run on Linux only.'

ARCH=$(uname -m)
case "$ARCH" in
    x86_64) ARCH="amd64" ;;
    aarch64|arm64) ARCH="arm64" ;;
    *) error "Unsupported architecture: $ARCH" ;;
esac

IS_WSL2=false

KERN=$(uname -r)
case "$KERN" in
    *icrosoft*WSL2 | *icrosoft*wsl2) IS_WSL2=true;;
    *icrosoft) error "Microsoft WSL1 is not currently supported. Please use WSL2 with 'wsl --set-version <distro> 2'" ;;
    *) ;;
esac

VER_PARAM="${OLLAMA_VERSION:+?version=$OLLAMA_VERSION}"

SUDO=
if [ "$(id -u)" -ne 0 ]; then
    # Running as root, no need for sudo
    if ! available sudo; then
        error "This script requires superuser permissions. Please re-run as root."
    fi

    SUDO="sudo"
fi

NEEDS=$(require curl awk grep sed tee xargs)
if [ -n "$NEEDS" ]; then
    status "ERROR: The following tools are required but missing:"
    for NEED in $NEEDS; do
        echo "  - $NEED"
    done
    exit 1
fi

for BINDIR in /usr/local/bin /usr/bin /bin; do
    echo $PATH | grep -q $BINDIR && break || continue
done
OLLAMA_INSTALL_DIR=$(dirname ${BINDIR})

if [ -d "$OLLAMA_INSTALL_DIR/lib/ollama" ] ; then
    status "Cleaning up old version at $OLLAMA_INSTALL_DIR/lib/ollama"
    $SUDO rm -rf "$OLLAMA_INSTALL_DIR/lib/ollama"
fi
status "Installing ollama to $OLLAMA_INSTALL_DIR"
$SUDO install -o0 -g0 -m755 -d $BINDIR
$SUDO install -o0 -g0 -m755 -d "$OLLAMA_INSTALL_DIR"
status "Downloading Linux ${ARCH} bundle"
curl --fail --show-error --location --progress-bar \
    "https://mirrors.ctyun.cn/ollama/v0.5.7/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
    $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"
if [ "$OLLAMA_INSTALL_DIR/bin/ollama" != "$BINDIR/ollama" ] ; then
    status "Making ollama accessible in the PATH in $BINDIR"
    $SUDO ln -sf "$OLLAMA_INSTALL_DIR/ollama" "$BINDIR/ollama"
fi

# Check for NVIDIA JetPack systems with additional downloads
if [ -f /etc/nv_tegra_release ] ; then
    if grep R36 /etc/nv_tegra_release > /dev/null ; then
        status "Downloading JetPack 6 components"
        curl --fail --show-error --location --progress-bar \
            "https://mirrors.ctyun.cn/ollama/v0.5.7/ollama-linux-${ARCH}-jetpack6.tgz${VER_PARAM}" | \
            $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"
    elif grep R35 /etc/nv_tegra_release > /dev/null ; then
        status "Downloading JetPack 5 components"
        curl --fail --show-error --location --progress-bar \
            "https://mirrors.ctyun.cn/ollama/v0.5.7/ollama-linux-${ARCH}-jetpack5.tgz${VER_PARAM}" | \
            $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"
    else
        warning "Unsupported JetPack version detected.  GPU may not be supported"
    fi
fi

install_success() {
    status 'The Ollama API is now available at 127.0.0.1:11434.'
    status 'Install complete. Run "ollama" from the command line.'
}
trap install_success EXIT

# Everything from this point onwards is optional.

configure_systemd() {
    if ! id ollama >/dev/null 2>&1; then
        status "Creating ollama user..."
        $SUDO useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
    fi
    if getent group render >/dev/null 2>&1; then
        status "Adding ollama user to render group..."
        $SUDO usermod -a -G render ollama
    fi
    if getent group video >/dev/null 2>&1; then
        status "Adding ollama user to video group..."
        $SUDO usermod -a -G video ollama
    fi

    status "Adding current user to ollama group..."
    $SUDO usermod -a -G ollama $(whoami)

    status "Creating ollama systemd service..."
    cat <<EOF | $SUDO tee /etc/systemd/system/ollama.service >/dev/null
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=$BINDIR/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target
EOF
    SYSTEMCTL_RUNNING="$(systemctl is-system-running || true)"
    case $SYSTEMCTL_RUNNING in
        running|degraded)
            status "Enabling and starting ollama service..."
            $SUDO systemctl daemon-reload
            $SUDO systemctl enable ollama

            start_service() { $SUDO systemctl restart ollama; }
            trap start_service EXIT
            ;;
        *)
            warning "systemd is not running"
            if [ "$IS_WSL2" = true ]; then
                warning "see https://learn.microsoft.com/en-us/windows/wsl/systemd#how-to-enable-systemd to enable it"
            fi
            ;;
    esac
}

if available systemctl; then
    configure_systemd
fi

# WSL2 only supports GPUs via nvidia passthrough
# so check for nvidia-smi to determine if GPU is available
if [ "$IS_WSL2" = true ]; then
    if available nvidia-smi && [ -n "$(nvidia-smi | grep -o "CUDA Version: [0-9]*\.[0-9]*")" ]; then
        status "Nvidia GPU detected."
    fi
    install_success
    exit 0
fi

# Don't attempt to install drivers on Jetson systems
if [ -f /etc/nv_tegra_release ] ; then
    status "NVIDIA JetPack ready."
    install_success
    exit 0
fi

# Install GPU dependencies on Linux
if ! available lspci && ! available lshw; then
    warning "Unable to detect NVIDIA/AMD GPU. Install lspci or lshw to automatically detect and install GPU dependencies."
    exit 0
fi

check_gpu() {
    # Look for devices based on vendor ID for NVIDIA and AMD
    case $1 in
        lspci)
            case $2 in
                nvidia) available lspci && lspci -d '10de:' | grep -q 'NVIDIA' || return 1 ;;
                amdgpu) available lspci && lspci -d '1002:' | grep -q 'AMD' || return 1 ;;
            esac ;;
        lshw)
            case $2 in
                nvidia) available lshw && $SUDO lshw -c display -numeric -disable network | grep -q 'vendor: .* \[10DE\]' || return 1 ;;
                amdgpu) available lshw && $SUDO lshw -c display -numeric -disable network | grep -q 'vendor: .* \[1002\]' || return 1 ;;
            esac ;;
        nvidia-smi) available nvidia-smi || return 1 ;;
    esac
}

if check_gpu nvidia-smi; then
    status "NVIDIA GPU installed."
    exit 0
fi

if ! check_gpu lspci nvidia && ! check_gpu lshw nvidia && ! check_gpu lspci amdgpu && ! check_gpu lshw amdgpu; then
    install_success
    warning "No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode."
    exit 0
fi

if check_gpu lspci amdgpu || check_gpu lshw amdgpu; then
    status "Downloading Linux ROCm ${ARCH} bundle"
    curl --fail --show-error --location --progress-bar \
        "https://mirrors.ctyun.cn/ollama/v0.5.7/ollama-linux-${ARCH}-rocm.tgz${VER_PARAM}" | \
        $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"

    install_success
    status "AMD GPU ready."
    exit 0
fi

CUDA_REPO_ERR_MSG="NVIDIA GPU detected, but your OS and Architecture are not supported by NVIDIA.  Please install the CUDA driver manually https://docs.nvidia.com/cuda/cuda-installation-guide-linux/"
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#rhel-7-centos-7
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#rhel-8-rocky-8
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#rhel-9-rocky-9
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#fedora
install_cuda_driver_yum() {
    status 'Installing NVIDIA repository...'

    case $PACKAGE_MANAGER in
        yum)
            $SUDO $PACKAGE_MANAGER -y install yum-utils
            if curl -I --silent --fail --location "https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo" >/dev/null ; then
                $SUDO $PACKAGE_MANAGER-config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo
            else
                error $CUDA_REPO_ERR_MSG
            fi
            ;;
        dnf)
            if curl -I --silent --fail --location "https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo" >/dev/null ; then
                $SUDO $PACKAGE_MANAGER config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-$1$2.repo
            else
                error $CUDA_REPO_ERR_MSG
            fi
            ;;
    esac

    case $1 in
        rhel)
            status 'Installing EPEL repository...'
            # EPEL is required for third-party dependencies such as dkms and libvdpau
            $SUDO $PACKAGE_MANAGER -y install https://dl.fedoraproject.org/pub/epel/epel-release-latest-$2.noarch.rpm || true
            ;;
    esac

    status 'Installing CUDA driver...'

    if [ "$1" = 'centos' ] || [ "$1$2" = 'rhel7' ]; then
        $SUDO $PACKAGE_MANAGER -y install nvidia-driver-latest-dkms
    fi

    $SUDO $PACKAGE_MANAGER -y install cuda-drivers
}

# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#ubuntu
# ref: https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#debian
install_cuda_driver_apt() {
    status 'Installing NVIDIA repository...'
    if curl -I --silent --fail --location "https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-keyring_1.1-1_all.deb" >/dev/null ; then
        curl -fsSL -o $TEMP_DIR/cuda-keyring.deb https://developer.download.nvidia.com/compute/cuda/repos/$1$2/$(uname -m | sed -e 's/aarch64/sbsa/')/cuda-keyring_1.1-1_all.deb
    else
        error $CUDA_REPO_ERR_MSG
    fi

    case $1 in
        debian)
            status 'Enabling contrib sources...'
            $SUDO sed 's/main/contrib/' < /etc/apt/sources.list | $SUDO tee /etc/apt/sources.list.d/contrib.list > /dev/null
            if [ -f "/etc/apt/sources.list.d/debian.sources" ]; then
                $SUDO sed 's/main/contrib/' < /etc/apt/sources.list.d/debian.sources | $SUDO tee /etc/apt/sources.list.d/contrib.sources > /dev/null
            fi
            ;;
    esac

    status 'Installing CUDA driver...'
    $SUDO dpkg -i $TEMP_DIR/cuda-keyring.deb
    $SUDO apt-get update

    [ -n "$SUDO" ] && SUDO_E="$SUDO -E" || SUDO_E=
    DEBIAN_FRONTEND=noninteractive $SUDO_E apt-get -y install cuda-drivers -q
}

if [ ! -f "/etc/os-release" ]; then
    error "Unknown distribution. Skipping CUDA installation."
fi

. /etc/os-release

OS_NAME=$ID
OS_VERSION=$VERSION_ID

PACKAGE_MANAGER=
for PACKAGE_MANAGER in dnf yum apt-get; do
    if available $PACKAGE_MANAGER; then
        break
    fi
done

if [ -z "$PACKAGE_MANAGER" ]; then
    error "Unknown package manager. Skipping CUDA installation."
fi

if ! check_gpu nvidia-smi || [ -z "$(nvidia-smi | grep -o "CUDA Version: [0-9]*\.[0-9]*")" ]; then
    case $OS_NAME in
        centos|rhel) install_cuda_driver_yum 'rhel' $(echo $OS_VERSION | cut -d '.' -f 1) ;;
        rocky) install_cuda_driver_yum 'rhel' $(echo $OS_VERSION | cut -c1) ;;
        fedora) [ $OS_VERSION -lt '39' ] && install_cuda_driver_yum $OS_NAME $OS_VERSION || install_cuda_driver_yum $OS_NAME '39';;
        amzn) install_cuda_driver_yum 'fedora' '37' ;;
        debian) install_cuda_driver_apt $OS_NAME $OS_VERSION ;;
        ubuntu) install_cuda_driver_apt $OS_NAME $(echo $OS_VERSION | sed 's/\.//') ;;
        *) exit ;;
    esac
fi

if ! lsmod | grep -q nvidia || ! lsmod | grep -q nvidia_uvm; then
    KERNEL_RELEASE="$(uname -r)"
    case $OS_NAME in
        rocky) $SUDO $PACKAGE_MANAGER -y install kernel-devel kernel-headers ;;
        centos|rhel|amzn) $SUDO $PACKAGE_MANAGER -y install kernel-devel-$KERNEL_RELEASE kernel-headers-$KERNEL_RELEASE ;;
        fedora) $SUDO $PACKAGE_MANAGER -y install kernel-devel-$KERNEL_RELEASE ;;
        debian|ubuntu) $SUDO apt-get -y install linux-headers-$KERNEL_RELEASE ;;
        *) exit ;;
    esac

    NVIDIA_CUDA_VERSION=$($SUDO dkms status | awk -F: '/added/ { print $1 }')
    if [ -n "$NVIDIA_CUDA_VERSION" ]; then
        $SUDO dkms install $NVIDIA_CUDA_VERSION
    fi

    if lsmod | grep -q nouveau; then
        status 'Reboot to complete NVIDIA CUDA driver install.'
        exit 0
    fi

    $SUDO modprobe nvidia
    $SUDO modprobe nvidia_uvm
fi

# make sure the NVIDIA modules are loaded on boot with nvidia-persistenced
if available nvidia-persistenced; then
    $SUDO touch /etc/modules-load.d/nvidia.conf
    MODULES="nvidia nvidia-uvm"
    for MODULE in $MODULES; do
        if ! grep -qxF "$MODULE" /etc/modules-load.d/nvidia.conf; then
            echo "$MODULE" | $SUDO tee -a /etc/modules-load.d/nvidia.conf > /dev/null
        fi
    done
fi

status "NVIDIA GPU ready."
install_success

b. 执行安装

bash install_ollama.sh

如下显示则为安装成功。

c.测试ollama服务安装情况

ollama ps

下载模型

天翼云镜像站也为常见镜像提供了加速能力，包括1.5B\7B\14B\70B\671B 等相关模型，可以通过如下手段体验其他模型，以14B 模型为例：

mkdir deepseek-r1-14b
cd deepseek-r1-14b
wget https://mirrors.ctyun.cn/ollama/models/deepseek-r1-14b/deepseek-r1-14b.gguf
wget https://mirrors.ctyun.cn/ollama/models/deepseek-r1-14b/ModelFile
ollama create deepseek-r1:14b -f ModelFile

如果你想体验其他模型，也可以直接通过ollama下载。

ollama pull deepseek-r1:14b

使用ollama运行模型
```
ollama run deepseek-r1:14b
```

通过web界面进行交互

a.安装open-webui

docker pull ghcr.io/open-webui/open-webui:main

b.启动容器

docker run -d --net=host -e PORT=3000 -e 
OLLAMA_BASE_URL=http://127.0.0.1:11434 -e
ENABLE_SIGNUP=true -e ENABLE_OPENAI_API=False -v open-webui:/app/backend/data --name
open-webui --restart always ghcr.io/open-webui/open-webui:main

后续请参考上文“快速体验DeepSeek——步骤二：使用deepseek模型”。

FAQ

盘不够了，我应该怎么办？

如果您在模型部署过程中发现云盘的容量不够，可以采取如下措施:

根据云硬盘扩容概述-云硬盘-用户指南-扩容云硬盘 - 天翼云对已有云盘进行扩容。
新建一块数据盘并挂载，相关操作见挂载云硬盘-云硬盘-快速入门 - 天翼云、初始化数据盘-弹性云主机-快速入门 - 天翼云。

如何修改ollama模型的存储位置？

在linux环境下，ollama默认模型存储目录是 /usr/share/ollama/.ollama/models/，我们建议您使用云硬盘独立挂载数据盘，将模型存储到数据盘中。模型存储位置是由环境变量控制的，我们需要修改ollama的环境变量重启服务才能修改存储目录，我们以 /data/ollama/models 目录为例：

打开 ollama.service 文件
```
vi /etc/systemd/system/ollama.service
```
注意
请确保 ollama 用户组中的 ollama 用户具备访问该目录的读写权限
新增相关环境变量

重启服务

systemctl daemon-reload
systemctl restart ollama

如何通过vllm部署模型？

建议使用天翼云提供的DeepSeek镜像，减少安装过程中可能遇到的问题。如您必须通过vllm部署模型，请参考如下步骤：

安装依赖包

# 安装pip
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python get-pip.py
# 修改pip镜像源，以清华源为例
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装依赖包
pip install modelscope==1.22.3
pip install openai==1.61.0
pip install tqdm==4.67.1
pip install transformers==4.48.2
pip install vllm==0.7.1
pip install jinja2==3.1.0

下载模型
为了方便，我们以较小的DeepSeek-R1-Distill-Qwen-1.5B为例（3.5G左右），将以下内容保存为 model_download.py 文件，参数 cache_dir 为模型的下载路径，您可以按需修改，需确保存储空间足够存放模型。
```
from modelscope import snapshot_download
model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B', cache_dir='/root/model-path', revision='master')
```

运行模型

完成下载后，即可使用 vllm 运行模型。

vllm serve
/root/model-path/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B   
--served-model-name DeepSeek-R1-Distill-Qwen-1.5B   
--max-model-len=2048 --api-key my-token --port=8000

注意

其中 --api-key 参数用于模型 api 调用时认证动作，可按需修改值。

使用WebUI访问模型
基于我们已经安装、配置好的 OpenWebUI页面，可以直接访问模型。
管理员设置中，配置OpenAI API访问地址，密钥就是上文中的 --api-key。
选择对应的模型，直接进行问答体验。
返回DeepSeek专题导航。

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

弹性云主机

弹性云主机

什么是DeepSeek

快速体验DeepSeek

步骤一：创建GPU云主机

进入创建云主机页面

进行基础配置

网络及高级配置

确认并支付

步骤二：使用DeepSeek模型

通过web界面进行模型交互

自定义部署DeepSeek

步骤一：规格选型

步骤二：云主机开通

步骤三：手动部署DeepSeek

安装ollama

下载模型

使用ollama运行模型

通过web界面进行交互

FAQ

盘不够了，我应该怎么办？

如何修改ollama模型的存储位置？

如何通过vllm部署模型？

活动

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

弹性云主机

弹性云主机

什么是DeepSeek

快速体验DeepSeek

步骤一：创建GPU云主机

进入创建云主机页面

进行基础配置

网络及高级配置

确认并支付

步骤二：使用DeepSeek模型

通过web界面进行模型交互

自定义部署DeepSeek

步骤一：规格选型

步骤二：云主机开通

步骤三：手动部署DeepSeek

安装ollama

下载模型

使用ollama运行模型

通过web界面进行交互

FAQ

盘不够了，我应该怎么办？

如何修改ollama模型的存储位置？

如何通过vllm部署模型？