2026年4月24日，DeepSeek V4-Pro和DeepSeek V4-Flash正式发布并开源，模型上下文处理长度由原有的128K显著扩展至1M，实现近10倍的容量提升，首次增加了KV Cache滑窗和压缩算法，大幅减少Attention计算和访存开销，并通过模型架构创新更好地支持了Agent和Coding场景。

2026年7月31日，DeepSeek V4-Flash 发布0731正式版。

资源要求

管理节点：1 台搭载昇腾 910B NPU 的节点（每节点 8 × 64GB 昇腾 910B，HBM2e 显存）。
计算节点：1 台搭载昇腾 910B NPU 的节点（每节点 8 × 64GB 昇腾 910B，HBM2e 显存）。(仅集群开通时需要）
共享存储：根据资源池选择 OceanFS 或 SFS Turbo，容量需满足启动日志及脚本需求（默认500GB）。
网络：节点间使用 RoCE 或高速以太网连接，管理节点绑定 EIP 用于公网访问，EIP 避免直接暴露在公网，具体可参照安全防护。

环境准备

1.集群开通

天翼云高性能计算集群（HCC）平台拥有基础版和大模型精简版两种集群版本，根据开通机器类型建议选择大模型精简版 ：

高性能计算集群（HCC）大模型精简版

功能定位：包含Slurm调度系统、Apptainer高性能容器，实现Deepseek服务一键启停。
开通步骤：
1. 登录天翼云控制台，进入“弹性高性能计算”产品页面，选择“高性能计算集群”，点击进入集群控制台。
2. 点击“创建集群”，在集群类型中选择“大模型精简版”。
3. 依次配置各项参数，包括计费模式、地域、可用区、集群名称、虚拟私有云、安全组、共享存储（ SFS 或 OceanFS）、管理节点和计算节点的对应规格、镜像、磁盘、子网、登录密码。（注：当前大模型精简版暂不支持无计算节点的集群创建，需至少配置1台计算节点）
4. 确认所有配置无误后，提交订单并完成集群创建，等待节点纳管完成，直至集群页面显示“可用”“配置完成”状态。
5. 点击已创建的集群，选择左侧“节点”栏，删除配置的计算节点，仅保留管理节点即可。

2.NVMe 磁盘挂载配置

昇腾910B物理机默认配备2×3.2T NVMe SSD，请格式化后用于存储模型文件，提升推理性能。

需将节点的nvme1n1和nvme0n1两块 NVMe 盘分别挂载至/mnt/nvme1n1和/mnt/nvme0n1目录。

可通过以下脚本实现自动化挂载及开机自动挂载的配置：

#!/bin/bash

# 设备列表
devices=("/dev/nvme0n1" "/dev/nvme1n1")
mount_points=("/mnt/nvme0n1" "/mnt/nvme1n1")
fs_type="xfs"

# 确保 root 权限
if [[ $EUID -ne 0 ]]; then
    echo "请使用 root 运行此脚本！"
    exit 1
fi

for i in "${!devices[@]}"; do
    device="${devices[$i]}"
    mount_point="${mount_points[$i]}"

    # 创建挂载目录
    mkdir -p "$mount_point"

    # 获取设备的文件系统类型
    current_fs=$(blkid -s TYPE -o value "$device")

    if [[ -z "$current_fs" ]]; then
        echo "设备 $device 没有文件系统，正在格式化为 $fs_type..."
        mkfs.xfs -f "$device"
    else
        echo "$device 已格式化为 $current_fs，跳过格式化"
    fi

    # 确保设备未被挂载后再尝试挂载
    umount "$device" 2>/dev/null
    mount -t "$fs_type" "$device" "$mount_point"

    if [[ $? -ne 0 ]]; then
        echo "错误：无法挂载 $device 到 $mount_point，请检查设备或文件系统！"
        exit 1
    fi

    echo "$device 已成功挂载到 $mount_point"

    # 获取 UUID 并更新 /etc/fstab，避免重复添加
    uuid=$(blkid -s UUID -o value "$device")
    if ! grep -q "$uuid" /etc/fstab; then
        echo "UUID=$uuid  $mount_point  $fs_type  defaults  0 0" >> /etc/fstab
        echo "$device (UUID=$uuid) 已添加到 /etc/fstab"
    else
        echo "$device 已存在于 /etc/fstab，无需添加"
    fi

done

echo "所有磁盘已成功挂载并配置为开机自动挂载！"

将以上脚本保存为mount.sh，并执行

bash mount.sh

本指南中部署将统一使用以下路径：

高速容器存储路径：/mnt/nvme0n1/apptainer/
服务部署工作路径：/mnt/nvme0n1/deepseek/
模型权重参数路径：/mnt/nvme1n1/model/

建议将权重参数放在单独的nvme盘中，启动加载时更快。

3.管理节点加入计算队列

Slurm 集群默认架构设计中，管理节点常规场景下不纳入计算调度队列。在大模型训推、高性能算力作业场景下，单靠原有计算节点资源难以满足大模型权重加载、容器运行、推理生成的高算力与大内存诉求。

为最大化挖掘整机集群资源利用率、扩充可用算力规模，需将管理节点从纯管理模式，纳入 Slurm 计算调度队列，使其同时承担集群管理 + 大模型算力计算双重角色，统一参与大模型相关作业调度与算力承载。

sed -i 's/^\s*noderole\s*=.*/NodeRole=server,execute/i' /usr/local/galaxy/cluster/default/galaxy-launcher/etc/launcher.conf

launcher resource setup_scheduler
# {"success": true, "result": null}

# master0001为管理节点hostname，按实际修改；batch是队列名，在计算节点下单页可自定义命名，建议用batch
launcher resource add_node --node_name master0001 --queue_name batch
# {"success": true, "result": null}

命令执行成功后，可通过sinfo命令查看计算队列节点：

# 查看计算队列节点
sinfo
# PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
# batch*       up   infinite     2   idle compute0001,master0001

如无其他模型部署，可按需释放计算节点compute0001。释放后：

# 查看计算队列节点
sinfo
# PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST
# batch*       up   infinite     1   idle master0001

物料准备

1.模型文件获取

方式一：（极速）使用cthpc一键安装工具，分钟级快速下发模型：

mkdir -p /mnt/nvme1n1/model
# 使用 cthpc 工具极速下发
cthpc model makecache
cthpc model install DeepSeek-V4-Flash-0731-w8a8 --dir /mnt/nvme1n1/model/

方式二：（传统方式速度慢）基于modelscope、魔乐社区、huggingface平台，使用对应工具直接下载（不推荐，受限于公网EIP订阅的带宽大小）

mkdir -p /mnt/nvme1n1/model

# modelscope下载依赖python3.8+的环境，若缺失，则需要构建虚拟环境
pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install modelscope
modelscope download --model Eco-Tech/DeepSeek-V4-Flash-0731-w8a8 --local_dir /mnt/nvme1n1/model/DeepSeek-V4-Flash-w8a8-mtp

2.高性能容器SIF文件获取

基于Apptainer（原 Singularity） 封装的 vLLM-Ascend 昇腾推理加速包，高性能计算集群产品将持续迭代优化，原生适配昇腾 NPU 硬件、无权限壁垒、极致轻量化、生产级稳定，全面超越传统 Docker 容器，是昇腾 AI 推理场景的最优融合选择。

方式一：（极速）使用cthpc一键安装工具，秒级快速下发apptainer高性能容器灌装：

mkdir -p /mnt/nvme0n1/apptainer
# 使用 cthpc 工具极速下发
cthpc apptainer makecache
cthpc apptainer install vllm-ascend_DeepSeekV4-flash-0731 --dir /mnt/nvme0n1/apptainer/

方式二：（传统方式速度慢）通过天翼云zos站点直接下载（不推荐，受限于公网EIP订阅的带宽大小）

mkdir -p /mnt/nvme0n1/apptainer
# 使用 wget 从 天翼云ZOS 下载 SIF 镜像
wget https://jiangsu-10.zos.ctyun.cn/galaxy/apptainer/vllm_ascend/vllm-ascend_DeepSeekV4-flash-0731.sif

镜像更新说明

华为会持续更新 vllm-ascend 包，优化推理性能与兼容性。更新时只需重新下载最新 SIF 镜像，替换旧文件即可，无需修改部署配置。

推理服务启停

1.创建部署目录

mkdir -p /home/deepseek
mkdir -p /home/deepseek/logs

2.准备启动脚本

将以下脚本保存至/home/deepseek/srun.sh

#!/bin/bash
#SBATCH -N 1
#SBATCH --partition=batch
#SBATCH -J deepseek
#SBATCH -o logs/log_%J.out
#SBATCH -e logs/log_%J.err
#SBATCH --gres=gpu:8
#SBATCH --exclusive

export LC_CTYPE=C.UTF-8

export MASTER_ADDR=$(scontrol show hostnames "$SLURM_JOB_NODELIST" | head -n 1 | hostname -i)

export MODEL_NAME=DeepSeek-V4
export MODEL_PORT=11025
export MODEL_DIR=/mnt/nvme1n1/model/DeepSeek-V4-Flash-0731-w8a8
export VLLM_IMG=/mnt/nvme0m1/apptainer/vllm-ascend_DeepSeekV4-flash-0731.sif

echo "模型推理服务API为：http://$MASTER_ADDR:$MODEL_PORT/v1"
echo "模型名称为：$MODEL_NAME"

srun --ntasks-per-node=1 \
     -o logs/log_%J.%t.out \
     -e logs/log_%J.%t.err \
     ./node.sh

3.准备节点部署脚本

将以下脚本保存至/home/deepseek/node.sh

#!/usr/bin/bash

nic_name="eno0"
local_ip=$(hostname -I | awk '{print $1}')
node0_ip=$MASTER_ADDR

export HCCL_IF_IP=$local_ip
export GLOO_SOCKET_IFNAME=$nic_name
export TP_SOCKET_IFNAME=$nic_name
export HCCL_SOCKET_IFNAME=$nic_name

export OMP_PROC_BIND=false
export OMP_NUM_THREADS=10
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True
export HCCL_BUFFSIZE=1024
export VLLM_ASCEND_APPLY_DSV4_PATCH=1
export VLLM_ASCEND_ENABLE_FLASHCOMM1=1
export TASK_QUEUE_ENABLE=1
export HCCL_OP_EXPANSION_MODE=AIV

export HCCL_IF_BASE_PORT=50000

apptainer instance start --no-home --writable-tmpfs \
        -B /usr/local/sbin:/usr/local/sbin \
        -B /usr/local/Ascend/driver:/usr/local/Ascend/driver \
        -B $MODEL_DIR:/model \
        $VLLM_IMG app-instance

apptainer exec instance://app-instance \
        vllm serve \
        /model \
        --served-model-name $MODEL_NAME \
        --host 0.0.0.0 \
        --port $MODEL_PORT \
        --data-parallel-size 2 \
        --tensor-parallel-size 4 \
        --quantization ascend \
        --enable-expert-parallel \
        --seed 1024 \
        --max-num-seqs 32 \
        --max-model-len 800000 \
        --max-num-batched-tokens 8192 \
        --gpu-memory-utilization 0.9 \
        --enable-prefix-caching \
        --async-scheduling \
        --tokenizer-mode deepseek_v4 \
        --tool-call-parser deepseek_v4 \
        --enable-auto-tool-choice \
        --reasoning-parser deepseek_v4 \
        --model-loader-extra-config='{"enable_multithread_load": true, "num_threads": 128}' \
        --block-size 128 \
        --speculative-config '{"method": "dspark", "num_speculative_tokens": 7, "enforce_eager": true}'  \
        --compilation-config '{"cudagraph_mode": "FULL_DECODE_ONLY"}' \
        --additional-config '{"ascend_compilation_config":{"enable_npugraph_ex":true,"enable_static_kernel":false},"enable_cpu_binding": "true","enable_dsa_cp": true,"
multistream_overlap_shared_expert":true}'

4.服务启动与停止

# 进入部署目录
cd /home/deepseek

# 设置节点启动脚本执行权限
chmod +x node.sh

# 启动 DeepSeek 服务
sbatch srun.sh

# 查看npu运行状态
npu-smi info

# 查看实例和作业运行信息
squeue
# 示例输出
# JOBID  PARTITION   NAME   USER   ST    TIME    NODES  NODELIST(REASON)
# 1     batch        deepseek   root    R   1:00:00    1   master0001

# 停止一项服务
# scancel [JOBID]，根据上文deepseek服务的JOBID为1
scancel 1

# 停止全部服务
scancel --me

服务验证与运维

1.推理服务验证

测试方法：向大模型问一个简单的问题，准备如下脚本并保存到check.sh

#!/bin/bash
curl http://localhost:11025/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
  "model": "DeepSeek-V4",
  "messages": [
    {"role":"user","content":"你是谁？"}
  ],
  "extra": {"openai_proxy":true}
}'

成功响应示例：

 sh check.sh 
# {"id":"chatcmpl-a79200f4718deff4","object":"chat.completion","created":1785750253,"model":"DeepSeek-V4-Flash","choices":[{"index":0,"message":{"role":"assistant","content":"你好呀！我是DeepSeek，由深度求索公司创造的AI助手。😊\n\n简单介绍一下自己：\n- **免费使用**：目前完全免费，没有任何收费计划\n- **强大能力**：支持100万token的上下文，可以一次处理三体三部曲那么长的内容\n- **多功能**：支持文件上传（图片、PDF、Word、Excel等），可以从中提取文字信息；支持联网搜索（需要手动开启）；App端还支持语音输入\n- **知识更新**：知识截止到2025年5月\n\n我的使命就是热情、细腻地帮助你解决各种问题，无论是学习、工作还是日常生活中的困惑，都可以问我！\n\n有什么我可以帮你的吗？尽管说，我会尽全力帮你解答！🌟","refusal":null,"annotations":null,"audio":null,"function_call":null,"reasoning":null},"logprobs":null,"finish_reason":"stop","stop_reason":null,"token_ids":null,"routed_experts":null}],"service_tier":null,"system_fingerprint":"vllm-0.25.1-tp4-dp2-ep-cbcfda65","usage":{"prompt_tokens":6,"total_tokens":162,"completion_tokens":156,"prompt_tokens_details":null},"prompt_logprobs":null,"prompt_token_ids":null,"prompt_text":null,"kv_transfer_params":null,"metrics":null}

2.推理日志查看

若服务异常，可通过日志排查问题：

# 查看作业输出日志
tail -f /home/deepseek/log/log_YYYY-MM-DD_HH-MM-SS.out
# 查看错误日志
tail -f /home/deepseek/log/log_YYYY-MM-DD_HH-MM-SS.err

注意事项

模型版本管理：建议对模型权重、SIF 镜像进行版本化管理，避免更新后无法回滚。
安全防护：生产环境建议配置安全组IP 白名单，减少公网暴露面，并通过天翼云 WAF 防护恶意攻击，推荐以下5种安全组网方案：
1. ELB+VPN
2. ELB+NAT 网关。
3. DDoS+WAF+ELB+NATGW+VPN。
4. DDoS+WAF+ELB+SDWAN。
5. DDoS+WAF+ELB+专线

附录

天翼云 HCC 产品文档：弹性高性能计算-产品文档-帮助中心 - 天翼云
DeepSeek-V4 模型下载地址：https://modelscope.cn/collections/deepseek-ai/DeepSeek-V4

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

弹性高性能计算 E-HPC

弹性高性能计算 E-HPC

资源要求

环境准备

1.集群开通

高性能计算集群（HCC）大模型精简版

2.NVMe 磁盘挂载配置

3.管理节点加入计算队列

物料准备

1.模型文件获取

2.高性能容器SIF文件获取

镜像更新说明

推理服务启停

1.创建部署目录

2.准备启动脚本

3.准备节点部署脚本

4.服务启动与停止

服务验证与运维

1.推理服务验证

2.推理日志查看

注意事项

附录

活动

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

弹性高性能计算 E-HPC

弹性高性能计算 E-HPC

资源要求

环境准备

1.集群开通

高性能计算集群（HCC） 大模型精简版

2.NVMe 磁盘挂载配置

3.管理节点加入计算队列

物料准备

1.模型文件获取

2.高性能容器SIF文件获取

镜像更新说明

推理服务启停

1.创建部署目录

2.准备启动脚本

3.准备节点部署脚本

4.服务启动与停止

服务验证与运维

1.推理服务验证

2.推理日志查看

注意事项

附录

高性能计算集群（HCC）大模型精简版