昇腾 910B 物理机使用Galaxy镜像部署DeepSeek指南（多机版）
更新时间 2025-05-12 15:06:36
最近更新时间: 2025-05-12 15:06:36
为了充分发挥昇腾 910B 物理机的优势，满足企业级用户对于大规模并行计算和分布式存储的需求，我们特此编写了这份基于物理机Galaxy镜像和CTyunOS操作系统的昇腾910B多机部署指南。本指南旨在为用户提供一个从环境准备到服务管理的全面解决方案，帮助用户便捷快速的搭建起稳定、高效地AI计算集群。
一、环境准备
1.1 前置条件
- 建议通过弹性高性能计算入口（弹性高性能计算）开通多台昇腾910B物理机集群（集群配置--管理节点--队列与计算节点--确认配置）
- 管理节点使用CTyunOS-23.01.2@GalaxyMaster-NPU24.1.0.3镜像的昇腾910B物理机（绑定EIP）
- 所有计算节点使用CTyunOS-23.01.2@GalaxyCompute-NPU24.1.0.3镜像的昇腾910B物理机
- 使用共享存储：官网控制台海量文件服务OceanFS（海量文件服务 OceanFS） 或弹性文件服务SFS Turbo（弹性文件服务 SFS）
1.2 本地NVME分区
将节点的nvme1n1和nvme0n1两块NVME盘分别挂载在/mnt/nvme1n1和/mnt/nvme0n1上。
#!/bin/bash
# 设备列表
devices=("/dev/nvme0n1" "/dev/nvme1n1")
mount_points=("/mnt/nvme0n1" "/mnt/nvme1n1")
fs_type="xfs"
# 确保 root 权限
if [[ $EUID -ne 0 ]]; then
echo "请使用 root 运行此脚本！"
exit 1
fi
for i in "${!devices[@]}"; do
device="${devices[$i]}"
mount_point="${mount_points[$i]}"
# 创建挂载目录
mkdir -p "$mount_point"
# 获取设备的文件系统类型
current_fs=$(blkid -s TYPE -o value "$device")
if [[ -z "$current_fs" ]]; then
echo "设备 $device 没有文件系统，正在格式化为 $fs_type..."
mkfs.xfs -f "$device"
else
echo "$device 已格式化为 $current_fs，跳过格式化"
fi
# 确保设备未被挂载后再尝试挂载
umount "$device" 2>/dev/null
mount -t "$fs_type" "$device" "$mount_point"
if [[ $? -ne 0 ]]; then
echo "错误：无法挂载 $device 到 $mount_point，请检查设备或文件系统！"
exit 1
fi
echo "$device 已成功挂载到 $mount_point"
# 获取 UUID 并更新 /etc/fstab，避免重复添加
uuid=$(blkid -s UUID -o value "$device")
if ! grep -q "$uuid" /etc/fstab; then
echo "UUID=$uuid $mount_point $fs_type defaults 0 0" >> /etc/fstab
echo "$device (UUID=$uuid) 已添加到 /etc/fstab"
else
echo "$device 已存在于 /etc/fstab，无需添加"
fi
done
echo "所有磁盘已成功挂载并配置为开机自动挂载！"
如下可查看磁盘分区情况：
$ lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
loop0 7:0 0 4.2G 1 loop
sda 8:0 0 446.6G 0 disk
├─sda1 8:1 0 122M 0 part
├─sda2 8:2 0 976.6M 0 part /boot/efi
├─sda3 8:3 0 1.9G 0 part /boot
└─sda4 8:4 0 443.6G 0 part
├─system-lv_swap 253:0 0 16G 0 lvm [SWAP]
└─system-lv_root 253:1 0 427.6G 0 lvm /
nvme1n1 259:0 0 2.9T 0 disk
└─nvme1n1p1 259:4 0 2.9T 0 part /mnt/nvme1n1
nvme0n1 259:1 0 2.9T 0 disk
└─nvme0n1p1 259:3 0 2.9T 0 part /mnt/nvme0n1
根据galaxy集群启动后，/home和/opt目录为各节点共享目录：
$ df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 4.0M 0 4.0M 0% /dev
tmpfs 756G 419M 755G 1% /dev/shm
tmpfs 303G 1.8G 301G 1% /run
tmpfs 4.0M 0 4.0M 0% /sys/fs/cgroup
/dev/mapper/system-lv_root 428G 20G 408G 5% /
tmpfs 756G 200K 756G 1% /tmp
/dev/sda3 1.9G 148M 1.7G 9% /boot
/dev/sda2 975M 6.4M 969M 1% /boot/efi
tmpfs 152G 0 152G 0% /run/user/0
/dev/nvme0n1p1 3.0T 21G 2.9T 1% /mnt/nvme0n1
/dev/nvme1n1p1 3.0T 654G 2.3T 22% /mnt/nvme1n1
master001:/data/nfs/home 428G 20G 408G 5% /home
master001:/data/nfs/opt 428G 20G 408G 5% /opt
注意上面举例使用master001作NFS服务的效果，这里也可以按需使用OceanFS来做共享存储。
本指南部署，会把模型和mindie容器镜像存入每个节点的/mnt/nvme1n1目录，并使用home目录进行服务启动，home目录将仅存放日志文件，非常轻量化。
1.3 下载脚本
下载脚本包并解压在home目录。
$ cd /home
$ wget https://jiangsu-10.zos.ctyun.cn/galaxy/deployment/deepseek-hw-nnode-v20250331.tar
--2025-03-31 10:14:14-- https://jiangsu-10.zos.ctyun.cn/galaxy/deployment/deepseek-hw-nnode-v20250331.tar
Resolving jiangsu-10.zos.ctyun.cn (jiangsu-10.zos.ctyun.cn)... 117.88.33.209, 117.88.33.247, 218.91.113.207
Connecting to jiangsu-10.zos.ctyun.cn (jiangsu-10.zos.ctyun.cn)|117.88.33.209|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 20480 (20K) [application/x-tar]
Saving to: 'deepseek-hw-nnode-v20250331.tar'
100%[===================================================================================================================================>] 20,480 --.-K/s in 0.007s
2025-03-31 10:14:14 (2.74 MB/s) - 'deepseek-hw-nnode-v20250331.tar' saved [20480/20480]
$ tar xvf deepseek-hw-nnode-v20250331.tar
$ ls -l
total 20
drwxr-xr-x 7 root root 238 Mar 31 09:51 deepseek
-rw-r--r-- 1 root root 20480 Mar 31 10:05 deepseek-hw-nnode-v20250331.tar
1.4 下载MindIE
将MindIE容器放在每个节点的/mnt/nvme1n1盘下：
mkdir -p /mnt/nvme1n1/apptainer/
cd /mnt/nvme1n1/apptainer/
wget https://jiangsu-10.zos.ctyun.cn/galaxy/apptainer/mindie/mindie_2.0.T6.B023-800I-A2-py3.11-openeuler24.03-lts-aarch64.sif
ls -l /mnt/nvme1n1/apptainer/
下载完成后，在/home/deepseek目录下做一个软链接：
cd /home/deepseek
ln -s /mnt/nvme1n1/apptainer/mindie_2.0.T6.B023-800I-A2-py3.11-openeuler24.03-lts-aarch64.sif .
1.5 下载模型文件
将模型文件下载并保存在每个节点的/mnt/nvme1n1/model/ 目录下，这里以量化版DeepSeek-R1-bf16-hfd-w8a8模型举例：
ls -l /mnt/nvme1n1/model/DeepSeek-R1-bf16-hfd-w8a8/
total 658940180
-rwxr-x--- 1 root root 1791 Mar 19 15:46 config.json
-rwxr-x--- 1 root root 10556 Mar 19 15:46 configuration_deepseek.py
-rwxr-x--- 1 root root 15229 Mar 19 15:46 md5sum.txt
-rwxr-x--- 1 root root 9923927 Mar 19 15:46 quant_model_description_w8a8_dynamic.json
-rwxr-x--- 1 root root 4300743184 Mar 19 15:47 quant_model_weight_w8a8_dynamic-00001-of-00157.safetensors
...
-rwxr-x--- 1 root root 16470256 Mar 19 15:46 quant_model_weight_w8a8_dynamic.index.json
-rwxr-x--- 1 root root 6038 Mar 19 15:46 README.md
-rwxr-x--- 1 root root 3584 Mar 19 15:55 tokenizer_config.json
-rwxr-x--- 1 root root 7847602 Mar 19 15:55 tokenizer.json
注意所有文件的访问权限设置为750。
二、服务管理
2.1 服务配置
根据节点数量修改 srun_clean.sh 和 srun_deepseek.sh：
#!/bin/bash
#SBATCH -N 2
...
如果是4台，需修改-N后面的数值为4。
根据具体使用的模型，修改node.sh 中的内容：
export MODEL_DIR=/mnt/nvme1n1/model/DeepSeek-R1-bf16-hfd-w8a8
export MINDIE_IMG=mindie_2.0.T6.B023-800I-A2-py3.11-openeuler24.03-lts-aarch64.sif
其中:
- MODEL_DIR 为模型在每个节点的本地盘中的具体路径（必须位置统一）
- MINDIE_IMG为使用的MindIE容器
2.2 DeepSeek服务启动
仅需如下3条命令，即可启动服务（根据模型大小，启动服务需等待5-30分钟不等）：
cd /home/deepseek
sbatch srun_clean.sh
sbatch srun_deepseek.sh
查看log目录下的out文件，当出现如下信息时，服务启动成功：
$ more deepseek.33.out
Loading cthpc_910b/1.0.0/mpich-3.2.1
Loading requirement: mpich/3.2.1/gcc-10.3.1
Service Address: http://192.168.0.34:1025/v1
Config updated successfully. Output file: json/config.33.json
Start to parse ranktable file
Finished parsing ranktable file.
Update worldSize and npuDeviceIds of backend config successfully for Multi Nodes Inference.
Start to parse ranktable file
Finished parsing ranktable file.
Update worldSize and npuDeviceIds of backend config successfully for Multi Nodes Inference.
Warning: path /configs/mki_cfg.ini does not exist
...
Multi Nodes infer slave instance need not init TokenizerProcessPool and HttpWrapper
Daemon start success!
Daemon start success!
注意DeepSeek主节点，根据调度节点自动生成，这里log显示为192.168.0.34。
进行检测，给DeepSeek提个问题：
$ curl -i --location 'http://192.168.0.34:1025/v1/chat/completions' --header 'Content-Type: application/json' --data '{ "model": "DeepSeek-R1", "stream": false, "messages": [ {"role": "user", "content": "你是谁"} ] }'
HTTP/1.1 200 OK
Connection: close
Content-Length: 625
Content-Type: application/json
Keep-Alive: timeout=180, max=2147483647
{"id":"endpoint_common_132","object":"chat.completion","created":1743387462,"model":"DeepSeek-R1","choices":[{"index":0,"message":{"role":"assistant","tool_calls":null,"content":"<think>\n\n</think>\n\n您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1。如您有任何任何问题，我会尽我所能为您提供帮助。"},"finish_reason":"stop"}],"usage":{"prompt_tokens":4,"completion_tokens":42,"total_tokens":46},"prefill_time":136,"decode_time_arr":[125,74,74,74,76,73,75,73,75,74,75,75,74,74,73,74,74,74,74,74,75,74,74,74,74,74,74,74,77,75,76,75,74,74,74,74,74,75,74,73,82]}
2.3 查看DeepSeek状态
可通过slurm命令squeue，查看作业运行信息：
$ squeue
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
7 batch deepseek root R 5:13:46 2 compute001,master001
注意可在/home/deepseek/log_ds目录中查看当前作业的日志文件。
2.4 DeepSeek服务停止
仅需一条命令即可停止deepseek服务：
scancel --me
