Pro(1) 3.1 模型文件获取 方式一:(极速)使用cthpc一键安装工具,分钟级快速下发模型,当前支持: 华东1、武汉41、上海15、华北2、华南2、北京9、西南1、长沙42、杭州7。 shell mkdir p /mnt/nvme1n1/model 使用 cthpc 工具极速下发 cthpc model makecache cthpc model install DeepSeekV4Prow4a8mtp dir /mnt/nvme1n1/model/ 方式二:(传统方式速度慢)基于modelscope、魔乐社区、huggingface平台,使用对应工具直接下载(不推荐,受限于公网EIP订阅的带宽大小) shell mkdir p /mnt/nvme1n1/model modelscope下载依赖python3.8+的环境,若缺失,则需要构建虚拟环境 pip install upgrade pip i pip install modelscope modelscope download model EcoTech/DeepSeekV4Prow4a8mtp localdir /mnt/nvme1n1/model/DeepSeekV4Prow4a8mtp 3.2 高性能容器SIF文件获取 基于Apptainer(原 Singularity) 封装的 vLLMAscend 昇腾推理加速包,高性能计算集群产品将持续迭代优化,原生适配昇腾 NPU 硬件、无权限壁垒、极致轻量化、生产级稳定,全面超越传统 Docker 容器,是昇腾 AI 推理场景的最优融合选择。 方式一:(极速)使用cthpc一键安装工具,秒级快速下发Apptainer高性能容器灌装,当前支持: 华东1、武汉41、上海15、华北2、华南2、北京9、西南1、长沙42、杭州7。 shell mkdir p /mnt/nvme0n1/apptainer 使用 cthpc 工具极速下发 cthpc apptainer makecache cthpc apptainer install vllmascenddeepseekv4 dir /mnt/nvme0n1/apptainer/ 方式二:(传统方式速度慢)通过天翼云zos站点直接下载(不推荐,受限于公网EIP订阅的带宽大小) shell mkdir p /mnt/nvme0n1/apptainer 使用 wget 从 天翼云ZOS 下载 SIF 镜像 wget
来自: