HCC大模型精简版运维指南(1) 通过HCC集群标准化交付,能够统一规范全链路部署路径架构,明确服务部署、高性能容器、模型权重三类核心资源的分区存储路径。依托本地多块 NVMe 硬盘实现资源物理隔离与性能最优配置,全面保障大模型推理服务快速部署、秒级启动与高效稳定运行。 HCC标准交付将统一采用如下部署路径: 服务部署工作路径:/home/[模型]/ 高性能容器存储路径:/mnt/nvme0n1/apptainer/ 模型权重参数路径:/mnt/nvme1n1/model/ 本文档以 DeepSeek 模型为例,统一设定服务部署工作路径为/home/deepseek。高性能容器与模型权重文件均存放于各物理机本地 NVMe 硬盘中,该类静态资源的读写性能,直接决定业务服务的拉起部署效率与启动加载速度。在实测中,高性能容器和模型权重分别放置在不同的NVMe硬盘中,性能最优。 注意 HCC集群采用共享目录架构,需重点监控/home目录存储容量。服务运行日志会持续增量写入。若该目录空间耗尽,将直接引发推理服务启动失败、接口响应超时等核心业务故障,需做好空间清理与容量管控。 部署路径文件说明 /home/deepseek 路径下核心文件/文件夹功能如下: 名称 类型 功能 srun.sh slurm启动脚本 模型推理服务启动脚本 node.sh shell脚本 模型推理服务核心配置脚本,包含单个计算节点实际环境变量、启动参数等关键配置 check.sh shell脚本 推理服务验证脚本,封装的curl命令,用于快速校验服务是否正常可用 vllmascendxxx.sif 软链接 指向推理框架实际文件(路径:/mnt/nvme0n1/apptainer/vllmascendxxx.sif),无需手动修改 logs 文件夹 存储模型推理服务运行日志,包含服务启动日志、推理请求日志、错误日志等,用于问题排查 kernelmeta 文件夹 存储vllmascend 框架运行时生成的算子缓存,属于vllmascend自动生成及维护,无需手动操作
来自: