0813(1) 4.服务启动与停止 shell 进入部署目录 cd /home/deepseek 设置节点启动脚本执行权限 chmod +x node.sh 启动 DeepSeek 服务 sbatch srun.sh 查看npu运行状态 npusmi info 查看实例和作业运行信息 squeue 示例输出 JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 1 batch deepseek root R 3:04:45 4 compute[00010003],master0001 停止一项服务 scancel [JOBID],根据上文deepseek服务的JOBID为1 scancel 1 停止全部服务 scancel me 服务验证与运维 1.推理服务验证 测试方法:向大模型问一个简单的问题,准备如下脚本并保存到check.sh shell !/bin/bash curl H "ContentType: application/json" d '{ "model": "DeepSeekV4", "messages": [ {"role":"user","content":"你是谁?"} ], "extra": {"openaiproxy":true} }' 成功响应示例: shell sh check.sh {"id":"chatcmplae5b75da7055936f","object":"chat.completion","created":1788744795,"model":"DeepSeekV4Pro0813w4a8","choices":[{"index":0,"message":{"role":"assistant","content":"你好!我是 DeepSeek,由深度求索公司创造的 AI 助手。我可以回答问题、提供解释、帮助写作、编程、学习等。有什么我可以帮你的吗?","refusal":null,"annotations":null,"audio":null,"functioncall":null,"reasoning":"我们需要回答用户中文“你是谁?”这是一个简单的自我介绍。需要知道我是谁,通常回答是DeepSeek Chat模型,由深度求索公司创造。用户用中文问,应该用中文回答。需要简洁介绍身份和功能。可能包括:我是DeepSeek最新版模型,可以回答问题、处理文本、支持文件上传等。注意不要透露不属于公开的信息?但身份是公开的。可以回答:“你好!我是DeepSeek,由深度求索公司创造的AI助手。我可以帮你解答问题、写作、编程、学习等,有什么我可以帮你的吗?” 需要友好。可能用户期望了解模型名称。注意系统提示没有特殊限制。可以回答。"},"logprobs":null,"finishreason":"stop","stopreason":null,"tokenids":null,"routedexperts":null}],"servicetier":null,"systemfingerprint":"vllm0.26.0tp8dp4ep12269704","usage":{"prompttokens":85,"totaltokens":266,"completiontokens":181,"prompttokensdetails":null,"completiontokensdetails":null},"promptlogprobs":null,"prompttokenids":null,"prompttext":null,"kvtransferparams":null,"ectransferparams":null,"metrics":null}
来自: