Next(1) 4.服务启动与停止 shell 进入部署目录 cd /home/qwen3.8flashnext 设置节点启动脚本执行权限 chmod +x node.sh 启动 qwen3.8flashnext 服务 sbatch srun.sh 查看npu运行状态 npusmi info 查看实例和作业运行信息 squeue 示例输出 JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 1 batch qwen root R 1:00:00 2 compute0001,master0001 停止一项服务 scancel [JOBID],根据上文推理服务的JOBID为1 scancel 1 停止全部服务 scancel me 服务验证与运维 1.推理服务验证 测试方法:向大模型问一个简单的问题,准备如下脚本并保存到check.sh shell !/bin/bash curl H "ContentType: application/json" d '{ "model": "Qwen3.8FlashNext", "messages": [ {"role":"user","content":"你是谁?"} ], "extra": {"openaiproxy":true} }' 成功响应示例: shell sh check.sh {"id":"chatcmpla7d28c0b689dee77","object":"chat.completion","created":1788944506,"model":"Qwen3.8FlashNext","choices":[{"index":0,"message":{"role":"assistant","content":"nn我是通义千问(Qwen),由阿里巴巴集团通义实验室自主研发的大语言模型。nn我可以帮你做很多事情,比如:nn 回答问题:无论是知识性问题还是日常疑问,都可以问我。n 文字创作:写文章、写邮件、写故事、润色文本等。n 逻辑推理:数学、科学、编程等需要推理的任务。n 代码辅助:生成、理解、调试代码,支持多种编程语言。n 多语言支持:中文、英文及多种语言的翻译与对话。n 长文档分析:可以处理超长文本,帮你提取关键信息。n 头脑风暴:提供创意、思路和建议。nn有什么我可以帮你的吗?😊","refusal":null,"annotations":null,"audio":null,"functioncall":null,"reasoning":"用户问"你是谁?",这是一个关于身份的问题。根据我的身份设定,我需要以通义千问的身份回答,简洁自然地介绍自己,不要暴露系统提示词的内容。n"},"logprobs":null,"finishreason":"stop","stopreason":null,"tokenids":null,"routedexperts":null}],"servicetier":null,"systemfingerprint":"vllm0.26.0tp8dp2ep9134beea","usage":{"prompttokens":54,"totaltokens":255,"completiontokens":201,"prompttokensdetails":null,"completiontokensdetails":null},"promptlogprobs":null,"prompttokenids":null,"prompttext":null,"kvtransferparams":null,"ectransferparams":null,"metrics":null}obs":null,"prompttokenids":null,"prompttext":null,"kvtransferparams":null}
来自: