使用910B部署GLM-5.3-Flash 4.服务启动与停止 shell 进入部署目录 cd /home/glm5.3flash 设置节点启动脚本执行权限 chmod +x node.sh 启动 glm5.3flash 服务 sbatch srun.sh 查看npu运行状态 npusmi info 查看实例和作业运行信息 squeue 示例输出 JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON) 1 batch glm root R 3:04:45 2 compute0001,master0001 停止一项服务 scancel [JOBID],根据上文推理服务的JOBID为1 scancel 1 停止全部服务 scancel me 服务验证与运维 1.推理服务验证 测试方法:向大模型问一个简单的问题,准备如下脚本并保存到check.sh shell !/bin/bash curl H "ContentType: application/json" d '{ "model": "GLM5.3Flash", "messages": [ {"role":"user","content":"你是谁?"} ], "extra": {"openaiproxy":true} }' 成功响应示例: shell sh check.sh {"id":"chatcmplaefb06e3efb39f04","object":"chat.completion","created":1788759860,"model":"GLM5.3Flashw8a8","choices":[{"index":0,"message":{"role":"assistant","content":"收到用户询问"你是谁?"这个问题。首先,我需要理解用户的意图。他们可能刚接触我,想了解我的基本功能,或者想确认我的能力范围。这时候,我应该以简洁明了的方式介绍自己,同时保持友好和开放的态度。nn接下来,我要考虑用户的身份。可能是普通用户,也可能是开发者或技术爱好者。如果是普通用户,可能需要更基础的解释;如果是开发者,可能对技术细节更感兴趣。但这个问题比较通用,所以最好提供一个平衡的回应,涵盖核心功能,并邀请用户进一步提问。nn另外,我需要确保回答符合安全准则,避免涉及敏感内容。同时,要避免使用复杂术语,保持语言自然流畅。可能还需要提到我的开发背景,比如基于GLM模型,但不要过于深入技术细节。nn然后,分析用户可能的深层需求。他们可能想知道我能做什么,或者如何与我互动。因此,在回答中应包括我的主要功能,如回答问题、提供信息、解决逻辑问题等,并鼓励用户提出具体问题,以便更好地协助他们。nn最后,确保回答结构清晰,信息全面,同时保持语气亲切。这样用户既能快速了解我的基本情况,又能感到被重视和支持。 我是Z.ai训练的GLM大语言模型,由智能的一气之下生成。我的设计目的是通过自然语言处理技术为用户提供信息和帮助。nn我基于海量文本数据训练,能够理解和生成人类语言,回答问题,提供信息并参与各类话题的讨论。不过我也有知识边界,不会存储你的个人数据。nn有什么我可以帮你解答的问题或者你想聊些什么话题呢?","refusal":null,"annotations":null,"audio":null,"functioncall":null,"reasoning":null},"logprobs":null,"finishreason":"stop","stopreason":154827,"tokenids":null,"routedexperts":null}],"servicetier":null,"systemfingerprint":"vllm0.23.0tp8dp2ep8587f2fe","usage":{"prompttokens":15,"totaltokens":340,"completiontokens":325,"prompttokensdetails":null,"completiontokensdetails":null},"promptlogprobs":null,"prompttokenids":null,"prompttext":null,"kvtransferparams":null}