vLLM NPU多机PD分离 本节介绍如何创建vLLM NPU多机PD分离任务。 前置条件1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件,AI应用管理,队列管理,确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。操作步骤创建任务进入智算套件,AI应用列表,在线推理菜单,创建AI应用。基本信息应用类型:vLLM开启PD分离选择 静态PD分离配置信息推理类型选择多机,推理框架,框架版本,推理模型,模型版本,Prefill 实例数和副本数,Decode 实例数和副本数,根据实际情况选择。