大模型推理服务中，Prefill（预填充）与 Decode（解码）两类计算负载在延迟敏感度和资源占用特征上存在本质差异，PD 分离架构通过将两类负载部署到独立副本组来提升吞吐与延迟表现。但真实业务流量下，最优 PD 配比随时间动态漂移，静态配比不可避免地造成资源浪费或服务等级目标（SLA）违约。NVIDIA Dynamo 项目在其 planner 组件中实现了一套完整的动态 PD 分离机制：以 ForwardPassMetrics（FPM）实时遥测与 Prometheus 流量指标为输入，通过在线性能回归模型估算 TTFT/ITL，采用"慢循环吞吐预测定下界、快循环负载响应做微调"的双循环决策，并辅以防震荡的缩容安全检查、插件化决策流水线与多级资源约束钳制，最终经 Kubernetes Operator 调和落地为 Prefill/Decode 副本数的动态调整。本文基于 Dynamo 源码（components/src/dynamo/planner/）与官方设计文档，剖析该机制的技术实现细节。

本文介绍Ray分布式计算框架原理和实践