一、调度策略全景
常见的策略有九类。先来先服务，按提交顺序排队，实现简单，但混合负载下效率偏低。优先级调度，按任务重要程度排序，关键任务优先，代价是低优先级任务可能被长期推后。按份额分配的调度，给每个使用者或队列设定权重，按权重比例分配机会，保证谁都不会完全被饿死。组调度，把分布式任务的全部资源一次性凑齐再启动，要么全给要么不给，是分布式训练的底线要求。回填调度，大任务等待资源期间，让小任务先利用空隙跑起来，提升整体利用率。抢占式调度，高优先级任务到来时让低优先级任务让出资源。装箱策略，把任务尽量集中到少数节点，减少碎片；分散策略则相反，把任务摊开以降低单点故障的影响面。拓扑感知与通信亲和调度，按卡间互联结构与网络跳数安排任务位置，缩短通信路径。
此外，调度目标本身也可以选择：有的体系提供综合最优、性能最优、成本最优等编排目标，让使用者声明更看重哪一面，由系统在多个候选节点间权衡。
二、组调度：分布式训练的底线
分布式训练要求多个进程同时就绪。若调度只放出一小部分资源，先启动的进程会因等不到通信对手而空转，甚至触发通信初始化超时。因此必须支持"要么全部给、要么一个也不给"的组调度。
代价是资源碎片：一个大任务在等待凑齐资源的过程中，零散的空闲资源可能被小任务占住，反过来又延长了大任务的等待。缓解办法是把组调度与回填配合使用——大任务排队时，允许小任务在不影响大任务的前提下见缝插针，同时由调度器为大任务预留资源窗口。
三、抢占式怎么工作
抢占式的机制并不神秘：高优先级任务进入后，调度器从低优先级任务处回收资源。但"让位"的方式很有讲究。粗暴地终止进程会丢掉训练进度，甚至留下损坏的检查点；稳妥的做法是先发送退出信号，给任务一段保存检查点的时间，再释放资源。
设计上还要防止两个副作用。其一是饿死：高优先级任务源源不断，低优先级任务永远跑不完。通常的对策是给低优先级队列设置最小资源保障与最长等待时间，超时后禁止继续抢占。其二是活锁：抢占与重启反复发生，有效进度接近于零。对策是对抢占频率设上限，并对被抢占次数过多的任务临时提升优先级。
还有一个工程细节：进程终止后显存不会立刻归还，驱动层有一段回收时间。调度器需要配合监控确认资源真正空闲后再做分配，否则会出现"账上有、实际用不了"的假象。
抢占式适合在线推理、紧急迭代这类时延敏感且任务可中断的场景，代价是被抢占任务的进度损失，因此要求任务具备检查点与可重入能力。
四、按份额分配的调度怎么工作
这类策略的思路是：给每个队列或使用者设定权重，在一段时间内按权重比例分配调度机会。权重高的拿到更多机会，权重低的也不会完全拿不到。更精细的实现会按"主导资源"来衡量——不同任务消耗的瓶颈资源不同，有的吃算力，有的吃显存，按主导资源计算份额，能防止一个资源大户挤垮一批小任务。
它的优势是可预期：各团队拿到的份额大体稳定，适合多团队长期共享同一批资源的场景。代价是灵活性不足——某团队临时需要更多资源时，不能立刻从别人那里拿，只能等待自己的份额积累。此外，纯粹的份额分配可能降低整体利用率：资源按份额留着，却未必时刻被用满。
五、两者怎么选：六个判断维度
第一，任务能不能中断。能中断、有检查点的任务可以接受抢占；一旦中断就前功尽弃的任务应当走份额保障。
第二，时延敏感度。在线服务、紧急任务对等待时间极敏感，用抢占式更快；批量训练、离线任务更看重总量，用份额分配更稳。
第三，团队结构。多团队共享、彼此独立核算的场景，份额分配更容易服众；单一团队内部只有轻重缓急之分的场景，优先级加抢占更直接。
第四，集群规模。规模越大，抢占带来的收益越明显，但饿死与活锁的风险也越高，配套的保障机制必须跟上。
第五，任务画像。短任务占比高的集群，抢占配合回填能显著改善等待体验；长任务占比高的集群，频繁抢占会把有效进度消耗在反复重启上。
第六，合规与隔离要求。需要物理隔离或专属保障的业务，应当划入独立队列或专属资源，不参与抢占。
六、组合使用的实践配方
现实中很少只用一种策略，更常见的是分层组合。把队列按业务性质分层：在线服务队列优先级最高、可抢占；训练队列走组调度，保证资源一次性到位；实验性队列优先级最低，允许被抢占，且只使用空闲资源。给每个队列设最小保障资源与最大占用上限，既防止饿死，也防止单个队列膨胀。在队列内部启用回填，让短任务填补空隙。对通信密集的大任务启用拓扑感知，把进程安排在互联更紧密的位置。最后为高优先级任务保留少量预留资源，避免每次都要靠抢占才能插入。
配置完成后要做两件事验证：用历史任务回放一遍，看整体等待时间与完成时间是否改善；在生产环境观察两周，重点看低优先级任务有没有被长期推后、抢占次数是否集中在少数任务上。
结语
调度策略没有优劣，只有是否匹配负载画像。组调度守住分布式训练能不能跑起来的底线，回填与装箱解决利用率，抢占式换响应速度、代价是中断损失，按份额分配换可预期性、代价是灵活性。选型时按"能否中断、时延敏感度、团队结构、集群规模、任务画像、隔离要求"六问过一遍，再按分层组合的方式落地，同一批硬件往往能在不增加投入的前提下，拿出明显更好的使用体验。
