一、分布式超参数搜索的架构模式

1. 从串行网格到并行智能搜索

传统的超参数搜索方式是网格搜索：人工预设每个超参数的候选值集合，遍历所有组合逐一评估。当超参数数量为 n，每个参数有 m 个候选值时，组合数为 m^n——仅 5 个参数、各 5 个候选值，就需要评估 3125 组。在大模型训练场景中，这是不可接受的。

贝叶斯优化将超参数搜索建模为一个代理模型逐步逼近目标函数的过程。它根据历史评估结果，智能地选择下一组最值得尝试的超参数组合，用远少于网格搜索的评估次数找到接近最优的解。这与分布式调优框架的调度器天然契合——搜索算法负责"决策下一组尝试什么"，调度器负责"将每组尝试分发到可用的 GPU 节点上"。

2. 搜索任务的 DAG 编排

自动化超参数搜索并非"同时启动 N 个训练任务"这么简单。一个完整的搜索工作流包含以下环节：

• 搜索空间定义：声明超参数的名称、类型（连续值、离散值、类别值）和取值范围；

• 采样阶段：搜索算法根据历史记录采样下一组候选超参数；

• 训练评估阶段：每组超参数启动一个训练任务，运行至指定步数后输出评估指标；

• 早停判断：对表现明显较差的中间结果，提前终止以释放 GPU 资源；

• 结果汇总：所有评估完成后，输出最优超参数组合及对应的指标曲线。

这些环节构成一个有向无环图（DAG），需要编排引擎负责环节之间的状态传递与失败重试。

3. 异步并行与同步并行的取舍

在分布式超参数搜索中，评估任务之间存在两种调度模式：

同步并行：每轮同时启动 K 个评估任务，等待全部完成后再由搜索算法计算下一轮候选参数。实现简单，但木桶效应明显——最慢的那个任务决定了整个搜索的迭代速度。

异步并行：搜索算法持续根据已完成评估的结果生成新的候选参数，评估任务以流式方式提交到集群。GPU 利用率更高，但搜索算法需要对"非完整信息下的决策"有良好的鲁棒性——部分评估结果尚未返回时，基于当前已有结果做推断。

在大模型训练场景中，单次评估耗时长、各任务之间差异大，异步并行是更优的选择。

二、搜索算法的工程适配

1. 贝叶斯优化的代理模型选择

贝叶斯优化的核心是代理模型——一个能够根据有限观测值、快速估计超参数空间中任意点的目标函数值的模型。常用的代理模型包括：

• 高斯过程：经典选择，能够自然输出预测不确定性（这对于搜索中的探索-利用权衡至关重要）。缺点是计算复杂度随观测数据量呈立方增长，在处理数百组以上的历史评估时可能成为瓶颈。

• 树结构 Parzen 估计器（TPE）：将观测结果按表现优劣分为两组，分别建模两组超参数分布的概率密度，选择"更可能是好参数"的位置进行下一次评估。TPE 的计算效率优于高斯过程，且天然支持类别型超参数。

• 随机森林代理：使用随机森林回归替代高斯过程，在大规模超参数搜索中计算效率最高，但预测不确定性的估计不如前两者精确。

对于大模型训练的超参数搜索（评估次数通常在 50-200 组之间），TPE 在效率与精度之间取得了较好的均衡。

2. 多目标优化的处理

实际场景中往往需要同时优化多个指标：模型困惑度要低、推理延迟要小、训练耗时不能过长。多目标优化将多个指标整合为一个帕累托前沿——在某个指标上想要更好，就必须在其他指标上做出妥协。

分布式调优框架通常支持定义多个优化目标及各自的权重。搜索算法返回的不是单一的最优解，而是一组帕累托最优解，由训练工程师根据业务需求在其中做出最终选择。

3. 早停机制的触发策略

早停是超参数搜索中节省 GPU 资源的关键机制。当某个超参数组合的训练曲线明显低于当前最优曲线时，提前终止该评估任务。早停的触发策略需要均衡灵敏度与稳定性：

• 中位数剪枝：每隔固定步数，将当前所有运行中任务的评估指标中位数作为阈值，低于阈值的任务被终止。规则简单，但在搜索初期因为样本量不足而容易出现误杀。

• 曲线外推：利用前期的指标变化曲线外推收敛值，若外推结果低于当前最优值则终止。精度更高，但外推模型本身存在预测偏差。

• 异步超带（ASHA）：结合连续减半与异步并行的思想，在每个减半轮次只保留表现最好的前 1/η 个任务，自动淘汰弱者。ASHA 在大规模搜索中表现出色，是当前分布式调优框架的默认早停策略。

三、与息壤集群的作业编排集成

1. 计算资源的需求建模

超参数搜索中的每个评估任务都需要 GPU 资源——可能在单卡上运行数小时，也可能在多卡上运行数天。息壤集群的作业调度器需要感知搜索任务与常规训练任务的差异：

• 搜索中的评估任务通常比正式训练短（可能仅运行完整训练的 1/5-1/3 步数）；

• 单个评估任务的优先级低于正式训练任务，但搜索工作流整体的优先级可能需要提升以规避被无限期排队；

• 评估任务之间存在天然的并行性，可以充分利用集群中的碎片化 GPU 资源。

2. 与集群调度器的接口设计

分布式调优框架与息壤集群的集成通过以下接口完成：

• 任务提交接口：将采样得到的超参数组合封装为集群作业描述，提交到调度队列。作业描述中包含资源需求（GPU 数量、内存、运行时间上限）和超参数注入方式（命令行参数或环境变量）。

• 状态同步接口：集群调度器将作业状态（排队中、运行中、完成、失败）和中间指标（每 N 步的验证集损失）回传给搜索框架。搜索框架据此更新代理模型、触发早停判断或提交新任务。

• 资源借用与抢占：搜索任务可以配置为"可抢占"——当正式训练任务需要资源时，搜索中的评估任务可以被挂起或终止。搜索框架需要处理这种"非正常退出"——将被抢占任务的超参数标记为"未完成"，在后续采样中重新考虑。

3. 搜索结果的持久化与复用

一次超参数搜索可能跨越数天，产生数百组评估记录。这些记录需要持久化存储，供后续分析和新任务的初始化参考：

• 搜索状态快照：代理模型的完整状态（包含所有观测数据）定期写入存储，确保搜索框架重启后可以从断点继续，而非从头开始；

• 结果可视化：将超参数重要性排行、参数之间的交互效应图、优化轨迹等以图形化方式呈现，帮助工程师理解模型行为；

• 知识复用：历史搜索记录可初始化新搜索的代理模型——在相似的任务上，先前的调优经验可以显著减少新搜索所需的评估次数。

自动化超参数搜索本质上是一个"用计算换洞察"的过程——通过智能采样和并行评估，在有限的时间和 GPU 预算内逼近更优的模型配置。将分布式调优框架与息壤集群的作业编排深度集成，能够将研究员从枯燥的调参工作中解放出来，将算力资源真正用于模型性能的提升而非低效的穷举尝试。