1. 系统设计目标与约束边界
本调度系统的设计首先锚定三类核心目标：异构感知的全局资源视图、工作流驱动的协同调度能力、可解释的性能可预期性。与商业云计算不同，科研平台用户往往提交长期运行的大规模作业，且对作业起止时间、中间结果落盘位置有明确要求。因此，调度系统必须从“资源供给者”转变为“科研流程协同者”。
关键约束包括：
-
异构节点类型：至少包含CPU通用节点、GPU/NPU等智算加速节点、以及配备高带宽内存或FPGA的专用节点。
-
网络拓扑异构：计算节点间可能存在InfiniBand、RoCE或以太网混合组网，不同流量模式（集合通信 vs. 点对点）对链路容量需求差异显著。
-
存储层次分化：从突发缓存到并行文件系统，再到对象存储，数据驻留位置直接影响调度决策。
-
作业混合性：同时存在交互式调试、单卡训练、多节点MPI+AI混合并行、以及大规模离线批处理作业。
2. 总体架构：三层两总线模型
系统采用“三层两总线”逻辑架构，实现控制流与数据流的解耦。
第一层：异构资源接入层。该层为每个物理节点部署轻量级代理，负责上报实时状态——包括算力利用率、内存带宽占用、PCIe链路拥塞程度、以及加速器温度与功耗限制。代理同时接收下行指令，执行容器或进程级资源隔离（如CPU集合绑定、GPU MPS切分、内存NUMA亲和性设置）。此层屏蔽底层驱动差异，向上提供统一资源描述模型。
第二层：池化与抽象层。该层将接入的物理资源按“算力特征”而非“物理归属”重新组织。定义三类资源池：数值精度池（侧重双精度与张量核心混合）、通信敏捷池（侧重高速互联拓扑）、存储亲和池（侧重邻近大容量缓存）。每个作业申请时，不直接指定节点列表，而是描述其对三类池的容量与时长需求。池化层周期性执行资源碎片整理，通过动态迁移非关键进程，使连续大块资源可供大型作业使用。
第三层：协同调度决策层。这是系统的智慧中枢，负责接收用户作业描述（含计算图、数据依赖、时间约束），调用预测模块估算不同资源组合下的执行时间与能耗，最终输出调度方案。决策层内嵌工作流引擎，能够识别作业内阶段切换点，在阶段间隙主动调整资源配额——例如，训练阶段占用智算池，而数据处理阶段释放智算资源转而调度超算节点进行并行预处理。
两总线分别为控制总线（承载状态上报、指令下发、心跳检测）和数据总线（承载输入数据集、检查点、中间结果的按需传输）。数据总线具备带宽预调度能力，可在作业启动前异步将数据从远存储搬移至临近计算节点的本地缓存，从而隐藏数据加载延迟。
3. 异构资源池化机制
池化不是简单的资源归集，而是解决“异构性带来的非对称匹配”问题。本系统采用多维属性标签策略，每个资源单元被描述为属性向量：{浮点性能等级, 内存容量, 通信带宽等级, 能耗效率, 故障历史评分}。池化管理器维护一个动态属性索引树，支持范围查询和最近邻匹配。
针对智算加速器，池化层额外引入算力分时复用能力。科研场景中，单卡推理或小批量微调往往只占用加速器部分计算单元。系统允许将一张加速卡划分为多个计算实例，每个实例拥有独立的显存空间和计算配额，并通过硬件提供的空间隔离机制确保安全。超算节点则采用“核心轮转”池化，将CPU核心按缓存拓扑分组，避免跨片访问导致的性能抖动。
池化层必须处理资源退化问题。当某节点出现内存纠错码错误或温度过高触发降频时，池化管理器自动将其降权，并将运行中的作业迁移至健康节点，迁移过程采用预复制策略以缩短中断时间。整个池化状态以有向无环图形式固化，便于回溯调度决策依据。
4. 融合调度策略与算法设计
调度算法的核心矛盾在于：超算作业偏好“独占大块且拓扑连续”的资源，智算作业偏好“弹性伸缩且容忍波动”的资源，而混合作业则要求两者按时间比例交错。本系统提出 “双队列-动态水位” 调度框架。
维护两个逻辑队列：确定型队列（接纳超算和严格同步的混合并行作业）和敏捷型队列（接纳智算训练、参数调优等可中断作业）。两个队列共享同一物理资源池，但通过“水位线”动态调整各自可占用的上限比例。水位线并非固定，而是依据作业到达率、平均执行时间和用户约定的截止时间紧迫度，每小时滚动优化一次。
调度算法具体流程：
-
作业解析：将用户提交的脚本或工作流定义转化为中间表示，提取计算阶段、通信模式、内存峰值、允许的松弛时间。
-
资源预选：利用池化层的属性索引，筛选出满足最低要求的候选资源集合，并依据历史作业日志计算该集合的预测完成时间分布。
-
冲突消解：若多个作业争抢同一资源组，采用“最早截止时间优先+回填”混合策略。回填窗口内的小作业可插入大作业预留间隙，但必须保证大作业按时启动。
-
协同绑核：对于混合并行作业，调度器同时输出CPU进程与加速器内核的绑定映射，使跨节点通信路径经过尽量少的交换机跳数。该映射问题建模为图着色近似，在秒级内给出可行解。
特别地，系统提供“性能看门狗”机制：实际运行中若感知到通信延迟超出预期，调度器可触发动态重规划，将后续计算阶段重新调度至更优节点组合，而非固守初始分配。重规划决策采用保守阈值，防止频繁迁移带来的倒挂开销。
5. 关键支撑技术
5.1 可观测性与态势感知
调度系统依赖实时指标流，但采集粒度过细则影响计算性能。本系统采用自适应采样频率：节点空闲时每百毫秒采样，重负载时降至每秒采样，并利用指数加权移动平均过滤噪声。所有指标进入环形内存缓冲区，仅当触发异常时才持久化，最大程度减少对存储系统的扰动。
5.2 作业性能预测
预测模块基于历史执行记录，使用轻量级回归模型（非深度学习）估算不同资源配比下的运行时长。模型输入为作业特征（算子类型数量、通信字节数、迭代步数）和资源特征（节点类型、互联带宽、内存通道数）。预测误差控制在百分之十五以内，足以支撑调度决策的优劣排序，而非追求精确绝对值。
5.3 容错与检查点协同
科研作业运行数天乃至数周，硬件故障是常态。调度系统与底层检查点服务联动：在作业启动时，根据节点历史故障率自动设定检查点间隔；当调度器进行资源重分配时，通知检查点服务将最新状态落盘，并在新节点恢复。对于智算训练，系统利用框架原生保存机制，仅传输增量权重，减少恢复时间。
6. 评价与展望
本系统在某校级科研平台原型部署中，针对三个典型科研工作流（分子动力学+神经网络势、计算流体力学+湍流识别、基因组组装+变异过滤）进行测试。结果显示，相较传统分区独立调度，混合作业总完成时间缩短约三成，超算节点和智算节点的各自利用率均提升至百分之七十以上，同时资源等待时间显著下降。尤为重要的是，用户无需关心底层节点型号与拓扑，只需描述计算需求，调度系统自动完成异构匹配，降低了科研人员的使用门槛。
未来方向包括：引入更细粒度的能耗感知调度，在性能与功耗之间提供可调节策略；探索作业间数据重用缓存，避免重复数据加载；以及建立调度决策的可解释界面，使研究员能够理解资源分配依据，从而反向优化作业提交方式。融合型算力平台不仅是技术堆叠，更是科研方法论的转变——让算力像电力一样，无论来源是水电或光伏，用户只关心瓦数和稳定性，而调度系统正是那座无形的变电站。
