一、GPU 利用率 Trace：从瞬时快照到时间序列

1. 利用率指标的粒度问题

GPU 利用率通常以百分比呈现，但这个数字掩盖了大量细节。以一秒为周期的采样中，GPU 可能在 300ms 内满负荷计算，剩余 700ms 空闲等待主机端的数据传输——采样窗口内的利用率中位数约为 30%，但无法反映"计算密集但间歇等待"的真实状态。

更精细的指标来自 GPU 计算接口的分析层。现代 GPU 驱动暴露了一系列硬件性能计数器，可以按 SM（流式多处理器）单元采集活动状态、显存带宽利用率、PCIe 传输活跃度等指标。将这些指标以时间序列的形式采集并按秒级或亚秒级粒度展示，就构成了 GPU 利用率 Trace。

2. Trace 的采集与存储

采集 GPU 性能计数器需要在采样精度与采集开销之间取舍。对每个 SM 单元每秒采样 100 次的细粒度监控会产生可观的数据量。在数百卡的集群中，全量采集的存储压力不容忽视。

实用的策略是分级采集：

• 日常监控层：以每分钟为粒度采集基础利用率指标，用于趋势分析和容量规划；

• 趋势分析层：在利用率异常或用户提交排查请求时，切换到秒级细粒度采集，持续 15-30 分钟；

• 任务回溯层：每个训练任务启动和结束时各采集一次完整快照，保留任务的 GPU 资源占用总量和时长分布。

3. Trace 的可视化呈现

GPU Trace 的可视化通常采用时间轴折线图或堆叠面积图。折线图适合展示单一指标（如 SM 利用率）的变化趋势，堆叠面积图适合展示多个子指标的构成（如将 SM 利用率分解为计算、显存读写、空闲三部分）。

一个实用的 Trace 面板应支持：时间范围的缩放与拖拽（从数分钟缩放到数小时）、多个 GPU 的并排对比（不同 GPU 在同一任务中的任务分布一目了然）、异常区间的自动标注（利用率突然下降或波动异常的区间高亮显示）。

二、作业甘特图：任务级的时间线可视化

1. 甘特图在算力管理中的应用

甘特图以横轴表示时间、纵轴列出资源（GPU 节点或整卡），每个矩形条表示一个任务在该资源上的运行区间。它最初用于项目管理，但在算力集群中，甘特图是诊断调度问题的利器。

通过甘特图可以直观发现：

• 调度延迟：某任务提交后长时间处于排队状态（矩形条的左端远晚于提交时间），说明调度策略或资源配额存在问题；

• 资源碎片：图中出现大量小而短的矩形条交替排列，说明短任务频繁抢占资源，大任务难以获得连续的执行窗口；

• 任务分布失衡：某些 GPU 节点上矩形条密集堆积，而其他节点大量空白——调度器的节点选择策略可能需要优化。

2. 大规模集群中的甘特图渲染

当节点数量达到数百个、任务数量达到数万个时，甘特图的渲染面临性能瓶颈。传统的绘制方式需要遍历全部矩形条，缩放和拖拽操作的帧率随数据量线性下降。

解决思路包括：

• 视口裁剪：仅绘制当前可视区域内的矩形条，超出视口的部分不参与渲染管线；

• 层级聚合：在缩小的视图下，将相邻时间段内的多个任务聚合为一个矩形条，放大后再展开显示细节；

• 渐进式渲染：首次仅渲染任务总量的一小部分，在动画帧的空闲时间持续补充剩余数据，保证交互流畅度。

3. 甘特图与调度决策的联动

甘特图不只是"事后回顾"工具。当它与调度器的实时状态对接后，可以在调度决策前进行预演——对于待调度的任务，模拟它在当前集群状态下的甘特图位置，评估是否会引起更优先任务的延迟。这种预测性甘特图可以指导调度器做出更合理的资源分配决策。

三、性能火焰图：从宏观到微观的瓶颈定位

1. 火焰图的原理

火焰图最初用于 CPU 性能分析，其核心思想是将调用栈的采样结果以颜色块堆叠展示——X 轴表示采样占比（宽度越宽表示该函数占用的 CPU 时间越多），Y 轴表示调用深度（从底部的入口函数到顶部的叶子函数）。

在 GPU 任务分析中，火焰图被扩展到描述 GPU 算子的执行时间分布。矩形的宽度对应某个 GPU 算子（如矩阵乘法、注意力计算、归一化）在整个训练步骤中占用的 GPU 执行时间比例。一眼望去，最宽的那个矩形就是当前步骤的计算瓶颈。

2. GPU 火焰图的采集挑战

GPU 火焰图的生成依赖 GPU 计算接口提供的追踪能力——在 GPU 函数调用的边界插入标记事件，记录每个算子的开始和结束时间戳。采集的挑战主要体现在两个方面：

采集精度。GPU 函数调用的执行是异步的——调用返回不代表计算完成。时间戳必须在 GPU 侧采集（而非 CPU 侧），才能反映真实的算子执行时长。这在技术上需要利用 GPU 的时间戳查询接口，在 GPU 命令流中嵌入时间戳标记。

采集开销。每个算子都插入时间戳标记会产生一定的运行时开销。对于包含数万个细小算子的计算图，全量追踪可能导致训练速度下降 10%-20%。实践中通常采用采样追踪——随机抽取 10% 的迭代步数进行详细追踪，其余步数仅记录总体耗时。

3. 火焰图的交互式分析

一张静态火焰图可以看到"最宽的矩形在哪里"，但交互式火焰图能做更多：

• 搜索与过滤：按算子名称搜索，高亮显示该算子在调用栈中的所有出现位置；

• 差异火焰图：将两次实验的火焰图叠加对比，用红色表示耗时增加、蓝色表示耗时减少，快速定位优化效果；

• 下钻分析：点击某个矩形块，展开查看该算子的子调用分布，定位到具体的底层操作。

四、三种视图的集成方案

Trace、甘特图和火焰图各自回答了不同粒度的问题，但真正有价值的洞察往往产生于三者之间的关联：

在甘特图中发现某个任务的执行时间异常长，点击任务条钻取到该任务的 GPU Trace，发现利用率在某个时间点突然下降；从 Trace 中圈出利用率下降的时间区间，下钻到该区间的火焰图，定位到是哪个算子触发了瓶颈；将算子瓶颈信息反馈给调度器，标记"该用户的此类任务需要更多显存"或"需要排除包含该算子的 GPU 节点"。

实现这种关联的技术基础是统一的元数据标注——每个 Trace 点、甘特图的任务条、火焰图的采样区间都携带相同维度的标签（任务 ID、节点 ID、时间范围）。查询引擎通过标签关联实现跨视图的数据跳转。

可视化不是为了画图，是为了回答"发生了什么"。GPU Trace 回答"资源利用的实时状态"，甘特图回答"任务的时空分布"，火焰图回答"瓶颈在哪个算子"。三种视图的有机集成，让集群管理员、训练工程师和模型研发者能够用同一套数据工具，从各自的角度高效定位问题。这比任何一张孤立的高分辨率图表都更有工程价值。