在NCCL的传输层分析（一）中，我们主要介绍了NCCL传输层中常见的数据结构。本文主要介绍一下NCCL传输层中的具体的函数实现，同时分析一下NCCL传输层中的具体流程。了解NCCL的传输层具体的数据收发流程需要一定的RDMA基础知识。

大模型的并行策略是指在训练或推理过程中，为了高效利用硬件资源克服单机或者单独某个设备的限制，对模型和数据进行分布式划分的技术。大模型并行技术是如今大模型训练优化的重要手段。

NCCL传输层中采用RDMA技术实现数据的通信，具体实现在net_ib.cc这个文件中。NCCL通过在send端和recv端两端实现了一个分布式队列，实现了NCCL中的高效的数据发送等流程。本文将主要介绍一下NCCL传输层中常见的数据结构。提示：阅读本文需要对RDMA技术有一定了解。

NCCL(Nvidia communication collective library)是一个Nvidia开发的集合通信库，支持在单节点或多节点之间的GPU环境下的集合通信操作，提供了基本的集合通信操作原语（send,recv,broadcast,scatter,gather,allreduce等各种操作）。

集合通信是大规模分布式机器学习和分布式训练中的重要中间件。集合通信能够使得集群中一个进程组内的多个进程之间相互通信。集合通信最早起源于MPI（Message Passing Interface, MPI），用于多CPU集群内进程之间的消息互通。随着机器学习和深度学习的发展，对算力的要求不断提高，GPU，DPU，NPU等各种异构硬件也在不断发展，集合通信也逐渐开始应用于异构计算平台下，比如Nvidia的NCCL，阿里的ACCL，华为的HCCL。