安装、升级与使用CTCCL库 5.确认是否替换成功 在训练日志中,看到日志输出对应的ctccl信息。 如:CTCCL version 0. .0(nccl2.19.4)+cuda12.2 CTCCL版本升级 对于已安装NCCL或CTCCL旧版本的情况,若要安装CTCCL新版本,请确保已停止该环境所有的训练任务,升级方式和安装方法相同。 CTCCL测试 在NVIDIA平台上,可以使用NCCLTest工具测试CTCCL的性能。 测试代码下载路径: 编译: make MPI1 MPIHOME{{MPI路径}} CUDAHOME{{CUDA路径}} NCCLHOME{{NCCL路径}} j 40 使用 mpirun 启动训练进程: mpirun allowrunasroot np 2 H IP1,IP2 x NCCLIBHCAmlx52 x NCCLIBQPSPERCONNECTION8 allreduceperf b 8 e 1G f 2 g 8
来自: