NVIDIA 在 2020 年 4 月收购了 Mellanox,这是一家以色列的网络技术公司,专注于高性能计算、云计算和数据中心的网络解决方案。因此,NVIDIA CX 系列网卡实际上就是原来的 Mellanox ConnectX 系列网卡,只是更名为 NVIDIA Mellanox ConnectX 网卡。这些网卡都支持 InfiniBand 和以太网两种网络类型,可以提供高性能的网络计算加速功能,适用于高性能计算、人工智能和云数据中心等场景。
mlnx官方驱动获取方式
- mellanox官方已经适配的CTyunOS2 0062内核,驱动可在麦洛斯官网获取到
- CTyunOS2 麦洛斯官方适配版本为MLNX_OFED_LINUX-5.7-1.0.2.0及以上更高版本
- CTyunOS3麦洛斯官方正在适配中,预计2024年初发布,届时可通过官网下载
- CTyunOS2推荐使用MLNX_OFED_LINUX-5.8-3.0.7.0麦洛斯驱动(经过测试)
包含ko模块的有5个rpm,如下所示,其他83个皆为用户态工具、开发包、debug包,这些包与kernel无强绑定关系,这些内核无关rpm包通用于0062/0064/0066/0068 内核
- mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- mlnx-ofa_kernel-devel-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- mlnx-nvme-5.8-OFED.5.8.3.0.4.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- knem-modules-1.1.4.90mlnx2-OFED.23.07.0.2.2.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- kernel-mft-4.22.1-307.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
针对ko模块,mellanox官方只适配0062内核,对于0064 0066等版本内核,都已经重新编译。对于用户态工具,无需重新编译,可直接用mlnx官方提供的rpm包安装即可。
最后,核心驱动有3个,只需安装这三个包,能满足基本需求(最基本功能)
- mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64.rpm
- mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
- mlnx-tools-5.8.0-1.lts.58307.x86_64.rpm
mlnx驱动安装方式划分为两种,一种是官方自带的脚本安装,另一种是自主选择rpm安装。
其中:
- 官方自带脚本,除了安装核心驱动,默认会安装一些用户态工具。适合快速简单部署
- 自主选择rpm安装,根据您自己的需求,有选择的安装。需要用户清楚各个包的功能
mlnx驱动安装方式
方式一:脚本安装
以0062 内核、x86_64架构、MLNX_OFED_LINUX-5.8-3.0.7.0为例,
step1 首先从mellanox官网 或者 网盘中获取安装包
step2 上传驱动包到目标机器,解压
tar -xvf MLNX_OFED_LINUX-5.8-3.0.7.0-ctyunos2.0-x86_64.tgz
cd MLNX_OFED_LINUX-5.7-1.0.2.0-ctyunos2.0-x86_64
step3 安装依赖包
yum install lsof -y
不同环境可能存在略微差异,安装过程中根据脚本提示安装所需依赖即可。
step4 执行安装脚本
./mlnxofedinstall --all --force
若遇到依赖错误,请用yum命令安装对应缺失软件包即可
step5 启动openibd服务
systemctl enable --now openibd
step6 更新initramfs保证重启后驱动能够正常加载。(正常情况下这两条命令没有任何输出)
depmod -a
dracut -f
验证方式,重启后,检查openibd服务是否正常
安装方式二:rpm/yum安装
以0062 内核、x86_64架构、MLNX_OFED_LINUX-5.8-3.0.7.0为例
step1 安装依赖工具
yum install -y lsof
必须安装lsof工具,否则安装过程会报错
/ignore-error/1" width="680.333" height="31.8784" style=" margin-left: 0px; margin-top: 0px; width: 680.333px; height: 31.8784px;">
step2 安装驱动及工具
mlnx最核心的驱动主要有三个,其他属于工具、开发库。若您的需求是只需要设备能正常使用,只需要安装这三个包即可。
- mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64
- mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64
- mlnx-tools-5.8.0-1.lts.58307.x86_64
若yum软件源中包含,则可以用yum命令安装
yum install -y \
mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64 mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64 mlnx-tools-5.8.0-1.lts.58307.x86_64
若yum源不包含驱动或离线环境,则使用rpm安装
rpm -ivh mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64.rpm mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm mlnx-tools-5.8.0-1.lts.58307.x86_64.rpm
step3 启动openibd服务
systemctl enable --now openibd
step4 更新initramfs保证重启后驱动能够正常加载。(正常情况下这两条命令没有任何输出)
depmod -a
dracut -f
验证方式,重启后,检查openibd服务是否正常