searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

CTyunOS系统 mlnx内核驱动安装指南

2023-11-14 07:44:59
1369
0

 

NVIDIA 在 2020 年 4 月收购了 Mellanox,这是一家以色列的网络技术公司,专注于高性能计算、云计算和数据中心的网络解决方案。因此,NVIDIA CX 系列网卡实际上就是原来的 Mellanox ConnectX 系列网卡,只是更名为 NVIDIA Mellanox ConnectX 网卡。这些网卡都支持 InfiniBand 和以太网两种网络类型,可以提供高性能的网络计算加速功能,适用于高性能计算、人工智能和云数据中心等场景。

mlnx官方驱动获取方式

  • mellanox官方已经适配的CTyunOS2 0062内核,驱动可在麦洛斯官网获取到
  • CTyunOS2 麦洛斯官方适配版本为MLNX_OFED_LINUX-5.7-1.0.2.0及以上更高版本
  • CTyunOS3麦洛斯官方正在适配中,预计2024年初发布,届时可通过官网下载
  • CTyunOS2推荐使用MLNX_OFED_LINUX-5.8-3.0.7.0麦洛斯驱动(经过测试)
 
不允许存在地址,不是我不提供~~~
 
mlnx驱动包括内核驱动模块、用户态程序。以0062 内核、x86_64架构、MLNX_OFED_LINUX-5.8-3.0.7.0为例,驱动中包含88个rpm包

包含ko模块的有5个rpm,如下所示,其他83个皆为用户态工具、开发包、debug包,这些包与kernel无强绑定关系,这些内核无关rpm包通用于0062/0064/0066/0068 内核

  1. mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
  2. mlnx-ofa_kernel-devel-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
  3. mlnx-nvme-5.8-OFED.5.8.3.0.4.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
  4. knem-modules-1.1.4.90mlnx2-OFED.23.07.0.2.2.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
  5. kernel-mft-4.22.1-307.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm

针对ko模块,mellanox官方只适配0062内核,对于0064 0066等版本内核,都已经重新编译。对于用户态工具,无需重新编译,可直接用mlnx官方提供的rpm包安装即可。

最后,核心驱动有3个,只需安装这三个包,能满足基本需求(最基本功能)

  1. mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64.rpm 
  2. mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm 
  3. mlnx-tools-5.8.0-1.lts.58307.x86_64.rpm

mlnx驱动安装方式划分为两种,一种是官方自带的脚本安装,另一种是自主选择rpm安装。

其中:

  • 官方自带脚本,除了安装核心驱动,默认会安装一些用户态工具。适合快速简单部署
  • 自主选择rpm安装,根据您自己的需求,有选择的安装。需要用户清楚各个包的功能

 

mlnx驱动安装方式

 

方式一:脚本安装

以0062 内核、x86_64架构、MLNX_OFED_LINUX-5.8-3.0.7.0为例,

step1 首先从mellanox官网 或者 网盘中获取安装包

step2 上传驱动包到目标机器,解压

tar -xvf MLNX_OFED_LINUX-5.8-3.0.7.0-ctyunos2.0-x86_64.tgz
cd MLNX_OFED_LINUX-5.7-1.0.2.0-ctyunos2.0-x86_64

step3 安装依赖包

yum install lsof -y

不同环境可能存在略微差异,安装过程中根据脚本提示安装所需依赖即可。

step4 执行安装脚本

./mlnxofedinstall --all --force

若遇到依赖错误,请用yum命令安装对应缺失软件包即可

step5 启动openibd服务

systemctl enable --now openibd

step6 更新initramfs保证重启后驱动能够正常加载。(正常情况下这两条命令没有任何输出)

depmod -a
dracut -f

验证方式,重启后,检查openibd服务是否正常

 

 

 

安装方式二:rpm/yum安装

 

以0062 内核、x86_64架构、MLNX_OFED_LINUX-5.8-3.0.7.0为例

step1 安装依赖工具

yum install -y lsof

必须安装lsof工具,否则安装过程会报错

/ignore-error/1" width="680.333" height="31.8784" style=" margin-left: 0px; margin-top: 0px; width: 680.333px; height: 31.8784px;">

step2 安装驱动及工具

mlnx最核心的驱动主要有三个,其他属于工具、开发库。若您的需求是只需要设备能正常使用,只需要安装这三个包即可。

  • mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64
  • mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64    
  • mlnx-tools-5.8.0-1.lts.58307.x86_64

若yum软件源中包含,则可以用yum命令安装

yum install -y \
    mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64     mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64  mlnx-tools-5.8.0-1.lts.58307.x86_64

若yum源不包含驱动或离线环境,则使用rpm安装

rpm -ivh mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64.rpm  mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm  mlnx-tools-5.8.0-1.lts.58307.x86_64.rpm

step3 启动openibd服务

systemctl enable --now openibd

step4 更新initramfs保证重启后驱动能够正常加载。(正常情况下这两条命令没有任何输出)

depmod -a
dracut -f

 

验证方式,重启后,检查openibd服务是否正常

0条评论
0 / 1000
y****n
9文章数
0粉丝数
y****n
9 文章 | 0 粉丝
原创

CTyunOS系统 mlnx内核驱动安装指南

2023-11-14 07:44:59
1369
0

 

NVIDIA 在 2020 年 4 月收购了 Mellanox,这是一家以色列的网络技术公司,专注于高性能计算、云计算和数据中心的网络解决方案。因此,NVIDIA CX 系列网卡实际上就是原来的 Mellanox ConnectX 系列网卡,只是更名为 NVIDIA Mellanox ConnectX 网卡。这些网卡都支持 InfiniBand 和以太网两种网络类型,可以提供高性能的网络计算加速功能,适用于高性能计算、人工智能和云数据中心等场景。

mlnx官方驱动获取方式

  • mellanox官方已经适配的CTyunOS2 0062内核,驱动可在麦洛斯官网获取到
  • CTyunOS2 麦洛斯官方适配版本为MLNX_OFED_LINUX-5.7-1.0.2.0及以上更高版本
  • CTyunOS3麦洛斯官方正在适配中,预计2024年初发布,届时可通过官网下载
  • CTyunOS2推荐使用MLNX_OFED_LINUX-5.8-3.0.7.0麦洛斯驱动(经过测试)
 
不允许存在地址,不是我不提供~~~
 
mlnx驱动包括内核驱动模块、用户态程序。以0062 内核、x86_64架构、MLNX_OFED_LINUX-5.8-3.0.7.0为例,驱动中包含88个rpm包

包含ko模块的有5个rpm,如下所示,其他83个皆为用户态工具、开发包、debug包,这些包与kernel无强绑定关系,这些内核无关rpm包通用于0062/0064/0066/0068 内核

  1. mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
  2. mlnx-ofa_kernel-devel-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
  3. mlnx-nvme-5.8-OFED.5.8.3.0.4.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
  4. knem-modules-1.1.4.90mlnx2-OFED.23.07.0.2.2.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm
  5. kernel-mft-4.22.1-307.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm

针对ko模块,mellanox官方只适配0062内核,对于0064 0066等版本内核,都已经重新编译。对于用户态工具,无需重新编译,可直接用mlnx官方提供的rpm包安装即可。

最后,核心驱动有3个,只需安装这三个包,能满足基本需求(最基本功能)

  1. mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64.rpm 
  2. mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm 
  3. mlnx-tools-5.8.0-1.lts.58307.x86_64.rpm

mlnx驱动安装方式划分为两种,一种是官方自带的脚本安装,另一种是自主选择rpm安装。

其中:

  • 官方自带脚本,除了安装核心驱动,默认会安装一些用户态工具。适合快速简单部署
  • 自主选择rpm安装,根据您自己的需求,有选择的安装。需要用户清楚各个包的功能

 

mlnx驱动安装方式

 

方式一:脚本安装

以0062 内核、x86_64架构、MLNX_OFED_LINUX-5.8-3.0.7.0为例,

step1 首先从mellanox官网 或者 网盘中获取安装包

step2 上传驱动包到目标机器,解压

tar -xvf MLNX_OFED_LINUX-5.8-3.0.7.0-ctyunos2.0-x86_64.tgz
cd MLNX_OFED_LINUX-5.7-1.0.2.0-ctyunos2.0-x86_64

step3 安装依赖包

yum install lsof -y

不同环境可能存在略微差异,安装过程中根据脚本提示安装所需依赖即可。

step4 执行安装脚本

./mlnxofedinstall --all --force

若遇到依赖错误,请用yum命令安装对应缺失软件包即可

step5 启动openibd服务

systemctl enable --now openibd

step6 更新initramfs保证重启后驱动能够正常加载。(正常情况下这两条命令没有任何输出)

depmod -a
dracut -f

验证方式,重启后,检查openibd服务是否正常

 

 

 

安装方式二:rpm/yum安装

 

以0062 内核、x86_64架构、MLNX_OFED_LINUX-5.8-3.0.7.0为例

step1 安装依赖工具

yum install -y lsof

必须安装lsof工具,否则安装过程会报错

/ignore-error/1" width="680.333" height="31.8784" style=" margin-left: 0px; margin-top: 0px; width: 680.333px; height: 31.8784px;">

step2 安装驱动及工具

mlnx最核心的驱动主要有三个,其他属于工具、开发库。若您的需求是只需要设备能正常使用,只需要安装这三个包即可。

  • mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64
  • mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64    
  • mlnx-tools-5.8.0-1.lts.58307.x86_64

若yum软件源中包含,则可以用yum命令安装

yum install -y \
    mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64     mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64  mlnx-tools-5.8.0-1.lts.58307.x86_64

若yum源不包含驱动或离线环境,则使用rpm安装

rpm -ivh mlnx-ofa_kernel-5.8-OFED.5.8.3.0.7.1.ctyunos2.0.ctl2.x86_64.rpm  mlnx-ofa_kernel-modules-5.8-OFED.5.8.3.0.7.1.kver.4.19.90_2102.2.0.0062.ctl2.x86_64.ctl2.x86_64.rpm  mlnx-tools-5.8.0-1.lts.58307.x86_64.rpm

step3 启动openibd服务

systemctl enable --now openibd

step4 更新initramfs保证重启后驱动能够正常加载。(正常情况下这两条命令没有任何输出)

depmod -a
dracut -f

 

验证方式,重启后,检查openibd服务是否正常

文章来自个人专栏
文章 | 订阅
0条评论
0 / 1000
请输入你的评论
0
0