安装步骤简介：

查询系统版本和架构

下载对应系统版本架构的网卡驱动

上传网卡驱动安装文件到服务器

检查系统是否识别到网卡设备

挂载或者解压驱动包，安装网卡驱动

配置网卡静态ip地址

使用驱动自带性能测试工具测试网卡性能

详细安装过程

1. 查询系统版本和架构

本文以CentOS 8.2 为例，演示安装 NVIDIA/Mellanox 网卡驱动过程。

查询系统信息：

[root@vincent-pc2 ~]# cat /etc/centos-releaseCentOS Linux release 8.2.2004 (Core)

查询架构：

[root@vincent-pc2 ~]# uname -mx86_64

2. 下载对应系统版本架构的网卡驱动

到官方驱动下载页面，选择对应系统版本架构，下载驱动安装包，根据上一步骤查询到的信息，我们选择RHEL/CentOS 8.2 x86_64

对于Version 版本，想要体验最新版本，就选择第一个，对稳定性和可靠性有要求的，建议选择 LTS 版本。

驱动包文件提供了3种类型的下载，通常选择ISO或者tgz，不建议使用源码包。

3. 上传驱动安装包文件到服务器

3.1 从Windows系统上传驱动包到服务器

如果你使用Windows 系统，浏览器默认下载驱动包到系统“下载”目录，推荐使用Windows的scp命令直接上传文件到服务器。

使用快捷键 Windows + R ，输入 powershell，打开powershell 终端。

打开powershell终端后，默认在用户目录，切换到“下载”目录，上传驱动包文件到服务器.

4. 检查网卡设备

在正式安装驱动之前，建议先检查服务器是否硬件已经识别到网卡设备

[root@vincent-pc2 ~]# lspci |grep Mellanox
01:00.0 Infiniband controller: Mellanox Technologies MT27800 Family [ConnectX-6]
[root@vincent-pc2 ~]#

有类似以上 输出代表主机已识别到一张 Mellanox [ConnectX-6] 网卡

5. 安装驱动

如果下载的驱动包文件格式 为ISO，那么挂载，如果是tgz包就直接解压，进入解压后的目录开始安装。

ISO 方式：

[root@vincent-pc2 ~]# mount MLNX_OFED_LINUX-23.07-0.5.0.0-rhel8.2-x86_64.iso /mntmount: /mnt: WARNING: device write-protected, mounted read-only.[root@vincent-pc2 ~]# cd /mnt[root@vincent-pc2 mnt]# ./mlnxofedinstall --all --force

如果遇到提示缺少依赖包，请按照提示安装对应的依赖包，比如下面的包，安装依赖结束后，重新执行安装驱动脚本：

yum install gcc-gfortran tcl tcsh kernel-modules-extra python36 tk

如果遇到类似提示，说明系统内核已更新，驱动需要重新支持新内核

[root@vincent-pc2 mnt]# ./mlnxofedinstall --all --forceLogs dir: /tmp/MLNX_OFED_LINUX.6221.logsGeneral log file: /tmp/MLNX_OFED_LINUX.6221.logs/general.logVerifying KMP rpms compatibility with target kernel...The kernel KMP rpms coming with MLNX_OFED_LINUX are not compatible with kernel: 4.18.0-348.7.1.el8_5.x86_64

使用内核支持参数重新安装驱动：

[root@vincent-pc2 mnt]# ./mlnxofedinstall --add-kernel-support

如果提示缺少相关依赖包，按照提示安装相应的包

yum install gdb-headless rpm-build libtool autoconf kernel-devel-4.18.0-348.7.1.el8_5.x86_64 kernel-rpm-macros python36-devel automake patch

还要安装一个rmpbuild 工具包：

yum install createrepo elfutils-libelf-devel

运行 内核支持参数，安装脚本将会重新生成对应系统内核的安装包文件，编译文件，然后安装驱动，需要较长的时间，请耐心等待，大概半小时。

驱动安装过程大概持续10分钟左右，请耐心等待。

安装完成后，提示重启驱动：

[root@vincent-pc2 mnt]# /etc/init.d/openibd restart
Unloading HCA driver: [ OK ]
Loading HCA driver and Access Layer: [ OK ]
[root@vincent-pc2 mnt]#

查看驱动版本：

[root@vincent-pc2 ~]# ofed_info -sMLNX_OFED_LINUX-23.07-0.5.0.0:

6. 配置网卡静态ip地址

[root@vincent-pc2 mnt]# ibdev2netdevmlx5_0 port 1 ==> ib0 (Down)[root@vincent-pc2 mnt]# cd /etc/sysconfig/network-scripts/[root@vincent-pc2 network-scripts]# vi ifcfg-ib0TYPE=InfiniBandBOOTPROTO=noneNAME=ib0DEVICE=ib0ONBOOT=yesIPADDR=10.10.10.242NETMASK=255.255.255.0[root@vincent-pc2 ~]# ibdev2netdevmlx5_0 port 1 ==> ib0 (Up)

7. 使用驱动自带性能测试工具测试网卡性能

通常使用到的测试命令：
带宽测试：

ib_write_bw

ib_send_bw

ib_read_bw

延时测试：

ib_write_lat

ib_send_lat

ib_read_lat

注意：测试前需要关闭防火墙，或者放行测试工具的默认端口号 18515

使用方法，至少使用2台服务器，一台开启服务端，另外一台开启客户端去访问服务端。

服务端

在pc1开启服务端：假设服务端ib网卡IP地址为 10.10.10.241/24

[root@vincent-pc1 ~]# ib_write_bw --report_gbits -d mlx5_0

客户端

在pc2开启客户端去访问服务端：

[root@vincent-pc2 ~]# ib_write_bw --report_gbits -d mlx5_0 -D 30 10.10.10.241

说明:

--report_gbits # 以Gb/s 为单位显示测试结果
-D 30 # 测试时长 30 秒

以下是一个 ib_write_bw 测试截图

8. 常见问题和诊断：

8.1 IB交换机端口状态LED灯处于橙色状态，或者网卡处于初始化状态 State：Initializing

root@ubuntu02:~# ibstatCA 'mlx5_0' CA type: MT4123 Number of ports: 1 Firmware version: 20.37.1014 Hardware version: 0 Node GUID: 0xb88303ffff9ec6dc System image GUID: 0xb88303ffff9ec6dc Port 1: State: Initializing Physical state: LinkUp Rate: 100 Base lid: 65535 LMC: 0 SM lid: 0 Capability mask: 0xa651e84a Port GUID: 0xb88303ffff9ec6dc Link layer: InfiniBand

网卡处于初始化，说明IB子网中，子网管理器（SM）没有开启，开启SM常见的2种方式：在交换机或者服务器(选择其一即可)
在带管理的IB交换机（SB7800，QM8700，QM9700）开启SM：

ibswitch [standalone: master] > enableibswitch [standalone: master] # configure terminalibswitch [standalone: master] (config) # ib smnode ibswitch enableibswitch [standalone: master] (config) # show ib smenableibswitch [standalone: master] (config) # write memory

在服务器开启子网管理器，建议在2台服务器开启SM：

root@ubuntu02:~# /etc/init.d/opensmd startStarting opensmd (via systemctl): opensmd.service.

root@ubuntu02:~# ibstatCA 'mlx5_0' CA type: MT4123 Number of ports: 1 Firmware version: 20.37.1014 Hardware version: 0 Node GUID: 0xb88303ffff9ec6dc System image GUID: 0xb88303ffff9ec6dc Port 1: State: Active Physical state: LinkUp Rate: 200 Base lid: 1 LMC: 0 SM lid: 1 Capability mask: 0xa651e84a Port GUID: 0xb88303ffff9ec6dc Link layer: InfiniBand