超擎数智超擎数智

如何在VMware ESXi 6.5及以上版本中更新NVIDIA ConnectX-5或ConnectX-6网卡固件

创建于2019年6月4日，更新于2021年9月10日。本文介绍如何在VMware ESXi 6.5/6.7版本上更新ConnectX®-5 VPI PCI Express网卡固件。

文档目录

Created on Jun 4, 2019

Updated on Sep 10, 2021

简介

本文介绍如何在VMware ESXi 6.5/6.7版本上更新ConnectX®-5 VPI PCI Express网卡（InfiniBand、以太网、VPI）的固件。

参考资料

硬件和软件要求

  1. 一台服务器平台，配备基于以下NVIDIA技术之一的HCA设备：

  2. 安装权限：安装需要在目标机器上具有管理员权限。

NVIDIA固件工具（MFT）

NVIDIA固件工具（MFT）包是一组固件管理工具，用于：

  • 生成标准或定制的NVIDIA固件镜像
  • 查询固件信息
  • 烧录固件镜像

更新单个NVIDIA网卡（NIC）的固件

本节介绍使用NVIDIA固件工具（MFT）烧录固件的步骤。

注意：作为示例，我们将更新vmnic0的固件。

  1. 下载并安装 NVIDIA固件工具（MFT），请参考如何在VMware ESXi 6.7/7.0上安装NVIDIA固件工具（MFT）文档。

  2. 登录ESXi vSphere命令行界面 并具有root权限。

  3. 获取 PCI总线上的设备位置。

    ESXi控制台

    # lspci | grep nox | grep vmnic0
0000:39:00.0 Ethernet controller: Mellanox Technologies ConnectX-6 Dx EN NIC; 100GbE; dual-port QSFP56; PCIe4.0 x16; (MCX623106AC-CDA) [vmnic0]

  4. 获取 卡类型、部件号、PSID（固件标识）和固件版本。

    ESXi控制台

    # /opt/mellanox/bin/mlxfwmanager -d 0000:39:00.0 --query

Querying Mellanox devices firmware ...

Device #1:
----------

  Device Type:      ConnectX6DX
  Part Number:      MCX623106AC-CDA_Ax
  Description:      ConnectX-6 Dx EN adapter card; 100GbE; Dual-port QSFP56; PCIe 4.0 x16; Crypto and Secure Boot
  PSID:             MT_0000000436
  PCI Device Name:  mt4125_pciconf6
  Base GUID:        0c42a103002404ea
  Base MAC:         0c42a12404ea
  Versions:         Current        Available
     FW             22.28.4000     N/A
     PXE            3.6.0301       N/A
     UEFI           14.23.0017     N/A

  Status:           No matching image found

    注意：请保存PCI设备名称：mt4125_pciconf6，以便在第12步烧录固件镜像到网卡时使用。

  5. 下载正确的固件镜像zip文件，使用固件下载表在产品系列的固件网页上——保存为.zip扩展名。

    点击此处 获取识别网卡的帮助。

    NVIDIA network card FW update

    NVIDIA network card FW update

  6. 解压二进制镜像（.zip文件）。

  7. 使用SCP或其他文件传输方法将bin文件复制到目标ESXi主机的/tmp目录。

  8. 登录ESXi vSphere命令行界面 并具有root权限。

  9. 进入维护模式 的ESXi主机。

  10. 验证文件已放置在/tmp目录中。

    ESXi控制台

    # cd /tmp
# ls
fw-ConnectX6Dx-rel-22_29_2002-MCX623106AC-CDA_Ax-UEFI-14.22.16-FlexBoot-3.6.204.signed.bin

  11. 打印当前NVIDIA设备的状态。

    ESXi控制台

    /opt/mellanox/bin/mst status
MST devices:
------------
mt4125_pciconf6
mt4123_pciconf1
mt4127_pciconf2
mt4123_pciconf3
mt4125_pciconf4
mt4121_pciconf5

  12. 烧录 固件镜像到网卡。

    输入： flint -d <device_name> -i <binary image> b

    示例： 要将22.29.2002版本固件镜像烧录到ConnectX-6DX（设备名称：mt4125_pciconf6，部件号：MCX623106AC-CDA_Ax，PSID：MT_0000000436），输入：

    ESXi控制台

    # /opt/mellanox/bin/flint -d mt4125_pciconf6 -i /tmp/fw-ConnectX6Dx-rel-22_29_2002-MCX623106AC-CDA_Ax-UEFI-14.22.16-FlexBoot-3.6.204.signed.bin b

Current FW version on flash: 22.28.4000

New FW version: 22.29.2002

Burning FW image without signatures - OK

Restoring signature - OK

-I- To load new FW run mlxfwreset or reboot machine.

  13. 重启服务器。

  14. 登录ESXi vSphere命令行界面 并具有root权限。

  15. 查询设备。并验证固件版本。

    ESXi控制台

    ./flint -d mt4121_pciconf0 query
Image type:            FS4
FW Version:            22.29.2002
FW Release Date:       27.1.2021
Product Version:       22.29.2002
Rom Info:              type=UEFI version=14.22.16 cpu=AMD64,AARCH64
                       type=PXE version=3.6.204 cpu=AMD64
Description:           UID                GuidsNumber
Base GUID:             0c42a103002404ea        4
Base MAC:              0c42a12404ea            4
Image VSD:             N/A
Device VSD:            N/A
PSID:                  MT_0000000436
Security Attributes:   secure-fw

退出 ESXi 主机的维护模式。

完成！

作者
BK.jpg Boris KovalevBoris Kovalev 在过去几年中担任解决方案架构师，专注于 NVIDIA Networking/Mellanox 技术，负责复杂的机器学习、大数据和基于 VMware 的高级云研究与设计。此前，Boris 在多家公司担任高级顾问和解决方案架构师超过 20 年，最近在 VMware 工作。他在 NVIDIA 文档网站上撰写了多篇关于 VMware、机器学习、Kubernetes 和容器解决方案的参考设计。