如何在 VMware vSphere 8.0 上将 NVIDIA BlueField-3 配置为网卡模式

创建于 2024 年 3 月 12 日。本指南概述了如何在 VMware ESXi 8.0.x 上将 NVIDIA® BlueField®-3 DPU 配置为网卡模式。

文档目录

创建于 2024 年 3 月 12 日

简介

本指南概述了如何在 VMware ESXi 8.0.x 上将 NVIDIA® BlueField®-3 DPU 配置为网卡模式。

参考资料

硬件和软件要求

一台服务器平台，配备使用 NVIDIA BlueField-3 设备的网卡
在目标机器上安装需要管理员权限

设置

设置包括一台 ESXi 8.0 服务器，配备一个或多个 NVIDIA BlueField-3 网卡。

设置包括：

警告：VMware ESXi 服务器、vSphere 集群和 vCenter 的安装与配置不在本文讨论范围内。

选项 1 - 在 Dell 和 Lenovo 服务器上使用 BIOS 菜单

在 Dell 服务器上：

进入服务器的 BIOS 菜单。
点击 Device Settings：
选择所需的 BlueField 设备。
确认 Chip Type 为 BlueField 设备（BlueField-3），且 VMware Distributed Services Engine (DPU) 为 Disabled。点击 BlueField Internal Cpu Configuration。
将 Internal Cpu Offload Engine 设置为 Disable（禁用即为网卡模式）。
对服务器中所有必要的 BlueField 设备重复步骤 b-d。
保存 BIOS 设置。
重新启动服务器。

在 Lenovo 服务器上：

进入服务器的 BIOS 菜单。
选择所需的 BlueField 设备。
确认 Chip Type 为 BlueField 设备（例如 BlueField-3），且 VMware Distributed Services Engine (DPU) 为 Disabled。
点击 BlueField Internal Cpu Configuration。
将 Internal Cpu Offload Engine 设置为 Disable（即网卡模式）。
对服务器中所有必要的 BlueField 设备重复步骤 b-d。
保存 BIOS 设置。
重新启动服务器。

选项 2 - 使用 ESXi 服务器控制台

从 vSphere Client 启用 SSH 到目标 ESXi 服务器。
访问远程 ESXi Shell。
使用 ESXCLI 进入维护模式。
安装 NVIDIA 固件工具 (MFT)。
定位物理 NVIDIA 网络设备。

ESXi 控制台
```
[root@qa-esxio-lnv-06:~] lspci |grep -i "
```

选项 3 - 从 DPU UEFI 菜单切换到网卡模式

我们将 DPU 作为直通 PCI 设备添加到虚拟机，并通过连接 DPU UEFI 将其配置为网卡模式。

将管理接口设置为直通。
创建虚拟机并分配 PCIe 直通设备。
启动虚拟机。
通过 PXE 部署 Linux 操作系统。
安装驱动以获取 RShim 和 MFT：

注意： 需要安装 minicom。
- 对于 RedHat，运行：
```
yum install minicom
yum install pv
yum install gcc-gfortran
```
- 对于 Ubuntu，运行：
```
apt install minicom
apt install pv
```
- 对于 SLES，使用 yast 或 zypper。例如：
```
zypper -i minicom
zypper -i pv
```
通过 minicom 连接到 DPU：
注意： 如果系统中有多个 DPU，则每个 DPU 对应一个 RShim（例如，rshim0 对应 DPU#1，rshim1 对应 DPU#2，依此类推）。在 VNC 中打开多个线程，使用以下公式访问每个 DPU：
```
minicom -D /dev/rshim<N>/console
```
其中 <N> 是每个 DPU 对应的索引。
打开一个新的 SSH 连接到同一虚拟机，并从主机重置每个 DPU：
```
echo "SW_RESET 1" > /dev/rshim<N>/misc
```
导航到 DPU 的控制台，并按键盘上的 ESC 键。
为 DPU 定义新密码。

注意： UEFI BIOS 的默认密码是 bluefield。
选择 Device Manager。

简介

本指南介绍如何在 VMware ESXi 8.0.x 上将 NVIDIA® BlueField®-3 DPU 配置为网卡模式。

参考资料

BlueField-3 网卡固件发行说明
BlueField-3 网卡用户指南

配置步骤

启动系统并进入 UEFI 设置。
选择 Device Manager。
选择 Network Device List。
选择代表上行链路的网络设备（即选择具有上行链路 MAC 地址的设备）。
选择 NVIDIA Network adapter - $。
选择 BlueField Internal Cpu Configuration。
将 Internal CPU Offload Engine 设置为 Disabled 以启用网卡模式。

注意： 要设置 DPU 模式，请将 Internal CPU Offload Engine 设置为 Enabled。
对系统执行断电重启。

作者


	Boris KovalevBoris Kovalev 过去几年担任解决方案架构师，专注于 NVIDIA Networking/Mellanox 技术，负责复杂的机器学习、大数据和基于 VMware 的高级云研究与设计。此前，他在多家公司担任高级顾问和解决方案架构师超过 20 年，最近在 VMware 工作。他撰写了多份参考设计，涵盖 VMware、机器学习、Kubernetes 和容器解决方案，可在 NVIDIA 文档网站上获取。

Boris KovalevBoris Kovalev 过去几年担任解决方案架构师，专注于 NVIDIA Networking/Mellanox 技术，负责复杂的机器学习、大数据和基于 VMware 的高级云研究与设计。此前，他在多家公司担任高级顾问和解决方案架构师超过 20 年，最近在 VMware 工作。他撰写了多份参考设计，涵盖 VMware、机器学习、Kubernetes 和容器解决方案，可在 NVIDIA 文档网站上获取。