超擎数智超擎数智

如何在 VMware ESXi 7.0 上将 NVIDIA 网络设备配置为 DirectPath I/O 和 Dynamic DirectPath I/O 直通模式

创建于 2020 年 4 月 6 日。本文介绍如何在 VMware ESXi 7.0 上将 NVIDIA 网络设备配置为 DirectPath I/O 和 Dynamic DirectPath I/O 直通模式，以及如何从这些模式中移除配置。

文档目录

创建于 2020 年 4 月 6 日

简介

本文介绍如何在 VMware ESXi 7.0 上将 NVIDIA 网络设备配置为 DirectPath I/O 和 Dynamic DirectPath I/O 直通模式。

可分配硬件 (Assignable Hardware) 是一个框架，允许 Dynamic DirectPath I/O 使用 vSphere HA 和 DRS 进行初始虚拟机放置。

当使用 NVIDIA vGPU 配置文件启动虚拟机时，DRS 将选择一个 ESXi 主机来放置该虚拟机。

可分配硬件要求虚拟机的硬件版本 17。

DRS 负载均衡尚不支持 Dynamic DirectPath I/O 设备。因此仅用于虚拟机的初始放置。

参考资料

DirectPath I/O 和 Dynamic DirectPath I/O 直通模式

image2020-4-7_11-33-56.png

配置 NVIDIA 网络设备直通

在将设备配置为 PCI 直通之前，请确保平台和设备满足 PCI 直通要求，请参阅 VMware vSphere VMDirectPath I/O: Requirements for Platforms and Devices (2142307)。

要在 ESXi 主机上配置直通设备：

  1. 选择 ESXi 主机，从 VMware vSphere Client 的清单中。

  2. 进入维护模式 该 ESXi 主机。

  3. 在导航器中点击配置、硬件和PCI 设备。直通配置页面列出所有可用的直通设备。

  4. 点击 配置直通。

  5. 选择 设备并添加硬件标签（例如 "ConnectX-5"）。

    image2020-4-7_21-52-59.png

  6. 点击 确定。

    设备的 PCI 插槽 为 13:00.1。

  7. 验证 设备的直通模式已配置：

    a. 选择 ESX/ESXi 主机，从 VMware vSphere Client 的清单中。 b. 在导航器中点击配置、硬件、PCI 设备和已启用直通的设备。已启用直通的设备页面列出所有已启用的直通设备。 c. 验证：

    image2020-4-7_21-50-20.png

  8. 退出维护模式 该 ESXi 主机。

在虚拟机上配置 PCI 设备

  1. 在 vSphere Client 的导航器中，右键单击 虚拟机，然后点击编辑设置。

  2. 选择 虚拟硬件 选项卡。

  3. 点击 添加其他设备。

    image2020-4-7_12-18-0.png

    选择 PCI 设备。

    1. 选择 DirectPath IO 或 Dynamic DirectPath IO。

    2. 从选择硬件下拉菜单中，选择 PCI 设备。

      image2020-4-7_12-34-35.png

    3. 点击 确定。

注意： 分配设备后，虚拟机将自动为完整配置的内存大小预留内存。

image2020-4-7_12-37-7.png

完成！

检查分布式资源调度器 (DRS) 对 Dynamic DirectPath I/O 工作负载的初始放置

在检查分布式资源调度器 (DRS) 对工作负载的初始放置之前，请确保已启用 vSphere DRS：

  1. 选择 集群 主机，从 VMware vSphere Client 的清单中。

  2. 确保 vSphere DRS 已开启。

  3. 将自动化级别 设置为 手动。然后点击确定。

    image2020-4-9_22-4-3.png

我们将自动化级别设置为手动，仅用于查看放置建议。之后您可以将 DRS 恢复为公司的策略级别。

分布式资源调度器 (DRS) 对 Dynamic DirectPath I/O 工作负载的初始放置

您需要在所有 ESXi 服务器上使用相同的 PCI 直通已启用设备（设备 PCI ID），以便 DRS 对 Dynamic DirectPath I/O 工作负载进行初始放置。 在我们的案例中，它是 13:00.1。

  1. 在 vSphere Client 的导航器中，右键单击 已关机 的 虚拟机，点击电源，然后打开电源。

您将看到开机建议。

image2020-4-9_22-9-3.png

  1. 验证 VM 客户机操作系统中存在该网卡。

  2. 关闭 VM 电源。

  3. 将 ESXi 服务器进入维护模式。

  4. 开启 VM 电源。

  5. 您将看到新的开机建议。

image2020-4-9_22-16-40.png

完成！

从虚拟机中移除 PCI 设备

  1. 在 vSphere Client 的导航器中，右键单击该虚拟机，然后单击编辑设置。
  2. 选择 虚拟硬件选项卡。
  3. 单击要移除的 PCI 设备上的 X，然后单击确定。

image2020-4-12_13-48-38.png

将 NVIDIA 网络设备恢复为非直通模式

要强制更改为非直通模式，请完成以下步骤：

  1. 从 VMware vSphere Client 的清单中选择一个 ESXi 主机。
  2. 进入维护模式 ESXi 主机。
  3. 在导航器中单击配置、硬件和 PCI 设备。直通配置页面列出所有可用的直通设备。
  4. 单击 配置直通。
  5. 取消选择要更改为非直通模式的设备。

image2020-4-7_12-6-47.png

  1. 单击确定。

  2. 退出维护模式 ESXi 主机。

完成！

作者
BK.jpg Boris KovalevBoris Kovalev 过去几年担任解决方案架构师，专注于 NVIDIA 网络/Mellanox 技术，负责复杂的机器学习、大数据和基于 VMware 的高级云研究与设计。Boris 此前在多家公司担任高级顾问和解决方案架构师超过 20 年，最近在 VMware 工作。他在 NVIDIA 文档网站上撰写了多篇涵盖 VMware、机器学习、Kubernetes 和容器解决方案的参考设计。