超擎数智超擎数智

如何配置带有 NVIDIA 网络结构的 vSphere Distributed Switch

本文介绍如何配置 VMware vSphere Distributed Switch (VDS) 与 NVIDIA ConnectX-6 网卡及原生 VMware ESXi 驱动程序，并执行基本初始配置步骤以通过 ESXi CLI 接口启用驱动程序。

文档目录

Created on Dec 16, 2021

Updated on Mar 16, 2022

On This Page

Introduction

This post describes how to configure a VMware vSphere Distributed Switch (VDS) with NVIDIA ConnectX-6 card and NATIVE VMware ESXi Driver on VMware vSphere Cluster version 7.0.3c, and perform basic initial configuration steps to enable the driver by using ESXi CLI interface.

Note: VMware ESXi, vSphere Cluster and vCenter install and configuration is out of the scope of this post.

Abbreviations and Acronyms

Term Definition Term Definition
VDS NSX-managed Virtual Distributed Switch VM Virtual Machine

References

VMware vSphere Distributed Switch

VMware vSphere Distributed Switch (VDS) provides a centralized interface from which you can configure, monitor and administer virtual machine access switching for the entire data center. The VDS provides simplified Virtual Machine network configuration, enhanced network monitoring and troubleshooting capabilities.

NVIDIA® Mellanox® ConnectX®-6 Dx

NVIDIA® Mellanox® ConnectX®-6 Dx is a member of the world-class, award-winning ConnectX series of network adapters. ConnectX-6 Dx delivers two ports of 10/25/40/50/100Gb/s or a single-port of 200Gb/s Ethernet connectivity paired with best-in-class hardware capabilities that accelerate and secure cloud and data center workloads.

Hardware and Software Requirements

Procedure

Configure a VDS

To configure a new VDS, use the following steps.

Create a VDS in a vCenter

To create a new VDS:

  1. Launch the vSphere Web Client and connect to a vCenter Server instance.

    Create VDS

  2. Navigate to Networking and select the data center.

  3. Right-click the data center and select Distributed Switch > New Distributed Switch.

  4. Enter a name for the switch (e.g., "VDS-NVIDIA") and select the version (e.g., 7.0.0).

  5. Configure the number of uplink ports and other settings as needed.

  6. Click Finish.

Adding Hosts to VDS

  1. Right-click the newly created VDS and select Add and Manage Hosts.
  2. Select Add hosts and click Next.
  3. Click + New hosts and select the ESXi hosts to add.
  4. Select the physical network adapters (vmnic) to associate with the VDS uplinks.
  5. Configure the uplink assignment and click Next.
  6. Review the settings and click Finish.

Creating Distributed Port Groups for Storage Traffic

  1. Right-click the VDS and select Distributed Port Group > New Distributed Port Group.
  2. Enter a name (e.g., "vSAN-PG") and configure VLAN ID if needed.
  3. Click Next and then Finish.

Adding a VMkernel Network for vSAN Port Group

  1. Select the ESXi host in the inventory.
  2. Go to Configure > Networking > VMkernel adapters.
  3. Click Add Networking and select VMkernel 网卡.
  4. Select the distributed port group created for vSAN.
  5. Configure the IP settings and enable vSAN traffic.
  6. Click OK.

Authors

  • NVIDIA Networking Team

如何使用 NVIDIA 网络结构配置 vSphere 分布式交换机

创建于 2021 年 12 月 16 日，更新于 2022 年 3 月 16 日

本页内容

  • 简介
  • 缩写和缩略词
  • 参考资料
  • VMware vSphere 分布式交换机
  • NVIDIA® Mellanox® 网卡

简介

本文档提供在 VMware vSphere 环境中配置分布式交换机（VDS）的步骤。

缩写和缩略词

缩写 全称
VDS vSphere Distributed Switch
MTU Maximum Transmission Unit
LLDP Link Layer Discovery Protocol

参考资料

创建分布式交换机

  1. 在 vSphere Web Client 主页上，从左侧列表中选择 vCenter 对象。 将鼠标悬停在清单列表区域的 分布式交换机 上，然后点击 新建分布式交换机（见下图）以启动新建 VDS 向导。

    VDS Config 01

  2. 为新的 分布式交换机 提供名称，并选择 位置（数据中心对象或文件夹）以在 vCenter 清单中存储新的 VDS。 点击 下一步。

    image2021-8-30_14-48-3

  3. 选择要创建的 VDS 版本。 点击 下一步。

    VDS creating 04

  4. 将上行链路端口数指定为 2，取消选中 创建默认端口组 复选框，并为该组指定名称。 点击 下一步。

    CreateDS04

  5. 点击 完成。

    VDS creating 06

  6. 设置新创建的分布式交换机的 MTU。 右键单击对象列表中的新分布式交换机，然后从 操作 菜单中选择 设置 → 编辑设置...。

    VDS creating 02

  7. 在 SL_W01-DS01 分布式交换机 - 编辑设置 对话框中，在 高级 选项卡中设置：

    • MTU 为 9000
    • 发现协议 为 链路层发现协议
    • 操作 为 两者 点击 确定。

    Set MTU 02

将主机添加到 VDS

要将 ESXi 主机添加到现有 VDS：

  1. 启动 vSphere Web Client，并连接到 vCenter Server 实例。

  2. 导航到 SL-WL01-cluster 中的 主机 列表，并选择 ESXi 主机。

  3. 选择 配置 → 网络 → 物理适配器。

  4. 检查要使用的网络端口。本例中使用 vmnic4 和 vmnic5。

    VDS creating 07

  5. 导航到 分布式交换机 列表。

  6. 右键单击对象列表中的新分布式交换机，然后从 操作 菜单中选择 添加和管理主机。

  7. 选择 添加主机 按钮，然后点击 下一步。

    Add host to VDS 02

  8. 从新主机列表中，选中要添加到 VDS 的每个 ESXi 主机 名称旁的复选框。 点击 下一步。

    VDS creating 08

  9. 在下一个 管理物理适配器 菜单中，点击所有主机上的适配器，并将 ESXi 主机中的 vmnic4 和 vmnic5（示例） 配置为 VDS 的 上行链路 1 和 上行链路 2。

    VDS creating 09

创建分布式端口组用于存储流量

本节列出了创建两个分布式端口组所需的步骤，每个端口组具有一个活动上行链路和一个待机上行链路。

  1. 为分布式端口组添加 VMkernel 适配器：右键单击分布式交换机，然后选择 分布式端口组 > 新建分布式端口组。

    VDS creating 12.PNG

  2. 在新建分布式端口组对话框中，输入名称为 <NSX-VLAN1624-DPG>，然后单击下一步。

    Create Distributed Port Group 02.PNG

  3. 将 VLAN 类型设置为 VLAN 中继，选中自定义默认策略配置复选框，然后单击下一步。

    Create Distributed Port Group 03.PNG

  4. 在安全对话框中，单击下一步。

    PGconfig04.PNG

  5. 在流量调整对话框中，单击下一步。

    PGconfig05.PNG

  6. NIC 成组

    在成组和故障转移对话框中，将 Uplink 1 设置为活动上行链路，将 Uplink 2 设置为待机上行链路。单击下一步。

    PGconfig06.PNG

  7. 在监控对话框中，将 NetFlow 设置为已禁用，然后单击下一步。

    PGconfig07.PNG

  8. 在杂项对话框中，将阻止所有端口设置为否，然后单击下一步。

    PGconfig08.PNG

  9. 在准备完成对话框中，检查所有更改，然后单击完成。

    Create Distributed Port Group 04.PNG

为 vSAN 端口组添加 VMkernel 网络

要为分布式端口组添加 VMkernel 适配器，请按照以下步骤操作。

  1. 右键单击分布式端口组，然后选择添加 VMkernel 适配器。

    addVMkernel01.PNG

  2. 单击附加的主机...

    Adding a VMkernel Network for vSAN PG 02.PNG

  3. 选择主机，然后单击确定。

    Adding a VMkernel Network for vSAN PG 03.PNG

  4. 在选择主机对话框中单击下一步。

    Adding a VMkernel Network for vSAN PG 04.PNG

  5. 在可用服务中选择 vSAN（示例），然后单击下一步。

    Adding a VMkernel Network for vSAN PG 05.PNG

  6. 输入网络设置和网关详细信息，然后单击下一步。

    addVMkernel06.PNG

  7. 单击完成。

    addVMkernel07.PNG

完成！

作者
BK.jpg Boris

作者

作者 简介
Boris Kovalev Boris Kovalev 过去几年担任解决方案架构师，专注于 NVIDIA 网络/Mellanox 技术，负责复杂的机器学习、大数据和基于 VMware 的高级云研究与设计。此前，他在多家公司担任高级顾问和解决方案架构师超过 20 年，最近在 VMware 工作。他在 NVIDIA 文档网站上撰写了多份涵盖 VMware、机器学习、Kubernetes 和容器解决方案的参考设计。