如何安装和配置 VMware NSX 4.1 与 NVIDIA 网络架构
创建于 2023 年 7 月 10 日。本文介绍如何安装和配置 VMware NSX 组件，例如设置传输节点、Edge 虚拟机、配置第 2 层网段、Tier-0 上行链路与 NVIDIA 端到端以太网网络。
文档目录
创建于 2023 年 7 月 10 日
简介
本文介绍如何安装和配置 VMware NSX 组件，例如设置传输节点、Edge 虚拟机、配置第 2 层网段、Tier-0 上行链路与 NVIDIA 端到端以太网网络。
本指南假定已安装以下硬件和软件：
- VMware ESXi 8.0.1a, build 21813344
- VMware vCenter Server 8.0.1a, build 21815093
- VMware NSX Version 4.1.0.2.0.21761691
- NVIDIA Mellanox ConnectX-6 DX SmartNIC 网卡，配备 NATIVE ESXi 驱动程序版本 4.23.0.36-14 和驱动程序固件版本 22.34.1002
注意： VMware ESXi、vSphere 集群和 vCenter 的安装与配置不在本文讨论范围内。
缩写和首字母缩略词
| 术语 | 定义 | 术语 | 定义 |
|---|---|---|---|
| TEP | 隧道端点 | VM | 虚拟机 |
| VDS | NSX 管理的虚拟分布式交换机 | VTEP | 虚拟隧道端点 |
| VLAN | 虚拟局域网 |
参考资料
- ConnectX® Ethernet Driver for VMware® ESXi Server
- How-to: Install NVIDIA Firmware Tools (MFT) on VMware ESXi 6.7/7.0.
- How-to: NVIDIA ConnectX driver upgrade on VMware ESXi 6.7/7.0 and above.
- How-to: Firmware update for NVIDIA ConnectX-5/6 adapter on VMware ESXi 6.5 and above.
- NSX Installation Guide
- NSX Reference Design Guide
- vSphere Command-Line Interface Concepts and Examples
- NVIDIA® Cumulus® Linux
解决方案架构
关键组件和技术
-
NVIDIA Spectrum 以太网交换机：灵活的外形规格，支持 16 到 128 个物理端口，速度从 1GbE 到 400GbE。基于突破性的硅技术，针对性能和可扩展性进行了优化，NVIDIA Spectrum 交换机非常适合构建高性能、经济高效且高效的云数据中心网络、以太网存储结构和深度学习互连。NVIDIA 将基于业界领先的专用集成电路 (ASIC) 技术的 NVIDIA Spectrum™ 交换机的优势与多种现代网络操作系统选择相结合，包括 NVIDIA Cumulus® Linux、SONiC 和 NVIDIA Onyx®。
-
NVIDIA Cumulus Linux：NVIDIA® Cumulus® Linux 是业界最具创新性的开放网络操作系统，可让您像其他操作系统一样自动化、定制和扩展数据中心网络。
-
NVIDIA ConnectX 智能网卡：10/25/40/50/100/200 和 400G 以太网网卡。业界领先的 NVIDIA® ConnectX® 系列智能网络接口卡 (SmartNIC) 提供先进的硬件卸载和加速。NVIDIA 以太网网卡为超大规模、公有云和私有云、存储、机器学习、AI、大数据和电信平台提供最高的 ROI 和最低的总拥有成本。
-
NVIDIA LinkX 线缆：NVIDIA® LinkX® 产品系列的线缆和收发器提供了业界最完整的 10、25、40、50、100、200 和 400GbE 以太网以及 100、200 和 400Gb/s InfiniBand 产品线，适用于云、HPC、超大规模、企业、电信、存储和人工智能数据中心应用。
-
VMware vSphere Distributed Switch (VDS)：提供集中式接口，用于配置、监控和管理整个数据中心的虚拟机访问交换。VDS 提供简化的虚拟机网络配置、增强的网络监控和故障排除功能。
-
VMware NSX：提供敏捷的软件定义基础设施，用于构建云原生应用环境。NSX 专注于为新兴的应用框架和架构提供网络、安全、自动化和运维简化，这些框架和架构具有异构端点环境和技术栈。NSX Data Center 支持云原生应用、裸机工作负载、多虚拟机管理程序环境、公有云和多个云。NSX Data Center 专为开发组织的管理、运维和使用而设计。NSX Data Center 允许 IT 团队和开发团队选择最适合其应用的技术。
逻辑设计
最简单的设置是使用一个包含 4 台 ESXi 服务器的 vSphere 集群，连接到 NVIDIA® Spectrum® SN3700 以太网交换机。
网络物理连接
网络物理连接
注意： 在我们的案例中，ESXi 上 ConnectX-6 DX 网卡的端口 0 和 1 显示为 vmnic0 和 vmnic1。
网络配置与连接
vSphere 交换机设计
操作步骤
网络
前提条件
- 交换机操作系统：NVIDIA Cumulus 5.4
- 管理网络：需要 DHCP 和 DNS 服务。
注意： 本指南不涵盖管理网络、DNS 和 DHCP 的安装与配置。
网络交换机配置
ESXi 到 Leaf 的连接
端口通道和 VLAN 配置
在 vSphere 集群中的两台 Leaf NVIDIA SN3700 交换机上运行以下命令，以配置 peerlink、VLAN 和路由。
clx-swx-030 交换机示例：
# 配置 MLAG 参数和 peerlink 接口
cumulus@clx-swx-030:mgmt:~$sudo nv set service ntp default server 192.114.62.250 iburst on
cumulus@clx-swx-030:mgmt:~$sudo nv set interface peerlink bond member swp31-32
cumulus@clx-swx-030:mgmt:~$sudo nv set interface peerlink type bond
cumulus@clx-swx-030:mgmt:~$sudo nv set mlag mac-address 44:38:39:FF:00:01
cumulus@clx-swx-030:mgmt:~$sudo nv set mlag backup 192.168.200.12 vrf mgmt
cumulus@clx-swx-030:mgmt:~$sudo nv set mlag peer-ip linklocal
cumulus@clx-swx-030:mgmt:~$sudo nv set mlag priority 1000
# 配置 VLAN 和 VLAN 接口
cumulus@clx-swx-030:mgmt:~$sudo nv set interface swp1-32 bridge domain br_default
cumulus@clx-swx-030:mgmt:~$sudo nv set interface swp1-32 link speed 100G
cumulus@clx-swx-030:mgmt:~$sudo nv set interface swp1-32 type swp
cumulus@clx-swx-030:mgmt:~$sudo nv set bridge domain br_default vlan 1640
cumulus@clx-swx-030:mgmt:~$sudo nv set bridge domain br_default vlan 1650
cumulus@clx-swx-030:mgmt:~$sudo nv set interface swp1-32 link state up
cumulus@clx-swx-033:mgmt:~$sudo nv set interface vlan1640 ip address 192.168.40.1/24
cumulus@clx-swx-033:mgmt:~$sudo nv set interface vlan1650 ip address 192.168.50.1/24
cumulus@clx-swx-033:mgmt:~$sudo nv set vrf default router static 0.0.0.0/0 via 192.168.1.254
cumulus@clx-swx-030:mgmt:~$sudo nv config apply
cumulus@clx-swx-030:mgmt:~$sudo nv config save
注意： 更多信息请参阅以下文档：Cumulus Linux Deployment Guide for VMware NSX-T
主机准备
vSphere 集群中的主机必须进行配置以获得最佳性能。
为确保最佳性能，请执行以下操作：
- 配置 BIOS 以获得最佳性能
- 启用 CPU 超线程
- 启用 Turbo Boost
- 禁用 NUMA 节点交错
- 电源管理：将此设置设为“高”或“最大性能”（具体措辞取决于供应商），以确保 CPU 始终至少以基本频率运行，并使用最浅的空闲状态。
- 在 ESXi 服务器上启用超线程：在支持的系统上启用此设置。超线程允许单个处理器核心同时运行两个独立的线程。在具有超线程的处理器上，每个核心可以有两个逻辑线程，共享核心的资源，如内存缓存和功能单元。BIOS 供应商可能将超线程核心称为逻辑处理器。
- Turbo Boost：在 BIOS 中启用此设置。它允许处理器在峰值负载下以高于额定频率的速度运行。有关 Turbo Boost 的更多信息，请参阅 Intel Turbo Boost Technology 页面（发布于 Intel 网站）上的常见问题解答。
- NUMA 节点交错：确保禁用此设置。启用 NUMA 节点交错设置后，虚拟机管理程序会将可用内存视为一个连续区域。因此，将内存页放置在本地 CPU 的能力将丧失，虚拟机管理程序会将主机上的所有资源视为本地资源。
网卡驱动和固件更新
要将固件更新至版本 22.34.1002，驱动更新至版本 4.23.0.36-14，请参考以下链接：
- How-to: Firmware update for NVIDIA ConnectX-5/6 adapter on VMware ESXi 6.5 and above
- How-to: NVIDIA ConnectX driver upgrade on VMware ESXi 6.7/7.0 and above
主机网络配置
前提条件
- vCenter 8.0.1a 或更高版本
- 已安装并配置了 VMware vSphere ESXi 8.0.1a 的 vSphere WL01-Cluster01 集群。
- 安装需要在目标机器上具有管理员权限。
- 连接到 ESXi 主机管理接口。
- vSphere Distributed Switch - HowTo Configure a vSphere Distributed Switch with NVIDIA Network Fabric
注意： vCenter、ESXi 主机的安装，虚拟数据中心、集群的配置以及将主机添加到集群不在本文档的讨论范围内。
SL-WL01-Cluster01
网络
我将使用以下网络。
- 管理网络 (VLAN 1 – 192.168.1.0/24) – ESXi VMkernel 接口和管理虚拟机（如 NSX-T Manager 和 vCenter）将位于此网络。
- vMotion 网络 (VLAN 1620 – 192.168.20.0/24) – ESXi vMotion VMkernel 接口将位于此网络。
- 用于 ESXi 主机的 NSX-T Geneve 覆盖网络 和 Edge 虚拟机 (VLAN 1640 - 192.168.40.0/24) – 此网络将用于 ESXi 主机上的 Geneve 覆盖隧道端点 VMkernel 接口（即 vmk10）。
- 用于 Edge 虚拟机的 NSX-T Geneve 覆盖网络 (VLAN 1650 – 192.168.50.0/24) – 此网络将用于 Edge 虚拟机中运行的 Geneve 覆盖隧道端点接口。
下表提供了 SL-WL01-Cluster01 中 ESXi 服务器和交换机的详细信息、系统名称及其网络配置。
| 服务器 | 服务器名称 | IP 和网卡 | 管理网络 192.168.1.0/24 (VLAN 1) |
|---|---|---|---|
| ESXi-01 | sl01w01esx11 | vmk1: 192.168.20.100(vMotion - VLAN )vmk10: 来自 IP 池 192.168.40.0/24 (NSX 主机 TEP) | vmk0: 192.168.1.100来自 DHCP (保留) |
| ESXi-02 | sl01w01esx12 | vmk1: 192.168.20.101(vMotion)vmk10: 来自 IP 池 192.168.40.0/24 (NSX 主机 TEP) | vmk0: 192.168.1.101来自 DHCP (保留) |
| ESXi-03 | sl01w01esx13 | vmk1: 192.168.20.102(vMotion)vmk10: 来自 IP 池 192.168.40.0/24 (NSX 主机 TEP) | vmk0: 192.168.1.102来自 DHCP (保留) |
| ESXi-04 | sl01w01esx14 | vmk1: 192.168.20.103(vMotion)vmk10: 来自 IP 池 192.168.40.0/24 (NSX 主机 TEP) | vmk0: 192.168.1.103来自 DHCP (保留) |
| Leaf-01 | clx-swx-030 | 10.7.215.233 | |
| Leaf-02 | clx-swx-031 | 10.7.215.234 | |
| vCenter (VM) | sl01w01vc01 | 192.168.1.100 | |
| NSX-T Manager 01 (VM) | sl01w01nsx01 | 192.168.1.101 | |
| NSX-T Edge 01 (VM) | sl01w01nsxedge01 | 来自 IP 池 192.168.50.0/24 (NSX Edge TEP) | 192.168.1.151 |
| NSX-T Edge 02 (VM) | sl01w01nsxedge02 | 来自 IP 池 192.168.50.0/24 (NSX Edge TEP) | 192.168.1.152 |
| NSX-T Edge 集群 | EdgeCluster1 | ||
| DNS/DHCP | 192.168.1.253 | ||
| 桥接 VM (网关) | 10.7.215.69 | 192.168.1.254 | |
| NTP | 192.1114.62.250 |
配置 VDS
要配置新的 VDS（示例 - SL-WL01-DS01），包含 2 个分布式端口组（示例 - SL-WL01-MGMT-VLAN1 和 SL-WL01-vMotion-VLAN1620），请使用以下文档。
警告： MTU 大小已增加到 1600 或更大。建议的 MTU 为 9000。
VMware NSX-T Manager 安装和配置
先决条件
以下是部署 NSX Manager 的先决条件。
-
集群上存在部署 NSX-Manager 虚拟机所需的必要资源
-
管理网络的端口组（建议与 vCenter 保持在同一网络）
-
管理网络中为 NSX Manager 预留 4 个空闲 IP（本指南仅部署一个虚拟机）
-
NSX 许可证
-
为 NSX-Manager 主机名创建 DNS A 记录
-
管理网络的子网掩码和网关
-
NTP 服务器
-
确保 vCenter 主机名和 IP 地址的 nslookup 正常工作
-
NSX root 用户密码
-
NSX admin 用户密码
-
NSX audit 用户密码
网络延迟要求
- NSX Manager 集群中 NSX Manager 之间的最大网络延迟为 10ms
- NSX Manager 与传输节点之间的最大网络延迟为 150ms
存储要求
- 最大磁盘访问延迟低于 10ms
- 建议将 NSX Manager 放置在共享存储上
- 存储应具有高可用性，以避免存储故障导致所有 NSX Manager 文件系统进入只读模式
请参阅您的存储技术文档，了解如何优化设计高可用性存储解决方案。
部署
-
从 VMware Customer Connect 门户 下载 NSX Manager OVA。
-
登录到 vCenter。
![vCenter login]
-
单击 主机和集群，右键单击 要部署 NSX Manager 的 ESXi，然后单击 部署 OVF 模板。
-
选择 本地文件 → 浏览 NSX Unified 设备的 OVA 文件。
-
单击 下一步。
-
指定 虚拟机名称（sl01wl01nsx01），选择要放置 NSX Manager 的 位置，然后单击 下一步。
-
选择要放置 NSX Manager 的 计算资源（即集群、资源池或主机），检查其兼容性，然后单击 下一步。
-
查看详细信息，然后单击 下一步。
-
选择 部署大小（中型），单击 下一步。
警告： 选择“小型”部署配置时，某些服务无法正常工作。请始终使用“中型”或“大型”。
-
选择要放置 NSX Manager 的 存储/数据存储，然后单击 下一步。
-
选择 管理网络，然后单击 下一步 进入“自定义模板”屏幕。
-
指定 系统 GRUB root、系统 root 账户、admin 和 audit 用户 的密码。
-
向下滚动。
警告： 需要强密码。
-
提供 主机名、角色名称（NSX Manager 有 3 个角色，如下所示）和 管理网络详细信息。
-
向下滚动。
-
分配 DNS 和 NTP 详细信息，并选择是否需要在 NSX Manager 上 启用 SSH。
-
单击 下一步。
-
审查详细信息，然后点击完成。等待 NSX Manager 设备成功部署。
-
NSX Manager 将在约 5-10 分钟后部署完成。设备成功部署后，打开 NSX Manager 虚拟机电源，并等待至少 15 分钟，直到所有服务启动。
部署后健康检查
完成后，执行以下部署后步骤：
-
打开 NSX Manager 控制台，尝试使用 admin 凭据通过 putty 登录。您将看到版本号和角色。
-
使用以下命令验证网络配置。
get interface eth0
-
运行以下命令检查服务状态。
get services
注意： Liagent、migration-coordinator 和 SNMP 服务默认未启动。
NSX Manager 配置
-
使用 URL "https://<fqdn 或 IP>" 登录 NSX Manager UI 登录页面。
-
首次登录 NSX Manager（深色主题）时接受 EULA。
-
决定是否加入客户体验改进计划。
.png?cb=3c4c757e4265eaa62c2430f316862227)
-
如果需要，可快速浏览。
-
最后，NSX-T Manager 界面呈现。
-
导航至系统 → 许可证，点击 +添加许可证。
-
添加许可证并点击添加。
添加计算管理器
-
要添加计算管理器，导航至系统 → 结构 → 计算管理器，点击添加计算管理器以添加 vCenter 作为计算管理器。
-
填写 vCenter 详细信息 → 点击添加。
-
点击 ADD，当出现vCenter服务器指纹窗口时。
-
等待注册完成。状态将变为已注册，连接状态变为"Up"。
Optional
- 要部署额外的NSX-T管理器节点，导航至 System → Appliances → 点击 ADD NSX APPLIANCE。
- 填写额外管理器的详细信息，如 Hostname、Management IP/Netmask、Gateway、DNS 或 NTP，并选择管理器的 Node Size（应与第一个管理器相同）→ 点击 NEXT。
- 选择 appliance placement configuration → 点击 NEXT。
- 完成NSX管理器的访问 passwords（使用与第一个管理器相同的密码）并 enable SSH 访问 → 点击 INSTALL APPLIANCE。
- 重复相同步骤以 部署第三个 NSX-T管理器节点，等待两个节点部署并加入集群。
- 分配集群 VIP 以便于管理。确保集群IP不进行负载均衡，仅提供管理便利。
NSX-T管理器和控制器集群部署完成。
NSX-T Configuration
Create an Uplink Profiles
上行链路配置文件定义了从虚拟机管理程序主机到NSX逻辑交换机或从NSX Edge节点到机架顶部交换机的链路策略。这些配置文件设置的策略可能包括成组策略、主用/备用链路、传输VLAN ID和MTU设置。上行链路配置文件可为多个主机和节点上的网络适配器实现一致配置。默认情况下，NSX提供两个上行链路配置文件且无法编辑，因此应为Edge上行链路创建新配置文件（主机上行链路也是如此）。
要在NSX Manager中创建主机上行链路配置文件，请执行以下操作：
Create Host Uplink Profile
要在 NSX-T Manager 中创建主机上行链路配置文件，请执行以下操作：
-
导航至 System → Fabric → Profiles → Uplink Profiles → +ADD PROFILE。
-
为配置文件分配名称并填写描述。
-
在"Teamings"下，将成组策略设置为"Failover Order"。
-
将 Active Uplinks 设置为 uplink-1，将 Standby Uplinks 设置为 uplink-2。
Transport VLAN 将是 Overlay VLAN ID（在示例中为 1640），因为这些上行链路直接连接到主机，需要相应标记。
默认 MTU 设置为1600。您可以将其设置为Jumbo Frames配置支持的更高值，然后点击 ADD。
不要设置MTU值，保持为空。
Create Uplink Profile for Edge VMs Transport Nodes.
要在 NSX-T Manager 中创建Edge上行链路配置文件，请执行以下操作：
- 导航至 System → Fabric → Profiles → Uplink Profiles → +ADD。
- 为配置文件分配名称并填写描述。
- 在"Teamings"下，将成组策略设置为"Failover Order"。
- 将 Active Uplinks 设置为 uplink-2。
- Transport VLAN 将是 Overlay VLAN ID（在示例中为 1650），因为这些上行链路直接连接到主机，需要相应标记。 默认 MTU 设置为1600。您可以将其设置为Jumbo Frames配置支持的更高值，然后点击 ADD。 在此设置中，我们将MTU设置为 9000。
如下所示，两个新的上行链路配置文件已成功创建。
Transport Zones
传输区域决定哪些主机（以及哪些虚拟机）可以参与使用特定网络。有两种类型的传输区域：覆盖网络和VLAN。
- 覆盖网络传输区域由主机传输节点和NSX Edge使用，负责覆盖网络上的通信。
- VLAN传输区域由NSX Edge用于其VLAN上行链路。 两种类型都在主机或Edge上创建N-VDS，通过将逻辑路由器上行链路和下行链路绑定到物理NIC来实现虚拟到物理的数据包流。
创建覆盖网络流量类型的传输区域：
- 要在NSX Manager中创建传输区域，导航至 System → Fabric → Transport Zones → +ADD ZONE。
覆盖网络流量类型的传输区域
提供 Name 并选择 Traffic Type 为 Overlay (Geneve)，然后点击 ADD。
VLAN流量类型的传输区域
提供 Name 并选择 Traffic Type 为 VLAN，然后点击 ADD。
创建 VLAN 传输区域
-
在 NSX-T Manager 中，导航到 Networking → Transport Zones → ADD TRANSPORT ZONE。
-
指定传输区域的名称和描述，选择 VLAN 作为流量类型，然后点击 ADD。
创建 NSX-T TEP IP 池
每个传输节点（即虚拟机管理程序）都会分配一个 TEP 接口的 IP 地址。DHCP、静态 IP 列表和 IP 地址池均可用于分配 TEP（隧道端点）接口的 IP 地址。
要将 ESXi 主机配置为传输节点，需要创建 NSX-T IP 池来分配 TEP 接口的 IP 地址。
在 NSX-T Manager 中，执行以下操作创建 IP 池：
-
导航到 Networking → IP Address Pools → ADD IP ADDRESS POOL。
-
指定 IP 地址池的名称和描述，然后点击 Set。
-
点击 ADD SUBNET，然后选择 IP Ranges。
-
指定 IP 地址范围，以及 CIDR 和 网关 IP，然后点击 ADD。
-
点击 Apply。
-
点击 SAVE 创建 IP 池。
-
IP 池创建完成后，状态将变为 Success。
创建 NSX-T Edge VM TEP IP 池
每个 NSX Edge VM 都会分配一个 TEP 接口的 IP 地址。DHCP、静态 IP 列表和 IP 地址池均可用于分配 TEP（隧道端点）接口的 IP 地址。
要将 ESXi 主机配置为传输节点，需要创建 NSX-T IP 池来分配 Edge VM TEP 接口的 IP 地址。
在 NSX-T Manager 中，执行以下操作创建 IP 池：
-
导航到 Networking → IP Address Pools → ADD IP ADDRESS POOL。
-
指定 IP 地址池的 名称 和 描述，然后点击 Set。
-
点击 ADD SUBNET，然后选择 IP Ranges。
-
指定 IP 地址范围，以及 CIDR 和 网关 IP，然后点击 ADD。
-
点击 Apply。
-
点击 SAVE 创建 IP 池。
-
IP 池创建完成后，状态将变为 Success。
在主机传输节点（ESXi/ESXio）上安装 NSX 组件
-
导航到 System → Fabric → Hosts → Clusters。选择 SL-WL01-Cluster01。点击 Configure NSX。
-
在 Transport Node Profile 中，点击三点菜单以...
创建新的传输节点配置文件
-
指定名称 → SL-WL01-TNP-EDP-STD 和描述，然后点击设置。
-
点击添加主机交换机。
-
选择 vCenter 的名称 → sl-wl01-vc01 和 VDS → SL-WL01-DS02。
-
选择之前创建的传输区域 → SL-WL01-Overlay-TZ。
-
选择上行链路配置文件 → Uplink-profile-01。
-
选择 IP 分配 (TEP) → 使用 IP 池。
-
选择 IP 池 → SL-WL01-TEP-IPPool。
-
选择模式 → 增强数据路径 - 标准。
VDS 模式：
- 标准适用于所有受支持的主机。
- 增强数据路径 - 标准是增强数据路径模式的中断驱动变体。
- 增强数据路径 - 性能是增强数据路径交换机模式。此模式提供加速的网络性能，但也引入了额外的先决条件。要从此模式中受益，工作负载必须使用 DPDK 编译并使用 VMNET3 作为其 vNIC。
-
在策略上行链路映射中，选择 uplink-1 → 上行链路 1。
如果添加了 ConnectX-6DX，请选择 uplink-1 → 上行链路 1 和 uplink-2 → 上行链路 2。
-
点击添加。
-
点击应用。
-
点击保存。
-
选择我们创建的传输节点配置文件 (SL-WL01-TNP-EDP-STD)，然后点击保存。
您可以看到安装正在进行中。
-
在 vSphere 客户端中。
-
等待主机成功安装，NSX 配置状态为“成功”，状态指示器为“Up”。
-
在清单选项卡中，选择集群 (SL-WL01-Cluster01)，选择更新，选择映像。映像合规性应显示为合规，然后才能继续下一步。
部署 Edge
要部署 Edge，请执行以下操作：
-
导航到 系统 -> 结构 -> 节点 -> Edge 传输节点。点击 添加 Edge 虚拟机。
-
在打开的窗口中填写名称 → sl01wl01nsxedge01，主机名/FQDN → sl01wl01nsxedge01.vwd.clx，并选择大小。
注意：对于 vSphere with Kubernetes，您需要部署至少 Large Edge VM 设备。
点击 NEXT。
-
填写 凭据。点击 NEXT。
-
选择 Compute Manager -> sl01wl01vc01，Cluster -> SL-WL01-Cluster01 和 Datastore -> vsanDatastore。
-
配置 Management IP -> 192.168.1.151/24 和 Default Gateway -> 192.168.1.254。 通过点击 Select Interface 选择 Management Interface。 为 Management Interface 选择 Portgroup -> SL-WL01-MGMT-VLAN1。点击 SAVE。 指定 Search Domain Names、DNS Servers 和 NTP Servers。点击 NEXT。
-
指定 Edge Switch Name -> nvds1，选择 Transport Zone -> SL-WL01-Overlay-TZ，Uplink Profile -> Edge-VM-Uplink-profile。
注意：我们保持命名约定：nvds1 用于 Overlay Transport Zone，nvds2 用于 VLAN Transport Zone。
-
在 Team Policy Uplink Mapping 中，为 uplink-2 点击 Select Interface。 选择我们之前创建的 VDS Portgroup – SL-WL01-Trunk-PG。
-
点击 SAVE。
所有必填字段选择和填写完毕后，界面如下所示。
-
点击 ADD SWITCH 添加另一个交换机。您可能需要向上滚动页面才能看到该按钮。
-
再次指定 Edge Switch Name -> nvds2，选择 Transport Zone -> SL-WL01-VLAN-TZ，Uplink Profile -> Edge-VM-Uplink-profile，用于 Edge VM 的 TEP。 在 Team Policy Uplink Mapping 中，为 uplink-2 点击 Select Interface。选择我们之前创建的 VDS Portgroup – SL-WL01-Trunk-PG。
-
点击 FINISH。
对 Edge VM02 重复上述步骤，其中 Name -> sl01wl01nsxedge02，Host name/FQDN -> sl01wl01nsxedge02.vwd.clx，Management IP -> 192.168.1.152/24。
两个 Edge VM 成功部署后，界面如下所示。安装可能需要几分钟。
检查 Edge VM 的网络。
验证 uplink 接口（uplink-262）参数：
- IP/Mask 已设置
- Admin 和 Op_state 为 up
- MTU 已正确设置
[depuser@jump-host tmp]$ ssh admin@192.168.1.151
admin@192.168.1.151's password:
sl01wl01nsxedge01> get logical-router
Sun Jul 30 2023 UTC 11:21:45.408
Logical Router
UUID VRF LR-ID Name Type Ports Neighbors
736a80e3-23f6-5a2d-81d6-bbefb2786666 0 0 TUNNEL 3 0/5000
sl01wl01nsxedge01> vrf 0
sl01wl01nsxedge01(vrf)> get interfaces
Sun Jul 30 2023 UTC 11:22:21.942
Logical Router
UUID VRF LR-ID Name Type
736a80e3-23f6-5a2d-81d6-bbefb2786666 0 0 TUNNEL
Interfaces (IPv6 DAD Status A-DAD_Success, F-DAD_Duplicate, T-DAD_Tentative, U-DAD_Unavailable)
Interface : 8f6a05bd-e029-5be4-ac5f-d5a9f5823ca0
Ifuid : 260
Mode : cpu
Port-type : cpu
Enable-mcast : true
Interface : 15bf0648-c24c-500f-9336-b3eb23135563
Ifuid : 261
Mode : blackhole
Port-type : blackhole
Interface : 3dbde181-48d2-5f21-8e8f-e715b5a0e33b
Ifuid : 262
Name :
Fwd-mode : IPV4_ONLY
Internal name : uplink-262
Mode : lif
Port-type : uplink
IP/Mask : 192.168.50.10/24
MAC : 00:50:56:8c:a8:37
VLAN : 1650
Access-VLAN : untagged
LS port : b530d157-efa1-500d-a891-f5a16cc9bd55
Urpf-mode : PORT_CHECK
DAD-mode : LOOSE
RA-mode : RA_INVALID
Admin : up
Op_state : up
Enable-mcast : True
MTU : 9000
arp_proxy :
# Checking access to VLAN 1650 interface on switch
sl01wl01nsxedge01(vrf)> ping 192.168.50.1
PING 192.168.50.1 (192.168.50.1): 56 data bytes
64 bytes from 192.168.50.1: icmp_seq=0 ttl=64 time=0.816 ms
64 bytes from 192.168.50.1: icmp_seq=1 ttl=64 time=1.209 ms
64 bytes from 192.168.50.1: icmp_seq=2 ttl=64 time=1.157 ms
^C
--- 192.168.50.1 ping statistics ---
4 packets transmitted, 3 packets received, 25.0% packet loss
round-trip min/avg/max/stddev = 0.816/1.061/1.209/0.174 ms
# Checking access to second Edge node
sl01wl01nsxedge01(vrf)> ping 192.168.50.11
PING 192.168.50.11 (192.168.50.11): 56 data bytes
64 bytes from 192.168.50.11: icmp_seq=0 ttl=64 time=4.952 ms
64 bytes from 192.168.50.11: icmp_seq=1 ttl=64 time=0.826 ms
64 bytes from 192.168.50.11: icmp_seq=2 ttl=64 time=0.875 ms
^C
--- 192.168.50.11 ping statistics ---
4 packets transmitted, 3 packets received, 25.0% packet loss
round-trip min/avg/max/stddev = 0.826/2.218/4.952/1.934 ms
# Checking access to VLAN 1640 interface on switch
sl01wl01nsxedge01(vrf)> ping 192.168.40.1
PING 192.168.40.1 (192.168.40.1): 56 data bytes
64 bytes from 192.168.40.1: icmp_seq=0 ttl=64 time=0.816 ms
64 bytes from 192.168.40.1: icmp_seq=1 ttl=64 time=1.086 ms
64 bytes from 192.168.40.1: icmp_seq=2 ttl=64 time=1.092 ms
64 bytes from 192.168.40.1: icmp_seq=3 ttl=64 time=1.284 ms
^C
--- 192.168.40.1 ping statistics ---
5 packets transmitted, 4 packets received, 20.0% packet loss
round-trip min/avg/max/stddev = 0.816/1.070/1.284/0.167 ms
# Checking access to transport node
sl01wl01nsxedge01(vrf)> ping 192.168.40.11
PING 192.168.40.11 (192.168.40.11): 56
data bytes
64 bytes from 192.168.40.11: icmp_seq=0 ttl=63 time=1.956 ms
64 bytes from 192.168.40.11: icmp_seq=1 ttl=63 time=1.673 ms
64 bytes from 192.168.40.11: icmp_seq=2 ttl=63 time=0.718 ms
64 bytes from 192.168.40.11: icmp_seq=3 ttl=63 time=0.946 ms
^C
--- 192.168.40.11 ping statistics ---
5 packets transmitted, 4 packets received, 20.0% packet loss
round-trip min/avg/max/stddev = 0.718/1.323/1.956/0.508 ms
配置 Edge 集群
配置 Edge 集群的步骤如下：
-
导航到 System → Fabric → Nodes → Host Transport Nodes。
-
点击 ADD EDGE CLUSTER。
-
填写 Edge Cluster Name → EdgeCluster1。选择 Edge 集群配置文件。
-
选择我们在上一步中创建的两个 Edge 节点。
以下显示 Edge Cluster → EdgeCluster1 已成功创建。
完成！
作者
 |
Boris KovalevBoris Kovalev 过去几年一直担任解决方案架构师，专注于 NVIDIA 网络/Mellanox 技术，负责复杂的机器学习、大数据和基于 VMware 的高级云研究与设计。此前，他在多家公司担任高级顾问和解决方案架构师超过 20 年，最近在 VMware 工作。他撰写了多份参考设计，涵盖 VMware、机器学习、Kubernetes 和容器解决方案，可在 NVIDIA 文档网站上获取。 |