Die Netzwerkadapter der NVIDIA ConnectX-7-Familie unterstützen sowohl InfiniBand- als auch Ethernet-Protokolle und bieten eine vielseitige Lösung für eine Vielzahl von Netzwerkanforderungen. Diese Adapter sind für die Bereitstellung intelligenter, skalierbarer und funktionsreicher Netzwerkfunktionen konzipiert und erfüllen die Anforderungen traditioneller Unternehmensanwendungen sowie Hochleistungs-Workloads in den Bereichen KI, wissenschaftliches Rechnen und Hyperscale-Cloud-Rechenzentren.
Die ConnectX-7-Netzwerkadapter sind in zwei verschiedenen Formfaktoren erhältlich: Stand-up-PCIe-Karten und Open Compute Project (OCP) Spec 3.0-Karten. Diese Flexibilität ermöglicht es Benutzern, den Adapter auszuwählen, der ihren spezifischen Bereitstellungsanforderungen am besten entspricht.
400-Gbit/s-Netzwerke sind eine neue Fähigkeit, die von PCIe Gen5 x16-Steckplätzen verarbeitet werden kann. Werfen wir einen Blick auf die Konfiguration für die Verwendung von NDR 400 Gbit/s InfiniBand/400GbE.
Winkel 1 Schuss von NVIDIA ConnectX 7 400G OSFP
Hardwareübersicht des MCX75310AAS-NEAT-Adapters
Die ConnectX-7 (MCX75310AAS-NEAT) ist eine Low-Profile-Karte, die für PCIe Gen5 x16-Steckplätze entwickelt wurde. Das Bild unten zeigt die Halterung in voller Höhe, im Lieferumfang ist jedoch auch eine Halterung mit niedrigem Profil enthalten.
Vor NVIDIA ConnectX 7 400G OSFP
Beachtenswert sind die Abmessungen der Kühllösung. Allerdings gibt NVIDIA die Leistungsspezifikationen dieser Netzwerkadapter nicht bekannt.
Winkel 2 Schuss von NVIDIA ConnectX 7 400G OSFP
Hier ist die Rückseite der Karte mit einer Kühlkörper-Rückplatte.
Die Rückseite der NVIDIA ConnectX 7 400G OSFP-Karte
Hier ist eine Seitenansicht der Karte vom PCIe Gen5 x16-Anschluss.
NVIDIA ConnectX 7 400G OSFP-Steckerwinkel
Dies ist eine weitere Ansicht der Karte von oben.
NVIDIA ConnectX 7 400G OSFP oberer Winkel
Dies ist bei den meisten Servern eine Ansicht aus der Richtung des Luftstroms.
Dabei handelt es sich um eine flache Single-Port-Karte, die mit einer Geschwindigkeit von 400 Gbit/s arbeitet. Es bietet eine enorme Bandbreite.
Installieren des NVIDIA ConnectX-7 400G-Adapters
Einer der wichtigsten Aspekte einer solchen Karte ist die Installation in einem System, das ihre Geschwindigkeit nutzen kann.
Der Installationsvorgang von ConnectX-7-Adapterkarten umfasst die folgenden Schritte:
- Überprüfen Sie die Hardware- und Softwareanforderungen des Systems.
- Achten Sie auf die Luftströmung innerhalb des Hostsystems.
- Befolgen Sie die Sicherheitsvorkehrungen.
- Packen Sie das Paket aus.
- Befolgen Sie die Checkliste vor der Installation.
- (Optional) Ersetzen Sie die Montagehalterung in voller Höhe durch die mitgelieferte kurze Halterung.
- Installieren Sie die ConnectX-7 PCle x16-Adapterkarte/ConnectX-7 2x PCle x16 Socket Direct-Adapterkarte im System.
- Schließen Sie Kabel oder Module an die Karte an.
- Identifizieren Sie ConnectX-7 im System.
Supermicro SYS 111C NR mit NVIDIA ConnectX 7 400-Gbit/s-Adapter 1
Glücklicherweise haben wir diese Geräte erfolgreich auf den Servern Supermicro SYS-111C-NR 1U und Supermicro SYS-221H-TNR 2U installiert und sie funktionieren einwandfrei.
Supermicro SYS 111C NR mit NVIDIA ConnectX 7 400-Gbit/s-Adapter 2
Der SYS-111C-NR ist ein Single-Slot-Knotenserver, der uns mehr Flexibilität bietet, da wir uns beim Einrichten des Systems nicht um die Verbindungen zwischen den Slots kümmern müssen. Bei Geschwindigkeiten von 10/40 Gbit/s oder sogar 25/50 Gbit/s gab es Diskussionen über Leistungsherausforderungen durch Verbindungen zwischen CPU-Steckplätzen. Mit dem Aufkommen von 100GbE wurde das Problem, für jede CPU einen Netzwerkadapter zu haben, um steckplatzübergreifende Verbindungen zu vermeiden, immer wichtiger und vorherrschender. Die Auswirkungen sind noch ausgeprägter und gravierender, wenn Netzwerke mit 400-GbE-Geschwindigkeiten verwendet werden. Bei Servern mit zwei Steckplätzen, die eine einzelne 400-GbE-NIC verwenden, kann es eine erwägenswerte Option sein, mehrere Host-Adapter in Betracht zu ziehen, die eine direkte Verbindung zu jeder CPU herstellen.
OSFP vs. QSFP-DD
Nachdem die Karten installiert waren, standen wir vor der nächsten Herausforderung. Diese Karten verwenden OSFP-Käfige, unser 400-GbE-Switch jedoch QSFP-DD.
Supermicro SYS 111C NR mit NVIDIA ConnectX 7 400-Gbit/s-Adapter 4
Diese beiden Standards weisen einige Unterschiede in der Leistungsstufe und im physikalischen Design auf. Eine Konvertierung ist möglich QSFP-DD zu OSFP, der umgekehrte Weg ist jedoch nicht möglich. Wenn Sie noch nie OSFP-Optiken oder DACs gesehen haben: Sie verfügen über ihre eigenen einzigartigen Wärmemanagementlösungen. QSFP-DD verwendet typischerweise einen Kühlkörper oben auf dem Sockel, während OSFP typischerweise eine Kühllösung für OSFP-DACs und Optiken im Labor beinhaltet.
OSFP- und QSFP-DD-Anschlüsse 1
Das ist eine knifflige Angelegenheit. Sowohl der OSFP-DAC als auch der OSFP-zu-QSFP-DD-DAC verwenden eine Kühllösung für den Kühlkörper. Und aufgrund der direkten Kühlung am DAC lässt sich der OSFP-Stecker nicht in den OSFP-Port des DAC einstecken ConnectX-7-NIC.
NVIDIA verwendet wahrscheinlich OSFP, da es über eine höhere Leistungsstufe verfügt. OSFP ermöglicht 15-W-Optiken, während QSFP-DD nur 12 W unterstützt. Eine höhere Leistungsobergrenze kann die frühzeitige Einführung in der frühen Einführungsphase erleichtern. Dies ist einer der Gründe, warum Produkte wie das 24-W-CFP8-Modul verfügbar sind.
Achten Sie nach Möglichkeit auf die Größe des Kühlkörpers auf der OSFP-Seite des ConnectX-7-Einsatzes. Wenn Sie an QSFP/QSFP-DD gewöhnt sind, lassen sich alle Geräte anschließen und funktionieren einwandfrei, aber ein kleines Problem wie die Steckergröße kann eine größere Herausforderung darstellen. Wenn Sie jedoch ein Lösungsanbieter sind, ist dies auch eine Gelegenheit, professionellen Service-Support zu leisten. Distributoren wie NVIDIA und PNY verkaufen auch LinkX-Kabel, was eine praktischere Option gewesen wäre. Das ist eine wertvolle Lektion.
Als nächstes richten wir alles ein und machen uns an die Arbeit.
Software-Setup NDR InfiniBand vs. 400GbE
Neben der physischen Installation haben wir auch an der Software auf dem Server gearbeitet. Glücklicherweise war dies der einfachste Teil. Wir haben den ConnectX-2910-Adapter der MT7-Serie von Supermicro verwendet.
NVIDIA MT2910 Lshw
Durch eine schnelle Installation und einen Neustart von OFED (OpenFabrics Enterprise Distribution) wird die
Wir haben das System vorbereitet.
NVIDIA MT2910 Lshw nach OFED-Installation
Da wir einen Broadcom Tomahawk 4 Switch im Ethernet verwenden und direkt im InfiniBand-Modus laufen, müssen wir auch den Linktyp ändern.
Der Vorgang ist einfach und ähnelt der Änderung des Mellanox ConnectX VPI-Ports auf Ethernet oder InfiniBand unter Linux.
Das Folgende ist der grundlegende Prozess:
0. OFED installieren und Firmware aktualisieren
Dies ist ein erforderlicher Schritt, um sicherzustellen, dass die Karte ordnungsgemäß funktioniert.
Während der MLNX_OFED_LINUX-Installation wird NVIDIA ConnectX 7 Mellanox Technologies MT2910 MT2910-Serie verwendet
Der Prozess ist ziemlich einfach. Laden Sie zunächst die erforderliche Version für Ihr Betriebssystem herunter und verwenden Sie das im Download bereitgestellte Skript, um den Treiber zu installieren. Das Standardinstallationsprogramm aktualisiert auch die Firmware der Karte.
NVIDIA ConnectX 7 MT2910 MT2910 MLNX_OFED_LINUX Installieren des Firmware-Updates
Sobald wir OFED nach dem Neustart des Servers installiert haben, können wir sehen, dass der NVIDIA ConnectX-7 MCX75310AAS-NEAT 400GbE- und NDR IB (InfiniBand)-fähig ist. NDR IB ist auf den Standardmodus eingestellt.
NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig
Wenn wir daraus Ethernet machen wollen, sind es nur drei einfache Schritte:
1. Suchen Sie das ConnectX-7-Gerät
Insbesondere wenn Sie andere Geräte in Ihrem System haben, müssen Sie das richtige Gerät zum Wechseln finden. Wenn Sie nur eine Karte haben, ist das einfach.
lspci | grep Mellanox
16:00.0 Infiniband-Controller: Mellanox Technologies MT2910-Familie [ConnectX-7]
Hier wissen wir nun, dass sich unser Gerät auf 16:00.0 befindet (wie Sie dem Screenshot oben entnehmen können).
2. Verwenden Sie mlxconfig, um das ConnectX-7-Gerät von NDR Infiniband auf Ethernet umzustellen.
Als Nächstes verwenden wir die Geräte-ID, um den Verbindungstyp des Infiniband zu ändern.
sudo mlxconfig -d 16:00.0 setze LINK_TYPE_P1=2
NVIDIA ConnectX 7 MCX75310AAS NEAT Mlxconfig legt den Verbindungstyp auf Ethernet fest
Hier setzt LINK_TYPE_P1=2 P1 (Port 1) auf 2 (Ethernet). Der Standardwert LINK_TYPE_P1=1 bedeutet, dass P1 (Port 1) auf 1 (NDR InfiniBand) gesetzt ist. Wenn Sie ihn wieder ändern müssen, können Sie den Vorgang einfach umkehren.
3. Starten Sie das System neu
Nach einem kurzen Neustart verfügen wir nun über einen ConnectX-7-Ethernet-Adapter.
Zahlreiche Ethernet-Geschwindigkeitsoptionen für den NVIDIA ConnectX 7 MT2910
Dieser 400-Gbit/s-Adapter unterstützt weiterhin 1-GbE-Geschwindigkeiten.
FEssenz und Kompatibilität von NVIDIA ConnectX-7
Performance
NVIDIA ConnectX 7 400 Gbit/s NDR Infiniband
Natürlich stehen noch viele weitere Leistungsoptionen zur Verfügung. Auf InfiniBand und Ethernet können wir Geschwindigkeiten zwischen 300 Gbit/s und 400 Gbit/s erreichen. Für Ethernet ist etwas Hilfe nötig, um 400-GbE-Geschwindigkeiten zu erreichen, da die anfängliche Verbindung nur 200 GbE beträgt, aber wir tun nicht viel in Bezug auf die Leistungsoptimierung.
NVIDIA ConnectX 7 400GbE-Leistung
Diese Geschwindigkeiten liegen im erreichbaren Bereich von 400 Gbit/s, weit mehr als das Dreifache der Geschwindigkeit, die wir gewohnt sind 100-Gbit/s-Adapter, und das in sehr kurzer Zeit. Es ist jedoch wichtig, dies zu betonen offDas Laden mit 400-GbE-Geschwindigkeiten ist sehr wichtig. Bei Geschwindigkeiten von 25 GbE und 100 GbE haben wir früher Geräte wie DPUs gesehen offLaden Sie CPUs für allgemeine Netzwerkaufgaben. In den letzten drei Jahren ist die Geschwindigkeit moderner CPU-Kerne um 20 bis 40 Prozent gestiegen, während die Netzwerkbandbreite von 100 GbE auf 400 GbE gestiegen ist. Infolgedessen sind Technologien wie RDMA offLasten und OVS/Check offLasten sind entscheidend geworden, um die CPU-Nutzung zu minimieren. Aus diesem Grund ist die ehemalige Nvidia-Sparte Mellanox eines der wenigen Unternehmen offHeute gibt es 400-Gbit/s-Adapter.
Ähnliche Produkte:
- OSFP-400G-SR4-FLT 400G OSFP SR4 Flat Top PAM4 850 nm 30 m auf OM3/50 m auf OM4 MTP/MPO-12 optisches Multimode-FEC-Transceiver-Modul $900.00
- OSFP-400G-DR4 400G OSFP DR4 PAM4 1310nm MTP/MPO-12 500m SMF FEC Optisches Transceiver-Modul $900.00
- OSFP-400G-SR8 400G SR8 OSFP PAM4 850nm MTP/MPO-16 100m OM3 MMF FEC Optisches Transceiver-Modul $480.00
- NVIDIA Mellanox MCX653105A-ECAT-SP ConnectX-6 InfiniBand/VPI-Adapterkarte, HDR100/EDR/100G, Single-Port QSFP56, PCIe3.0/4.0 x16, hohe Halterung $690.00
- NVIDIA MCX623106AN-CDAT SmartNIC ConnectX®-6 Dx EN Netzwerkschnittstellenkarte, 100 GbE Dual-Port QSFP56, PCIe4.0 x 16, hohe und kurze Halterung $1200.00
- NVIDIA Mellanox MCX75510AAS-NEAT ConnectX-7 InfiniBand/VPI-Adapterkarte, NDR/400G, Single-Port-OSFP, PCIe 5.0x 16, hohe Halterung $1650.00
- NVIDIA MMA1Z00-NS400 kompatibles 400G QSFP112 SR4 PAM4 850 nm 100 m MTP/MPO-12 OM3 FEC optisches Transceiver-Modul $650.00
- NVIDIA MMA4Z00-NS400 kompatibles 400G OSFP SR4 Flat Top PAM4 850 nm 30 m auf OM3/50 m auf OM4 MTP/MPO-12 Multimode FEC optisches Transceiver-Modul $900.00
- NVIDIA MMS4X00-NS400 kompatibles 400G OSFP DR4 Flat Top PAM4 1310 nm MTP/MPO-12 500 m SMF FEC optisches Transceiver-Modul $1350.00
- QDD-OSFP-FLT-AEC2M 2 m (7 Fuß) 400G QSFP-DD zu OSFP Flat Top PAM4 Aktives elektrisches Kupferkabel $1500.00
- OSFP-FLT-400G-PC2M 2 m (7 Fuß) 400G NDR OSFP zu OSFP PAM4 Passives Direktanschlusskabel, flache Oberseite an einem Ende und flache Oberseite am anderen Ende $125.00
- OSFP-FLT-400G-PC3M 3 m (10 Fuß) 400G NDR OSFP zu OSFP PAM4 Passives Direktanschlusskabel, flache Oberseite an einem Ende und flache Oberseite am anderen Ende $135.00
- NVIDIA MCA7J60-N004 kompatibles 4 m (13 Fuß) 800G Twin-Port OSFP zu 2x400G OSFP InfiniBand NDR Breakout Aktives Kupferkabel $800.00
- NVIDIA MCP7Y00-N003-FLT-kompatibler 3 m (10 Fuß) 800G Twin-Port OSFP zu 2x400G Flat Top OSFP InfiniBand NDR Breakout DAC $495.00
- QSFP-DD-400G-SR4 QSFP-DD 400G SR4 PAM4 850 nm 100 m MTP/MPO-12 OM4 FEC Optisches Transceiver-Modul $600.00
- NVIDIA MFP7E10-N010-kompatibel, 10 m (33 Fuß), 8 Fasern, geringe Einfügungsdämpfung, Buchse auf Buchse, MPO-Stammkabel, Polarität B, APC auf APC LSZH, Multimode OM3 50/125 $47.00