Detaillierte Analyse und Leistungsprofilierung des NV-Switches

Die GPU-Technologie von NVIDIA ist in der heutigen Hochleistungs-Computerlandschaft zweifellos ein Glanzstück. Mit der rasanten Entwicklung von künstlicher Intelligenz und maschinellem Lernen steigt der Bedarf an Rechenleistung weiter an, wodurch die Interkonnektivität zwischen GPUs immer wichtiger wird. Vor diesem Hintergrund hat NVIDIA das NVLink-Protokoll und die auf dieser Technologie basierende Multi-GPU-Interconnect-Lösung eingeführt: NV Switch.

Dieser Abschnitt befasst sich eingehend mit der Entwicklungsgeschichte, den Funktionsprinzipien und der Schlüsselrolle von NV-Switches beim Aufbau leistungsstarker Servercluster und enthüllt die geheimnisvollen Aspekte dieser Technologie.

Warum ein NV-Switch erforderlich ist

Da die Rechenkapazität einzelner GPUs an die physikalischen Grenzen stößt, ist die Zusammenarbeit mehrerer GPUs ein unvermeidlicher Trend.

Der Zugriff auf den HBM2-Speicher anderer GPUs erfordert jedoch die Nutzung der PCIe-Schnittstelle. Wie im obigen Diagramm dargestellt, weisen herkömmliche PCIe-Schnittstellen Einschränkungen bei Datenübertragungsraten und Bandbreite auf, was häufig zu Leistungsengpässen bei der GPU-Kommunikation führt. Um diese Einschränkung zu überwinden, hat NVIDIA die NVLink-Technologie entwickelt, die die zehnfache Bandbreite von PCIe bietet. Sie ermöglicht die Verbindung von acht GPUs innerhalb eines einzigen Servers über Punkt-zu-Punkt-Netzwerke, wodurch ein gemischtes Gitternetz entsteht.

Der Hauptvorteil von NVLink besteht darin, dass herkömmliche CPU-Zuweisungs- und Planungsmechanismen umgangen werden, wodurch ein direkter Datenaustausch zwischen GPUs ermöglicht wird. Dieses Design reduziert die Datenübertragungslatenz und verbessert den Gesamtsystemdurchsatz erheblich. Darüber hinaus ermöglichen NVlink GPCs den Zugriff auf HBM2-Speicherdaten zwischen Karten und die Interaktion mit HBM2-Daten innerhalb anderer GPUs.

In Multi-GPU-Systemen dient NVLINK auch als XBARs und fungiert als Brücke zwischen verschiedenen GPUs, sodass Daten frei fließen können. Konflikte mit dem PCIe-Bus werden auf clevere Weise vermieden, sodass NVLink und PCIe als komplementäre Lösungen koexistieren können und gemeinsam die erforderlichen Datenübertragungsfunktionen für das System bereitstellen.

NV Switch baut auf dieser Grundlage auf und unterstützt vollständig blockierungsfreie, vollständig vernetzte GPU-Systeme. Durch die Bereitstellung weiterer NVLink-Schnittstellen ohne GPU-Zwischensprünge ermöglicht es eine GPU-Vernetzung in größerem Maßstab, was zu leistungsfähigeren Computerclustern führt.

Im Rahmen der technologischen Entwicklung von NVIDIA wurde NVLink erstmals in der Pascal-Architektur eingeführt, wodurch die GPU-Kommunikationseffizienz durch die Schaffung eines Hochgeschwindigkeitskanals erheblich verbessert wurde. Der wahre Sprung erfolgte jedoch mit der Volta-Architektur der nächsten Generation, die mit der Geburt von NVSwitch einherging.

NVSwitch fungiert als intelligenter Hub im Datenübertragungsnetzwerk, unterstützt zusätzliche NVLink-Verbindungen und ermöglicht die vollständige Verbindung mehrerer GPUs. Dadurch werden die Effizienz und Flexibilität des Datenaustauschs erheblich optimiert.

Wie in der Abbildung dargestellt, erreichte die Volta-Architektur eine Kommunikation von 300 GB/s zwischen GPUs, während die Hopper-Architektur sogar 900 GB/s erreichte. Dieser Erfolg beruht auf der deutlichen Erhöhung der Anzahl der NVLink-Verbindungen von 6 bei Volta auf 18 bei Hopper. Dies ist vergleichbar mit dem Hinzufügen von Überführungen und Kreisverkehren zur ursprünglichen Autobahn, ermöglicht einen effizienteren Datenfluss zwischen GPUs und bietet robuste Unterstützung für Hochleistungsrechnen und parallele Verarbeitung im großen Maßstab.

Das obige Diagramm veranschaulicht die Architektur der GPU-Verbindungen in DGX-Servern. In DGX-1 P100 gibt es 8 GPU-Karten, die jeweils 4 NVLink-Verbindungen unterstützen, die eine Hochgeschwindigkeitskommunikation zwischen GPUs ermöglichen. Diese GPUs sind in zwei Würfelnetze organisiert, wobei jeder Würfel 4 GPUs enthält (GPU 0–3 und GPU 4–7). Innerhalb jedes Würfels können GPUs direkt über NVLink oder über einen PCIe-Switch kommunizieren. Die Kommunikation zwischen Würfeln (z. B. zwischen GPU 0 und GPU 4) erfordert jedoch eine indirekte Weiterleitung über andere GPUs.

DGX-2 führte die NVSwitch-Technologie der ersten Generation von NVIDIA ein, eine bedeutende Weiterentwicklung, die eine effizientere Kommunikation zwischen GPUs ermöglicht. In der Volta-Architektur unterstützt jede GPU-Karte 6 NVLink-Verbindungen (anstatt 4). Darüber hinaus verbindet DGX-6 durch die Integration von 2 NVSwitches alle GPUs im Server und ermöglicht so die gleichzeitige Kommunikation zwischen 8 GPU-Paaren ohne Zwischensprünge. Diese direkte Hochgeschwindigkeitskommunikation verbessert die Datenübertragungseffizienz und die allgemeine Rechenleistung erheblich.

DGX-A100 nutzt NVSwitch-Technologie der zweiten Generation. Im Vergleich zur ersten Generation bietet der NVSwitch der zweiten Generation eine höhere Kommunikationsbandbreite und geringere Latenz. In der A100-Architektur unterstützt jede GPU-Karte 12 NVLink-Verbindungen (dritte Generation) und 6 NVSwitches erstellen eine vollständig verbundene Netzwerktopologie. Obwohl die Standardkonfiguration von DGX A100 nur 8 GPU-Karten umfasst, kann das System erweitert werden, um mehr A100-GPUs und NVSwitches für Supercomputing im größeren Maßstab zu unterstützen.

DGX-H100 verwendet NVSwitch-Technologien der dritten und NVLink-Technologien der vierten Generation. Jede GPU-Karte unterstützt 18 NVLink-Verbindungen. In der H100-Architektur werden 4 NVSwitches eingeführt, die eine geschichtete Topologie verwenden: Jede Karte verbindet sich mit dem ersten NVSwitch mit 5 Verbindungen, mit dem zweiten NVSwitch mit 4 Verbindungen, mit dem dritten NVSwitch mit 4 Verbindungen und mit dem vierten NVSwitch mit 5 Verbindungen. Dies ergibt insgesamt 72 NVLinks, die eine bidirektionale NVLink-Netzwerkbandbreite von 3.6 TB/s bieten, eine 1.5-fache Verbesserung gegenüber der vorherigen Generation.

Das ursprüngliche NVSwitch-Design zielte darauf ab, ein vollständig entsperrtes, vollständig vernetztes GPU-System für die parallele Verarbeitung im großen Maßstab zu schaffen. In der ersten Generation unterstützte NVSwitch 18 Schnittstellen, sodass bis zu 16 GPUs vollständig vernetzt werden konnten, um einen effizienten Datenaustausch und eine effiziente Kommunikation zu ermöglichen.

Wie im V100-Architekturdiagramm gezeigt, verfügt jede GPU über 6 NVLink-Kanäle, die mit NVSwitch verbunden sind und so ein Kommunikationsnetzwerk mit hoher Bandbreite bilden. Im DGX-2-System sind 8 V100-GPUs über diese NVLink-Kanäle mit 6 NVSwitches verbunden und bilden so ein leistungsstarkes Backbone.

Wie im obigen Diagramm gezeigt, verfügt in der V100-Architektur jede GPU über 6 NVLink-Kanäle, die eine Verbindung zu NVSwitch herstellen können, wodurch ein Kommunikationsnetzwerk mit hoher Bandbreite entsteht. Im DGX-2-System sind 8 V100-GPUs über diese NVLink-Kanäle mit 6 NVSwitches verbunden, wodurch ein leistungsstarkes Backbone entsteht.

Der NVSwitch der ersten Generation unterstützt die NVLink 2.0-Technologie, wobei jede Schnittstelle zwei Kanäle und eine Bandbreite von bis zu 50 GB/s bietet. Das bedeutet, dass das gesamte System durch NVSwitch eine beeindruckende Gesamtbandbreite von 900 GB/s erreicht, was die Datenübertragungsraten und die Rechenleistung deutlich verbessert.

Darüber hinaus wird NVSwitch im 12-nm-FinFET-FFN-Prozess von TSMC hergestellt, wodurch eine Leistung von 100 W erreicht werden kann und gleichzeitig bis zu 200 Millionen Transistoren integriert werden können.

In Bezug auf Schaltkreis-E/A und Verpackung ist NVSwitch in einem großen BGA-Chip mit 1940 Pins verpackt, von denen 576 speziell für die Unterstützung von 18 NVLink-Links vorgesehen sind. Die verbleibenden Pins übernehmen die Stromversorgung und verschiedene E/A-Schnittstellen, darunter x4 PCIe-Verwaltungsports, I2C und GPIO, und bieten flexible Verwaltungs- und Erweiterungsmöglichkeiten für das System.

Die spezifischen Parameter sind in der folgenden Tabelle aufgeführt:

NVLink bidirektionale Bandbreite Bis zu 50 GB/s

Tatsächliche Auslastung Bis zu 80%

NV-Schalterblock

Der anfängliche NVSwitch-Block, wie dargestellt, enthält den GPU XBAR auf der linken Seite. Es handelt sich um ein hochspezialisiertes Überbrückungsgerät, das für NVLink-Verbindungsumgebungen entwickelt wurde und den Datenfluss und -austausch zwischen mehreren GPUs ermöglicht, während es sich extern als eine einzige GPU präsentiert. Durch GPU XBAR können Client-Anwendungen die kollektive Leistung mehrerer GPUs nutzen und so die Komplexität der Verwaltung der GPU-zu-GPU-Kommunikation auf der Clientseite reduzieren.

Darüber hinaus verwendet GPU XBAR eine Puffertechnologie auf Basis von statischem Direktzugriffsspeicher (SRAM), um eine blockierungsfreie Datenübertragung zu erreichen. Dieser Puffermechanismus gewährleistet Kontinuität und Effizienz auch bei hoher Belastung.

Ausgehend von der V100-GPU hat NVIDIA die NVLink-IP-Blöcke und das XBAR-Design wiederverwendet, um die Kompatibilität zwischen verschiedenen Produktgenerationen sicherzustellen und eine kontinuierliche Iteration und Optimierung der NVLink-Technologie zu ermöglichen, während gleichzeitig Entwicklungskosten und -zeit reduziert wurden.

Das Diagramm veranschaulicht auch, wie NVSwitch und GPUs Daten über die gesamte GPU verteilen und übertragen. Beim Programmieren arbeiten Entwickler normalerweise mit virtuellen Adressen, die vom Betriebssystem verwaltet und abstrahiert werden und unabhängige Adressräume für verschiedene Programme bereitstellen. Daten werden jedoch physisch mithilfe physischer Adressen im Speicher gespeichert. Diese physischen Adressen verweisen direkt auf bestimmte Speicherorte und bilden die Grundlage für den Datenzugriff. Bei der Datenübertragung über NVLink werden, wie im Diagramm dargestellt, physische Adressen anstelle von virtuellen Adressen verwendet. Diese Wahl beschleunigt die Datenindizierung und die Zugriffsgeschwindigkeit.

NVSwitch bietet als Brückengerät für NVLink nicht nur einen Kommunikationspfad mit hoher Bandbreite, sondern verwaltet auch komplexe Routing- und Puffermechanismen, um sicherzustellen, dass Datenpakete basierend auf der richtigen physischen Adresse präzise und schnell an ihr Ziel übertragen werden. Die Verwendung physischer Adressen für die NVLink-Kommunikation reduziert den Bedarf an Adressübersetzung auf der Ziel-GPU, wodurch die Latenz verringert und die Datenübertragungsraten verbessert werden. Dies ist entscheidend für Hochleistungsrechner und KI-Anwendungen, die eine schnelle Verarbeitung großer Datenmengen erfordern.

NVSwitch: Vereinfachungsprinzipien und -funktionen

In Konfigurationen ohne NVSwitch werden bei direkten GPU-zu-GPU-Verbindungen normalerweise NVLinks in mehreren Gruppen (als „Gangs“ bezeichnet) zusammengefasst. In diesem Setup kommunizieren mehrere GPUs über gemeinsam genutzte NVLink-Links. Eine Einschränkung dieses Ansatzes besteht jedoch darin, dass die maximale Bandbreite zwischen zwei beliebigen GPUs durch die NVLink-Menge und die Bandbreite innerhalb ihrer jeweiligen Gangs begrenzt ist.

Die Einführung von NVSwitch und seine Verbesserungen Die NVSwitch-Technologie von NVIDIA revolutioniert die Kommunikation zwischen GPUs. Als Hochgeschwindigkeitsschalter ermöglicht NVSwitch die Dateninteraktion über alle Links hinweg.

In der NVSwitch-Architektur können beliebige GPU-Paare direkt miteinander verbunden werden, und solange die Gesamtbandbreite von sechs NVLinks nicht überschritten wird, wird der einzelne GPU-Verkehr ohne Blockierung übertragen. Dies bedeutet, dass die vollständig vernetzte Architektur, die von NVSwitch unterstützt wird, eine einfache Skalierbarkeit des Systems ermöglicht, um mehr GPUs unterzubringen, ohne die Leistung zu beeinträchtigen. Jede GPU kann die hohe Bandbreite nutzen, die NVLink für einen schnellen Datenaustausch bietet.

Vorteile und Funktionen von NVSwitch in der Multi-GPU-Verbindung:

Skalierbarkeit und Erweiterbarkeit: Die Einführung von NVSwitch verbessert die Skalierbarkeit von GPU-Clustern erheblich. Durch einfaches Hinzufügen weiterer NVSwitches kann das System nahtlos zusätzliche GPUs unterstützen und so die Rechenkapazität erweitern.

Effizienter Systemaufbau: Beispielsweise können acht GPUs mithilfe von drei NVSwitches effizient miteinander verbunden werden. Dieses Design ermöglicht einen freien Datenfluss über alle GPU-Verbindungen und maximiert so die Flexibilität und Effizienz der Datenzirkulation.

Bidirektionale Bandbreitennutzung: In dieser Konfiguration kann jedes GPU-Paar die volle bidirektionale Bandbreite von 300 GB/s für die Kommunikation nutzen. Jede GPU erreicht eine schnelle Datenübertragung mit geringer Latenz, was die Verarbeitungsgeschwindigkeit von Rechenaufgaben erheblich verbessert.

Nicht blockierende Kommunikation: Der Crossbar-Switch (XBAR) im NVSwitch bietet einen einzigartigen Pfad von Punkt A nach Punkt B für die Datenübertragung. Dieses Design gewährleistet eine blockierungs- und störungsfreie Kommunikation und verbessert so die Zuverlässigkeit der Datenübertragung und die Gesamtsystemleistung weiter.

Optimierte Netzwerktopologie: NVSwitch unterstützt Netzwerktopologiestrukturen, die optimierte Lösungen für den Aufbau großer GPU-Cluster bieten. Systemdesigner können GPU-zu-GPU-Verbindungen flexibel basierend auf spezifischen Rechenanforderungen konfigurieren.

NVSwitch der dritten Generation

Wie im Diagramm dargestellt, wird der NVSwitch der dritten Generation im 4N-Prozess von TSMC hergestellt. Trotz einer großen Anzahl von Transistoren und einer hohen Bandbreite weist er einen relativ geringen Stromverbrauch auf. Er verfügt über 64 NVLink 4-Verbindungsports und ermöglicht so den Aufbau komplexer Netzwerke mit zahlreichen GPUs bei gleichzeitiger Aufrechterhaltung der Hochgeschwindigkeitskommunikation zwischen den einzelnen GPUs. Darüber hinaus unterstützt er eine bidirektionale Bandbreite von 3.2 TB/s, was die Datenübertragungsraten deutlich verbessert und die parallele Verarbeitung großer Datensätze effizienter macht.

Neben dem Anschluss mehrerer GPU-Karten innerhalb eines Servers kann der NVSwitch der dritten Generation auch erweitert werden, um GPU-Server extern anzuschließen und so komplette Hochgeschwindigkeits-GPU-Cluster zu bilden. Ein physischer Switch, der aus NVSwitch-Chips der dritten Generation besteht, kann Cluster mit bis zu 256 H100-GPUs erstellen und so eine Gesamtbandbreite von 57.6 TB/s bereitstellen.

In Bezug auf die Signaltechnologie wird 50-Gbaud-PAM4-Signalisierung verwendet, wobei jedes Differenzpaar eine Bandbreite von 100 Gbit/s bereitstellt und so eine Hochgeschwindigkeitsübertragung und geringe Latenz gewährleistet.

NVSwitch integriert NVIDIA SHARP-Technologie, einschließlich Operationen wie all_gather, reduce_scatter und Broadcast Atomics, beschleunigt die Clusterkommunikation und verbessert die Leistung weiter. Die physische elektrische Schnittstelle von NVSwitch 3.0 ist mit 400 Gbps Ethernet und InfiniBand kompatibel und gewährleistet so die Interoperabilität mit vorhandenen Netzwerktechnologien.

NVIDIAs NVSwitch der dritten Generation führt mehrere innovative Funktionen ein. Die Integration des neuen SHARP-Moduls und des NVLink-Moduls verbessert die effiziente Kommunikation und Datenverarbeitung zwischen GPUs erheblich, wie im Diagramm dargestellt.

Neues SHARP-Modul

Das neu eingeführte SHARP-Modul fungiert als intelligenter Dirigent und leitet mit seinen leistungsstarken Verarbeitungsfunktionen eine Symphonie von Daten. Es unterstützt verschiedene Operatoren, von logischen bis zu arithmetischen Operationen, und ist mit mehreren Datenformaten wie FP16 und BF16 kompatibel. Dadurch wird eine robuste Unterstützung für KI- und maschinelle Lern-Workloads geboten. Das Design des SHARP-Controllers ermöglicht die parallele Verwaltung von bis zu 128 SHARP-Gruppen, ähnlich einer tausendarmigen Multitasking-Gottheit, wodurch die Effizienz der parallelen Datenverarbeitung erheblich verbessert wird.

Der Crossbar-Switch (XBAR) im NVSwitch wurde sorgfältig angepasst und optimiert und entspricht perfekt den Datenübertragungsanforderungen des SHARP-Moduls. Dieses kollaborative Design gewährleistet eine effiziente Datenübertragung mit geringer Latenz zwischen den GPUs und treibt die Gesamtleistung des Systems wie ein galoppierendes Ross voran.

Neues NVLink-Modul

Das integrierte neue NVLink-Modul bietet nicht nur zusätzlichen Schutz für Daten und Chips und fungiert als robuster Schutzschild gegen unbefugten Zugriff und potenzielle Datenlecks, sondern verbessert auch die Datensicherheit. Die Einführung der Portpartitionierung isoliert wie ein strategischer Schachzug verschiedene Ports in separate NVLink-Netzwerke, bietet so mehr Flexibilität für die logische Ressourcenpartitionierung über verschiedene Netzwerke hinweg und optimiert Multitasking-Fähigkeiten.

Die Unterstützung der nächsten Generation von Octal Small Formfactor Pluggable (OSFP)-Kabeln gewährleistet eine solide Grundlage für zukünftige Netzwerkerweiterungen. Diese Kabel bieten höhere Datenübertragungsraten und geringere Signaldämpfung, wodurch sie sich für Hochgeschwindigkeitskommunikation über große Entfernungen eignen und unbegrenzte Möglichkeiten für die Netzwerkskalierung ermöglichen.

Das neue NVLink-Modul erweitert außerdem die Telemetriefunktionen, sodass Systemadministratoren die Netzwerkleistung präzise überwachen und optimieren und so einen stabilen Systembetrieb gewährleisten können. Die integrierte Vorwärtsfehlerkorrektur (FEC) fungiert als wachsamer Wächter und verbessert die Zuverlässigkeit der Datenübertragung, insbesondere bei Signaldämpfung oder Störungen, und garantiert Datenintegrität und -genauigkeit.

Vergleich von InfiniBand (IB)- und NVLink-Netzwerken für H100-GPUs

Wenn H100-GPUs NVLink-Netzwerke nutzen, wie viel schneller sind sie dann im Vergleich zu A100-GPUs mit IB-Netzwerken? Vergleichen wir die Bandbreite zwischen DGX A100 256 POD und DGX H100 256 POD:

DGX A100 Interne Bandbreite:

Jeder DGX A100: 8/2 * 600 GB/s = 2400 GB/s

Über 32 DGX A100s (256 A100 GPUs), unter der Annahme von 8x 200 Gbit/s HDR-NICs pro Server und einem TOR-Switch-Konvergenzverhältnis von 4:1:

Gesamtbandbreite = 256/2/4 * 200 GB/s = 6400 GB/s

DGX H100 Interne Bandbreite:

Jeder DGX H100: 8/2 * 900 GB/s = 3600 GB/s

Über 32 DGX H100s (256 H100 GPUs) mit einem Konvergenzverhältnis von 2:1:

Gesamtbandbreite = 256/2/2 * 900 GB/s = 57600 GB/s

Im Vergleich zu DGX A100 bietet ein einzelner DGX H100 eine 1.5-fache Bandbreitenerhöhung und eine 3-fache Erhöhung der bidirektionalen Bandbreite. Mit 32 DGX H100 kann die Bandbreite pro Spur um das 9-fache und die bidirektionale Bandbreite um das 4.5-fache verbessert werden.

Zusammenfassung

Im heutigen datengesteuerten Zeitalter verschiebt die Nachfrage nach Hochleistungsrechnen weiterhin die technologischen Grenzen. Die NVSwitch-Technologie von NVIDIA, die als Kommunikationsbrücke zwischen GPUs dient, spielt eine entscheidende Rolle beim Aufbau effizienter Rechencluster. Von der Einführung des ersten NVSwitch bis zu den Innovationen der dritten Generation ist NVIDIAs unermüdliches Streben nach Recheneffizienz offensichtlich. NVSwitch verbessert nicht nur die Bandbreite und Geschwindigkeit der Datenübertragung, sondern stärkt auch die Datenverarbeitungsfunktionen und die Systemsicherheit durch SHARP- und NVLink-Module. Seine Präsenz ermöglicht eine effizientere Zusammenarbeit von Multi-GPU-Systemen und bietet robuste Unterstützung für Bereiche wie künstliche Intelligenz, maschinelles Lernen und Big Data Analytics. Mit fortschreitender Technologie wird NVSwitch in der Hochleistungsrechnerlandschaft eine zentrale Rolle spielen und die Innovationskraft von NVIDIA symbolisieren und den Branchenfortschritt vorantreiben. Geleitet von NVSwitch erwarten wir eine intelligentere, effizientere und vernetztere Zukunft.