Wie NVIDIA GB200 800G/1.6T DAC/ACC nutzt

NVIDIA hat die neuesten Rechensysteme der GB200-Serie mit deutlich verbesserter Leistung herausgebracht. Diese Systeme nutzen sowohl Kupfer- als auch optische Verbindungen, was auf dem Markt zu zahlreichen Diskussionen über die Entwicklung von „Kupfer“- und „optischen“ Technologien führte.

Momentane Situation: Die GB200-Serie (einschließlich der vorherigen GH200-Serie) ist NVIDIAs „Superchip“-System. Im Vergleich zu herkömmlichen Servern verfügt das System über eine größere Granularität: 36 oder 72 GPUs sind hauptsächlich über elektrische Signale im Gehäuse verbunden. Extern nutzen sie sowohl NVLink- als auch InfiniBand-Netzwerke.

Die Wahl zwischen Kupfer und Glasfaser ist im Wesentlichen ein Kompromiss zwischen Entfernung und Geschwindigkeit.

Reduziert GB200 die Bedeutung der optischen Kommunikation?

Basierend auf dem GH200 ist das Zielszenario für das GB200 NVL72-System eher auf große Cluster, Clouds und plattformartige Kunden ausgerichtet – was NVIDIA als „AI Cloud/AI Factory“ definiert. Die erwartete Form ist ein Cluster mit mehreren Kabinetten, in dem Netzwerke zwischen Kabinetten bestehen 800G oder mehr würde zu massiven elektrischen Verlusten führen, was eine optische Kommunikation erforderlich macht.

Für kleine bis mittlere Kunden, die möglicherweise nur ein einziges GB200-System einsetzen, ist die Machbarkeit jedoch fraglich, und herkömmliche Server oder cloudbasierte Lösungen könnten bessere Optionen sein (ebenfalls Teil der Differenzierungsstrategie von NVIDIA).

Das Designziel von GB200 ist: Ein einziger Schrank kann KI-Inferenz verarbeiten, was für die Bereitstellung der Cloud-Virtualisierung von Vorteil ist.

Die Mindesteinheit des GB200-Systems ist ein Schrank, und die Inferenzleistung wurde erheblich verbessert, wodurch massive Parameter, modalübergreifende, massive Token und Szenarien mit mehreren gleichzeitigen Inferenzen besser verarbeitet werden können, wodurch große verteilte Systeme mit einer GPU vermieden werden . Im Cloud-IDC-Szenario kann es den künftigen massiven Inferenzbedarf besser bewältigen (siehe die Auswertungen von AWS und MSFT).

Das Verständnis des Marktes für die Zunahme von Kupferverbindungen ist auf Folgendes zurückzuführen:

Zuvor verfügten die Cluster der H100-Serie nicht über schrankinterne Verbindungen, sondern über einen separaten Netzwerkschrank, und die Chiprate war relativ hoch, sodass es fast keine Kupferkabel für kurze Entfernungen gab.

Während bei der GB200-Serie zwar viele Kupferdrähte im Schrank vorhanden sind, ist der Bedarf an optischen Verbindungen in großen Clustern, wie der NVLink-Domäne und der optischen Verbindungserweiterung von IB, sehr groß, und der zukünftige Weg der Siliziumphotonik und Chip-zu-Chip-Optik-I/O ist bereits sehr klar.

F: Wie unterschied sich die Produkteinführung von NVIDIA auf der GTC-Konferenz von den Erwartungen?

A: Auf dieser GTC-Konferenz wurde GB200 zum Hauptprodukt, während die ursprünglich erwarteten B100- und B200-Produkte nicht wie erwartet auf den Markt kamen. Der GB200-Chip enthält 2 GPUs und 1 CPU. Das vorgestellte Hauptprodukt ist ein einzelnes Gehäuse mit 36 ​​GB200-Chips für den Servergebrauch. Im Vergleich zum GB200, der letztes Jahr auf den Markt kam, war dieser GB200 kein Standard-Cluster-Produkt, sondern nur ein einziges 36-Karten-Gehäuseprodukt.

F: Welche Rolle spielt die IP-Architektur in der GB200-Serie?

A: Bei einigen Großkunden, die schrankübergreifende Verbindungen benötigen, wird für externe Verbindungen die IP-Architektur verwendet. Der Unterschied zwischen GB200 und GB200 liegt jedoch in den internen Anschlüssen. GB200 verwendet elektrische M-Link-Verbindungen (dh Kupferverbindungen zwischen GPU und Switch) anstelle der Backplane-Verbindungsmethode des letzten Jahres. Huang betonte auf der Konferenz insbesondere die Vorteile von Kupferverbindungen bei der Kostenreduzierung und Leistungsdemonstration.

F: Auf der GTC-Konferenz gab Jensen Huang eine spezielle Erläuterung der Kupferverbindungslösung. Welche Vorteile bietet sie?

A: Dies ist das erste Mal, dass die Kupferverbindungslösung auf einer so wichtigen Konferenz speziell erläutert wird, was auch für alle ein großes Anliegen ist. Die GPUs sind über den Mlink verbunden, was die Verwendung von Kupferverbindungen bestätigt, und ihre Produktlösung ähnelt möglicherweise der Backplane-Verbindungsmethode des letzten Jahres. Huang betonte die Vorteile von Kupferverbindungen bei der Kostenreduzierung und Leistungsdemonstration.

F: Welche Auswirkungen hat die Einführung der GB200-Serie auf den Markt?

A: Als NVIDIAs neue Generation von GPU-Chips auf Serverebene werden die Leistungs- und Effizienzverbesserungen der GB200-Serie erhebliche Auswirkungen auf den Markt haben. Insbesondere die Einführung der Kupferverbindungslösung kann die interne Verbindungsmethode von GPU-Clustern verändern, Kosten senken und die Leistung verbessern. Darüber hinaus könnte der GB200 das Design und den Einsatz von Rechenzentren verändern und so die Entwicklung von künstlicher Intelligenz und Cloud Computing weiter vorantreiben.

F: Welche Vorteile bietet die GB200-Kupferverbindung?

A: Höhepunkte der GB200-Einführung: Der GB200-Einzelchip enthält 2 GPUs und 1 CPU, und das Hauptprodukt, das eingeführt wurde, ist ein einzelnes Gehäuseprodukt, das aus 36 GB200-Chips besteht. Dies zeigt, dass NVIDIA sich eher auf elektrische Verbindungen (Mlink) als auf optische Verbindungstechnologie konzentriert. Marktförderung und Erwartungen: GB200 wird weit verbreitet sein, im Gegensatz zum GH200, das noch nicht weit verbreitet ist. Laut Huangs Rede auf der Konferenz deuten mehrere potenzielle Großkunden darauf hin, dass GB200 hohe Volumenerwartungen hat. Der Markt geht allgemein davon aus, dass die Förderung von GB200 zu einer schrittweisen Erhöhung des Verhältnisses von optischen Modulen zu GPUs von 1:2.5 auf 1:9 führen könnte und das Verkaufsvolumen von GB200 im nächsten Jahr möglicherweise ein großes Wachstumspotenzial aufweist.

F: Was ist der Branchentrend bei Backplane-Steckverbindern?

A: Der Einsatz von Backplane-Anschlüssen nimmt bei KI-Servern, großen Switches und Routern allmählich zu. Die Technologie entwickelt sich auch in Richtung orthogonaler Zero-Backplane- und Cable-Backplane-Modi weiter. Backplane-Kabel bieten den Vorteil einer längeren Übertragungsdistanz und einer flexibleren Verkabelung, sind jedoch vergleichsweise teurer.

F: Wie sind die Nachfrage- und Preistrends für Backplane-Steckverbinder?

A: Die steigende Nachfrage nach KI-Servern treibt die Nachfrage nach Backplane-Anschlüssen voran. Die Umstellung auf den Kabel-Backplane-Modus hat auch den Wert erhöht, wobei der Gesamtwert 3–5 % der Kosten eines einzelnen Servers ausmacht. Daher zeigt die Branche einen Trend sowohl des Mengen- als auch des Preiswachstums.

F: Welche Auswirkungen hat die Einführung von GB200 auf die Branche der optischen Module?

A: Die Einführung von GB200 ist positiv für die optische Modulindustrie, da es den Bedarf an schrankübergreifenden Verbindungen erfüllt, der für die meisten Kunden besteht. Der aktuelle GB200 verfügt über eine bidirektionale Bandbreite von 1800G, und basierend auf einem 1.6T-Konfigurationsverhältnis beträgt das Verhältnis zu optischen Modulen etwa 1:9. Bei Verwendung der 800G-Lösung könnte das Verhältnis 1:18 erreichen. Der Wertunterschied ist nicht signifikant, aber da 1.6T OSFP-XD optische Module Da die Massenproduktion voraussichtlich im vierten Quartal erfolgen wird, sind die Kunden eher geneigt, die kostengünstigere 4-Tonnen-Lösung zu verwenden. Daher werden optische Module modernisiert, was den Trend von derzeit 1.6:1 auf 2.5:1 vorantreibt.

F: Was sind die Hauptunterschiede zwischen GB200 und GH200?

A: Der Hauptunterschied besteht darin, dass es sich bei der GH-Serie nicht um ein Großserienprodukt handelt, während GB200 ein breites Spektrum potenzieller Kunden hat, darunter Google, Meta, OpenAI, Microsoft, Oracle und Tesla. Das bedeutet, dass GB200 eine weitverbreitete Anwendung und Massenakzeptanz erfahren wird.

F: Wie hoch sind die Markterwartungen für die Nachfrage nach optischen 1.6T-OSFP-XD-Modulen im nächsten Jahr?

A: Die Markterwartung für die Nachfrage nach optischen 1.6T-OSFP-XD-Modulen im nächsten Jahr liegt zwischen 2 und 3 Millionen Einheiten, wobei unser Modell 2.5 Millionen prognostiziert. Dabei ist der zusätzliche Bedarf der eigenständigen B100- oder B200-Serie noch nicht berücksichtigt.

F: Welche Art von Verbindungslösung hat GB200 eingeführt?

A: GB200 hat eine Kupferverbindungslösung eingeführt, die die Kosten senkt. Insbesondere mit der großvolumigen Einführung von GB200 wird dies ein wichtiger Faktor für die steigende Nachfrage nach optischen Modulen werden.

F: Welchen Branchentrend spiegelte Huangs Präsentation auf der Konferenz wider?

A: Sein Vortrag auf der Konferenz kann als Widerspiegelung eines Branchentrends und nicht nur als kurzfristiges heißes Thema angesehen werden. Im Laufe der Zeit wird die Branche die Leistungserbringung der entsprechenden Unternehmen beobachten. Zuvor gab es auf dem Markt Debatten über Kupfer- und optische Verbindungslösungen, doch jetzt wurde bestätigt, dass GB200 die Kupfer-Verbindungslösung übernommen hat.

F: Was sind die wichtigsten Investitionsziele in der optischen Modulbranche?

A: Mit der großvolumigen Einführung von GB200 und der steigenden Nachfrage nach optischen 1.6T-OSFP-XD-Modulen wird FiberMall mehr Aufmerksamkeit erhalten.

F: Wie sind die Marktaussichten für die Kupferverbindungslösung?

A: Die Einstellung des Marktes gegenüber der Kupferverbindungslösung ändert sich. Die Tatsache, dass GB200 die Kupferverbindungslösung übernommen hat, deutet darauf hin, dass diese Lösung in Zukunft möglicherweise eine breitere Anwendung finden könnte. Angesichts der Leistungserbringung der relevanten Unternehmen lohnt es sich, auf die Marktaussichten der Kupferverbindungslösung zu blicken.

F: Was sind die Hauptunterschiede in Design und Anwendung zwischen GB200 und GH200?

A: Das GB200-Design integriert den Switch, den Server und die GPU mithilfe einer Blade-Server-ähnlichen Verbindungsmethode im selben Gehäuse. Die I/O-Schnittstellen des Switches sind auf der Vorderseite sichtbar, während die Verbindung zwischen Switch und GPU höchstwahrscheinlich über ein Kupfer-Backplane-Kabel erfolgt. Im Vergleich dazu verwendet GH200 ein separates Verbindungsdesign mit DAC (Direct Attach Cable).

F: Welche Rolle spielt das Kupfer-Backplane-Kabel beim Design des GB200?

A: Das Kupfer-Backplane-Kabel spielt eine entscheidende Rolle im GB200-Design, da es die Backplane-Anschlüsse verbindet und die Verbindung zwischen dem Switch und den GPU-Boards unterstützt. Dieses Design macht die Signalübertragung zwischen Server und Switch komfortabler.

F: Was sind die Hauptanwendungsgebiete von Backplane-Steckverbindern?

A: Backplane-Anschlüsse werden hauptsächlich in großen Switches, Routern und KI-Servern verwendet. Insbesondere bei modular aufgebauten Servern und großen Switches/Routern wird diese Subboard- und Backplane-Architektur häufiger vorkommen.

F: Wie sieht der Branchenentwicklungstrend bei Backplane-Steckverbindern aus?

A: Mit den Fortschritten im Server- und Switch-Design wird die Nachfrage nach Backplane-Steckverbindern voraussichtlich weiter steigen. Insbesondere in den Bereichen großer Switches, Router und KI-Server sind die Einsatzmöglichkeiten dieser Steckverbinder vielfältig.

F: Wie ist die Wettbewerbslandschaft auf der Angebotsseite?

A: Die Wettbewerbslandschaft auf der Angebotsseite für Backplane-Steckverbinder ist relativ stabil. FiberMall versorgt den Markt mit seiner umfassenden Produktionserfahrung und seinen starken Fähigkeiten im Bereich Supply Chain Management mit stabilen und qualitativ hochwertigen Backplane-Steckverbinderprodukten.

F: Wie wirkt sich das Design von GB200 auf die Nachfrage nach Backplane-Steckverbindern aus?

A: Das Design von GB200 hat die wachsende Nachfrage nach KI-Servern und großen Switches/Routern vorangetrieben, was wiederum die Nachfrage nach Backplane-Anschlüssen erhöht hat. In diesem Designparadigma von Servern und Switches wird die Nachfrage nach Backplane-Steckverbindern deutlich steigen.

F: Wie entwickeln sich Backplane-Steckverbinder auf ihrem technologischen Entwicklungspfad?

A: Backplane-Anschlüsse entwickeln sich in zwei Richtungen: der eine ist eine orthogonale Null-Backplane und der andere ist eine Kabel-Backplane. GB200 nutzt den Kabel-Backplane-Modus, zu dessen Vorteilen eine bessere Wärmeableitung, geringere Übertragungsverluste, eine längere Übertragungsentfernung und eine flexiblere Verkabelung gehören. Der Nachteil sind jedoch höhere Kosten.

F: Was ist die nachfrageseitige Logik für Backplane-Anschlüsse?

A: Die Nachfrage nach Backplane-Anschlüssen wird hauptsächlich von KI-Servern vorangetrieben, und der Kabel-Backplane-Modus hat einen deutlich höheren Wert als der herkömmliche Backplane-PCB-Modus. Derzeit macht der Wert von Backplane-Anschlüssen etwa 3–5 % der Kosten eines einzelnen Servers aus.

F: Wie sehen die zukünftigen Marktaussichten für Backplane-Steckverbinder aus?

A: Mit der rasanten Entwicklung von Technologien wie künstlicher Intelligenz und Big Data wird die Marktnachfrage nach Backplane-Steckverbindern weiter wachsen. In Zukunft wird der Markt für Backplane-Steckverbinder vor mehr Chancen und Herausforderungen stehen, und in- und ausländische Unternehmen müssen ihre technologische Forschung und Entwicklung sowie Produktinnovationen kontinuierlich stärken, um der Marktnachfrage gerecht zu werden und einen Wettbewerbsvorteil zu wahren.

F: Wird der in KI-Servern verwendete Kabel-Backplane-Modus zum Mainstream-Trend werden?

A: Ja, der in KI-Servern verwendete Kabel-Backplane-Modus wird sich voraussichtlich zu einem Mainstream-Trend entwickeln.