Auf einem kürzlich abgehaltenen Seminar prognostizierte LightCounting, dass die Liefermengen von optischen Transceivermodulen und optischen Schaltkreisschaltern (OCS) in den nächsten fünf Jahren explosionsartig ansteigen werden. Dieses Wachstum kann sich gelegentlich verlangsamen, dürfte sich danach aber schnell erholen. Derzeit werden jährlich mehrere zehn Millionen Stück an optischen KI-Clustermodulen ausgeliefert, wobei bis 100 ein Anstieg auf fast 2029 Millionen Einheiten erwartet wird. Die OCS-Lieferungen, die 10,000 2023 Einheiten erreichten, werden bis 50,000 voraussichtlich die Marke von 2029 Einheiten überschreiten.
Vor über einem Jahrzehnt begann Google, OCS in seinen Rechenknoten und KI-Clustern zu verwenden. Das Unternehmen hat kürzlich in mehreren Berichten die Vorteile von Architekturen hervorgehoben, die OCS unterstützen. Andere große KI-Cluster-Anbieter, darunter Nvidia und Microsoft, haben ebenfalls begonnen, OCS zu verwenden, und viele weitere Betreiber ziehen die Vorteile einer Nachahmung ernsthaft in Erwägung.
Die Nachfrage nach OCS wird zweifellos stark sein, da in Zukunft komplexere optische Switching-Anwendungen erwartet werden. Das Paketswitching stellt aufgrund fehlender praktischer Lösungen für die optische Pufferung eine Herausforderung dar, große Datenströme können jedoch optisch geleitet werden.
Bereits 2007 war Google das erste Unternehmen, das in seinen Rechenzentren optische Transceiver einsetzte. Trotz einer kurzen Unterbrechung aufgrund der Finanzkrise 2008-2009 nahm das Unternehmen die Einführung dieser Technologie 2010 wieder vollständig auf. Im letzten Jahrzehnt sind viele andere Cloud-Computing-Unternehmen dem Beispiel von Google gefolgt. Nvidia (Mellanox) bevorzugte bis vor zwei Jahren aktive optische Kabel (AOC), wurde jedoch 400 zum größten Verbraucher von 800G/2023G-Transceivern.
Nvidia verwendet jetzt optische Transceiver für Ethernet- und InfiniBand-Verbindungen zwischen Servern und Switches. Das Unternehmen kündigte vor zwei Jahren Pläne an, optische Geräte für NVLink-Verbindungen zu verwenden, und demonstrierte dies in einem seiner intern gebauten Cluster. Die für NVLink-Verbindungen erforderliche Bandbreite ist neunmal so hoch wie die von InfiniBand, sodass Kosten- und Stromverbrauchsreduzierungen für optische Geräte für diese neue Anwendung unerlässlich sind.
Wie in der folgenden Abbildung dargestellt, werden die KI-Clusterarchitekturen von Google und Nvidia verglichen. Die TPU-Cluster von Google benötigen keine Ethernet- oder InfiniBand-Switches, sondern verwenden OCS. Jede TPU kann direkt mit ihren sechs nächsten Nachbarn kommunizieren, und OCS kann diese eng verbundenen Netzwerke erweitern und neu konfigurieren. Im Gegensatz dazu basiert das Design von Nvidia stark auf InfiniBand-, Ethernet- und NVLink-Switches und erfordert mehr optische Verbindungen als das Design von Google.
Die Unterschiede in der KI-Clusterarchitektur zwischen Google und Nvidia führen zu unterschiedlichen Prioritäten für optische Verbindungen, wie in der Abbildung dargestellt. Google verwendet Optical Circuit Switches (OCS) und priorisiert ein höheres Link-Budget, um den optischen Verlust von 1.5 dB von OCS auszugleichen. Im Gegensatz dazu erhöhen FR4/FR8-Transceiver mit mehreren Wellenlängen den OCS-Durchsatz im Vergleich zu DR4/DR8-Modulen um das Vier- bis Achtfache.
Nvidia hingegen legt Wert auf Kosten- und Stromverbrauchsreduzierung, um die große Anzahl an Transceivern unterzubringen, die für seine Cluster erforderlich sind. Das Unternehmen unterstützt Linear Drive Pluggable Optics (LPO) und Co-Packaged Optics (CPO) sehr stark. Google ist weniger an LPO oder CPO interessiert, da es weiterhin ein Design mit durchschnittlich nur 1.5 Transceivern pro TPU verwendet. In Zukunft könnte Nvidia bis zu 10 Transceiver pro GPU benötigen, um NVLink über Glasfaser zu unterstützen.
LightCounting prognostiziert, dass Nvidia in den nächsten 2–3 Jahren LPO und/oder CPO einsetzen wird, wodurch der Stromverbrauch von 10–15 pJ/Bit auf 4–7 pJ/Bit gesenkt wird, um NVLink über Glasfaser zu erreichen, wie in der Abbildung dargestellt. Google hat bereits optische Geräte für die Inter-Core-Verbindung (ICI) zwischen TPUs verwendet.
Herausforderungen bei der Leistungsskalierung
Die Zuverlässigkeit aller Komponenten in KI-Clustern ist für die Skalierung dieser Systeme von entscheidender Bedeutung. Ein einziger GPU- oder Netzwerkverbindungsausfall kann die Effizienz des gesamten Clusters um 40 % reduzieren, und die Behebung solcher Ausfälle (durch Software) kann bis zu 10 Minuten dauern. Diese Ausfälle treten im Durchschnitt alle 30–45 Minuten auf und verschlimmern sich in größeren Clustern mit komplexeren GPUs und optischen Geräten.
Die Abbildung (Quelle: Meta) zeigt Transceiver-Fehleranalysedaten für 200G FR4- und 400G FR4-Module. Die direkt modulierte Laserdegradation ist die Hauptursache für Ausfälle von 200G-Modulen. Probleme mit extern modulierten Lasern, die in 400G-Transceiver sind weniger als allgemeine Fertigungsprobleme im Zusammenhang mit der Leiterplattenmontage und dem Drahtbonden. Ein stärker integriertes Design und eine stärker integrierte Fertigung auf Waferebene sind für die Verbesserung der Zuverlässigkeit optischer Geräte von entscheidender Bedeutung.
Bis Ende 202X wird die GPU-Leistung durch eine Kombination aus CMOS, Substrat- und Verpackungsmethoden, Chiparchitekturen und besseren Kühltechnologien voraussichtlich deutlich verbessert. Die Wärmeableitung dieser ultragroßen Chipkomponenten ist eine der vielen Herausforderungen, weshalb die Energieeffizienz für alle in KI-Clustern verwendeten Technologien von entscheidender Bedeutung ist. CMOS soll innerhalb der nächsten fünf Jahre von 5 nm auf 3 nm und 2 nm umgestellt werden, aber bei optischen Verbindungen wird immer noch nach Möglichkeiten gesucht, die Energieeffizienz zu verbessern.
LightCounting geht davon aus, dass Linearantriebsoptiken in den nächsten fünf Jahren in großem Maßstab eingesetzt werden, sei es als steckbare Transceiver (LPO) oder CPO. Die Branche wird neue Materialien und Geräte benötigen, um die Energieeffizienz weiter zu verbessern. Es könnte bis zu zehn Jahre dauern, bis einige neue Technologien verfügbar sind, aber einige werden innerhalb der nächsten fünf Jahre übernommen. Dies ist ein Wettrüsten, bei dem die Kunden bereit sind, größere Risiken einzugehen.