Warum erfordern GPU-Server HBM?

HBM, kurz für High Bandwidth Memory, ist eine leistungsstarke 3D-Stacked-DRAM-Technologie, die hauptsächlich dazu dient, die hohen Anforderungen an Speicherbandbreite und -kapazität von Hochleistungsrechnern und Grafikprozessoren (GPUs) zu erfüllen. Die HBM-Technologie wurde von AMD und Hynix gemeinsam entwickelt und erstmals 2013 angekündigt.

Da die Rechenanforderungen weiter wachsen, haben herkömmliche Speichertechnologien Schwierigkeiten, den steigenden Anforderungen an Speicherbandbreite und -kapazität gerecht zu werden, die für Hochleistungsrechnen (HPC) und GPUs erforderlich sind. Vor diesem Hintergrund erwies sich die High Bandwidth Memory (HBM)-Technologie als innovative Lösung zur Bewältigung dieser Herausforderungen.

HBM ist eine 3D-gestapelte DRAM-Technologie, die mehrere gestapelte DRAM-Chips mithilfe hochdichter Through-Silicon Vias (TSVs) und Mikrobump-Technologien vertikal miteinander verbindet. Dieses Design erhöht die Speicherbandbreite und -kapazität erheblich und reduziert gleichzeitig die physische Größe der Speichermodule. Im Vergleich zu herkömmlichem GDDR5-Speicher hat HBM aufgrund seines kompakten Designs und der effizienten Datenübertragung typischerweise einen geringeren Stromverbrauch.

Derzeit werden HBM-Produkte in der Reihenfolge HBM (erste Generation), HBM2 (zweite Generation), HBM2E (dritte Generation), HBM3 (vierte Generation) und HBM3E (fünfte Generation) entwickelt, wobei das neueste HBM3E eine erweiterte Version ist von HBM3. GPUs verfügen heute üblicherweise über 2/4/6/8 HBM-Stapel, wobei bis zu 12 Schichten in drei Dimensionen gestapelt sind.

Am 26. Februar Micron Technology offkündigte offiziell die Massenproduktion des HBM3E-Speichers mit hoher Bandbreite an. Das 24 GB 8H HBM3E-Produkt wird an NVIDIA geliefert und auf der H200 Tensor Core GPU von NVIDIA eingesetzt. Der HBM3E von Micron verfügt derzeit über eine Kapazität von 24 GB, mit einer Pin-Geschwindigkeit von über 9.2 Gbit/s und bietet eine Speicherbandbreite von über 1.2 TB/s. offBlitzschnelle Datenzugriffsgeschwindigkeiten für KI-Beschleuniger, Supercomputer und Rechenzentren.

Derzeit nutzen alle gängigen KI-Trainingschips HBM, wobei eine GPU mit mehreren HBMs gepaart ist. Am Beispiel der neu veröffentlichten H200 von NVIDIA ist diese GPU mit sechs Micron HBM3E 24GB-Hochgeschwindigkeitsspeichermodulen ausgestattet. Logischerweise sollte die Speicherkapazität des H200 246 = 144 GB betragen und die Speicherbandbreite sollte 1.26 = 7.2 TB/s betragen. Allerdings sind die Spezifikationen auf NVIDIAs veröffentlicht offAuf der offiziellen Website werden nur 141 GB Speicher angezeigt, keine Ganzzahl, und die Speicherbandbreite beträgt nur 4.8 TB/s. Dies ist auf Massenproduktionsgründe zurückzuführen, bei denen NVIDIA einen kleinen Teil als Redundanz reserviert, um die Ausbeute zu verbessern.

HBM entwickelt sich kontinuierlich weiter, wobei die Iterationsrichtung auf die Erhöhung der Kapazität und Bandbreite abzielt. Derzeit liegt die höchste Anzahl an Schichten bei 12. SK Hynix brachte 2014 das weltweit erste HBM auf den Markt, gefolgt von HBM2 im Jahr 2018 und bringt seitdem alle zwei Jahre eine neue Generation von HBM auf den Markt. Die neueste massenproduzierte Version ist HBM3e, und der ursprüngliche Hersteller beschleunigt Forschung und Entwicklung, wobei HBM4 möglicherweise einen 16-Schichten-Stack einführt. In Bezug auf die I/O-Anzahl (Busbreite) behalten HBM1 bis HBM3e alle 1024 Bit bei, während die Datenübertragungsrate von 1 Gbit/s für HBM1 auf 9.2 Gbit/s für HBM3e gestiegen ist, wodurch letztendlich eine Bandbreitensteigerung von 128 GB/s erreicht wurde für HBM1 bis 1.2 TB/s für HBM3e. Die Standards für HBM4 sind derzeit unbestimmt, aber es wird allgemein erwartet, dass HBM4 maximal 16 gestapelte Schichten und eine Busbreite von 2048 Bit haben wird.

Der HBM-Markt wird hauptsächlich von drei großen Speichergiganten dominiert:

SK Hynix: Als einer der Hauptentwickler der HBM-Technologie nimmt SK Hynix eine führende Position im HBM-Bereich ein. Das Unternehmen war nicht nur an der frühen Entwicklung von HBM beteiligt, sondern treibt auch weiterhin die Weiterentwicklung der Technologie voran, beispielsweise HBM2, HBM2E und HBM3. Die Innovations- und Massenproduktionsfähigkeiten von SK Hynix in der HBM-Technologie haben es zum Hauptlieferanten von HBM für NVIDIAs KI-Chips mit dem höchsten Marktanteil gemacht.

Samsung Electronics: Samsung Electronics ist eines der weltweit führenden Halbleiterunternehmen und verfügt außerdem über starke Forschungs-, Entwicklungs- und Produktionskapazitäten in der HBM-Technologie. Samsung Electronics hat stark in die Entwicklung von HBM investiert und seine Produktionskapazität aktiv erweitert, um der Marktnachfrage gerecht zu werden. Samsungs Fortschritte in der HBM-Technologie, einschließlich der Entwicklung von Produkten mit höherer Dichte und größerer Kapazität, haben eine Schlüsselrolle bei der Verbesserung seiner Wettbewerbsfähigkeit im Bereich Hochleistungsrechnen und KI gespielt. Samsung konzentriert sich auf die Erfüllung von Aufträgen anderer Cloud-Service-Anbieter. Aufgrund der steigenden Kundenaufträge wird erwartet, dass sich der Marktanteilsunterschied zwischen Samsung und SK Hynix bei HBM3 erheblich verringern wird, wobei der Marktanteil beider Unternehmen im Zeitraum 2023–2024 voraussichtlich gleich sein wird. halten zusammen etwa 95 % des HBM-Marktanteils.

Micron Technology: Micron hat aufgrund von Fehleinschätzungen in der Technologieausrichtung einen relativ geringen Marktanteil im HBM-Markt und befindet sich im Aufholprozess. Obwohl Micron später als SK Hynix und Samsung Electronics in den HBM-Markt einstieg, startete das Unternehmen direkt mit HBM3E und steigerte schnell seine technologische Stärke, was eine Herausforderung für die bestehende Marktstruktur darstellte. Die Verwendung von Micron durch NVIDIA im H200 ist eine bedeutende Anerkennung seiner Fähigkeiten.