Was ist GDDR-Speicher?
GDDR (Graphics Double Data Rate) ist ein Speichertyp, der speziell für Grafikkarten entwickelt wurde. GDDR-Speicher ähnelt dem in den meisten Computern verwendeten DDR-Speicher, ist jedoch für Grafikkarten optimiert. GDDR-Speicher hat im Allgemeinen eine höhere Bandbreite als DDR-Speicher, was bedeutet, dass er mehr Daten gleichzeitig übertragen kann.
GDDR6 ist der neueste Speicherstandard für GPUs mit einer Spitzendatenrate pro Pin von 16 Gb/s. GDDR6 wird in den meisten GPUs verwendet, einschließlich der NVIDIA RTX 6000 Ada und der AMD Radeon PRO W7900, die auch 2024 noch in GPUs verwendet werden.
NVIDIA arbeitet außerdem mit Micron an GDDR6X, dem Nachfolger von GDDR6. Wir sagen das, weil es abgesehen von der Kodierung von NRZ zu PAM4 keine Hardwareänderungen zwischen den beiden gibt und NVIDIA der einzige Benutzer ist, gibt es keine Unterstützung durch die JEDEC-Industriestandardisierung. DDR6X erhöht die Bandbreite pro Pin auf 21 Gb/s. GDDR7 ist der nächste GDDR-Standard, der von allen weithin übernommen werden sollte.
Ab 2024 beträgt der maximale Speicherbus für GDDR6 und GDDR6X 384 Bit. Der GDDR-Speicher ist ein einzelner Chip, der auf die Leiterplatte rund um den GPU-Chip gelötet ist.
GDDR-Speicher
Was ist HBM-Speicher?
HBM steht für High Bandwidth Memory, ein neuer Speichertyp, der speziell für GPUs entwickelt wurde.
HBM-Speicher ist so konzipiert, dass er eine größere Speicherbusbreite als GDDR-Speicher bietet, was bedeutet, dass er mehr Daten gleichzeitig übertragen kann. Ein einzelner HBM-Speicherchip ist nicht so schnell wie ein einzelner GDDR6-Chip, macht ihn aber energieeffizienter als GDDR-Speicher, was bei mobilen Geräten ein wichtiger Aspekt ist.
Der HBM-Speicher befindet sich im Inneren des GPU-Gehäuses und ist gestapelt – HBM hat beispielsweise einen Stapel aus vier DRAMs (4-Hi) mit jeweils zwei 128-Bit-Kanälen und einer Gesamtbreite von 1024 Bit (4 * 2 Kanäle * 128 Bit). Da der HBM-Speicher als Speicherchipmodul in den GPU-Chip eingebaut ist, gibt es weniger Fehler und Platz. Daher kann eine einzelne GPU ihre Speicherkonfiguration nicht so einfach skalieren wie eine mit GDDR ausgestattete GPU.
Der neueste und am häufigsten verwendete HBM-Speicher ist HBM3 im NVIDIA H100 mit einem 5120-Bit-Bus und über 2 TB/s Speicherbandbreite. HBM3 ist auch im Konkurrenten AMD Instinct MI300X mit einem 8192-Bit-Bus und über 5.3 TB/s Speicherbandbreite vorhanden. Nvidia hat außerdem in seinen GH3 und H200 als erste Beschleuniger und Prozessoren neuen HBM200e-Speicher eingeführt, der über eine größere Speicherbandbreite verfügt. Diese mit HBM-Speicher ausgestattete Hardware wird in rasantem Tempo erneuert. Ein wichtiger Grund, warum Beschleuniger-GPUs wie H3 und MI100X HBM benötigen, ist die Interkonnektivität zwischen mehreren GPUs. Für die Kommunikation untereinander sind eine große Busbreite und schnelle Datenübertragungsraten entscheidend, um die Einschränkungen bei der Datenübertragung von einer GPU auf eine andere zu reduzieren.
HBM-Speicher
GDDR vs. HBM
Welcher Speichertyp ist besser für die GPU? Die Antwort ist, dass es vom jeweiligen Szenario abhängt.
Mit GDDR-Speicher ausgestattete GPUs sind normalerweise:
- Zugänglicher, da es sich um gängige GPU-Typen handelt
- Günstiger, da der GDDR direkt auf die Leiterplatte und nicht auf das GPU-Gehäuse gelötet ist.
- Die meisten Mainstream-Anwendungen nutzen die Speicherbandbreite nicht optimal, doch GDDR verbraucht im Allgemeinen mehr Energie und ist nicht so effizient.
Mit HBM-Speicher ausgestattete GPUs sind typischerweise:
- Weniger zugänglich, mehr Nische
- Sehr teuer, zu finden in Flaggschiff-Beschleunigern wie dem H100.
- Nur für HPC- und anspruchsvolle Workloads, die die meiste Bandbreite erfordern
- Effizient und bietet größere Busbreiten zur Parallelisierung der Raten pro Pin.
Die meisten Anwendungen benötigen keinen HBM-Speicher. Für Workloads, die große Datenmengen nutzen, ist eine höhere Speicherbandbreite von größter Bedeutung. Workloads wie Simulationen, Echtzeitanalysen, intensives KI-Training, komplexe KI-Inferenz und mehr können alle von der Nutzung einer größeren Speicherbandbreite profitieren.
Es ist auch wichtig zu bedenken, dass die schnellste GPU mit GDDR einwandfrei funktioniert, wenn die Workloads parallel zueinander laufen. NVIDIA RTX 6000 Ada ist eine leistungsstarke Flaggschiff-GPU, die sich mit einer Speicherbandbreite von 960 GB/s ideal für kleine bis mittelgroße KI-Trainings-, Rendering-, Analyse-, Simulations- und datenintensive Workloads eignet. Ihre Sockel sind Server oder Workstations mit Multi-GPU-Setups, bei denen die Arbeit parallelisiert und aufgeteilt werden kann, um eine noch höhere Leistung zu erzielen.
Mit HBM ausgestattete GPUs wie die NVIDIA H100 können die Produktivität in Unternehmensbereitstellungen jedoch erheblich steigern (wenn auch zu hohen Kosten). Höhere Leistung und weniger Wartezeit führen zu schnelleren Durchbrüchen. Bereitstellungen wie ChatGPT nutzen Cluster von H100s, die zusammenarbeiten, um Echtzeit-Inferenzen durchzuführen und KI-Funktionen für Millionen von Benutzern gleichzeitig zu generieren, Eingabeaufforderungen zu verarbeiten und Echtzeit-Ausgaben zu liefern.
Ohne schnellen Speicher mit hoher Bandbreite und Spitzenleistung können Unternehmensbereitstellungen zu langsam werden, um genutzt zu werden. Ein gutes Beispiel hierfür ist die Einführung von ChatGPT. ChatGPT und OpenAI glauben wahrscheinlich, dass sie über genügend HBM-fähige NVIDIA-GPUs verfügen, um eine große Anzahl gleichzeitiger Benutzer zu verarbeiten, haben aber keine Ahnung, wie beliebt ihr neuer generativer KI-Chatbot sein wird. Sie mussten eine Obergrenze für die Anzahl gleichzeitiger Benutzer festlegen und die Site-Besucher bitten, mit dem Dienst Geduld zu haben, während sie ihre Infrastruktur skalierten. Aus dieser Perspektive ist ChatGPT jedoch möglicherweise ohne GPUs, die diese Speicherverbindungen mit hoher Bandbreite verwenden, nicht realisierbar.
Schlussfolgerung
Zusammenfassend lässt sich sagen, dass sowohl GDDR- als auch HBM-Speicher ihre Vor- und Nachteile haben. GDDR-Speicher ist günstiger und eine gute Wahl für Anwendungen, die eine hohe Bandbreite erfordern, aber nicht die absolut höchste Leistung benötigen. HBM-Speicher hingegen ist teurer, bietet aber eine höhere Bandbreite und ist daher eine gute Wahl für Anwendungen, die eine hohe Leistung erfordern. Bei der Wahl zwischen diesen beiden Speichertypen ist es wichtig, Szenario und Kosten zu berücksichtigen.