GDDR メモリとは何ですか?
GDDR (Graphics Double Data Rate) は、グラフィック カード専用に設計されたメモリの一種です。GDDR メモリは、ほとんどのコンピューターで使用されている DDR メモリに似ていますが、グラフィック カード用に最適化されています。GDDR メモリは一般に DDR メモリよりも帯域幅が高く、一度に転送できるデータ量が多くなります。
GDDR6 は GPU の最新メモリ規格で、ピンあたりのピークデータレートは 16Gb/s です。GDDR6 は、NVIDIA RTX 6000 Ada や AMD Radeon PRO W7900 など、ほとんどの GPU で使用されており、2024 年でも GPU で使用されています。
NVIDIA は、GDDR6 の後継である GDDR6X についても Micron と共同で取り組んでいます。NRZ から PAM4 へのエンコードを除けば、両者の間にハードウェアの変更はなく、NVIDIA が唯一のユーザーであるため、JEDEC 業界標準化からの承認もありません。DDR6X は、ピンあたりの帯域幅を 21Gb/s に増やします。GDDR7 は、誰もが広く採用すべき次の GDDR 標準です。
2024 年現在、GDDR6 および GDDR6X の最大メモリ バスは 384 ビットです。GDDR メモリは、GPU チップを囲む PCB にはんだ付けされた単一のチップです。
GDDRメモリ
HBMメモリとは何ですか?
HBM は High Bandwidth Memory の略で、GPU 専用に開発された新しいタイプのメモリです。
HBM メモリは、GDDR メモリよりも広いメモリ バス幅を提供するように設計されているため、一度に転送できるデータ量が多くなります。単一の HBM メモリ チップは単一の GDDR6 チップほど高速ではありませんが、これにより GDDR メモリよりもエネルギー効率が高くなり、これはモバイル デバイスにとって重要な考慮事項となります。
HBM メモリは GPU パッケージ内にあり、スタックされています。たとえば、HBM には 4 つの DRAM (128-Hi) のスタックがあり、それぞれに 1024 つの 4 ビット チャネルがあり、合計幅は 2 ビット (128 * XNUMX チャネル * XNUMX ビット) です。HBM メモリはメモリ チップ モジュールとして GPU チップに組み込まれているため、エラーとスペースが少なくなります。そのため、単一の GPU では、GDDR を搭載した GPU ほど簡単にメモリ構成を拡張することはできません。
最新かつ最も採用されている HBM メモリは、3 ビット バスと 100TB/s を超えるメモリ帯域幅を備えた NVIDIA H5120 の HBM2 です。HBM3 は、競合製品の AMD Instinct MI300X にも搭載されており、8192 ビット バスと 5.3TB/s を超えるメモリ帯域幅を備えています。Nvidia は、より広いメモリ帯域幅を持つ HBM3e を使用する最初のアクセラレータとプロセッサとして、GH200 と H200 に新しい HBM3e メモリを導入しました。HBM メモリを搭載したこれらのハードウェアは、急速に改良されています。H100 や MI300X などのアクセラレータ GPU に HBM が必要な重要な理由の XNUMX つは、複数の GPU 間の相互接続性です。相互に通信するには、広いバス幅と高速なデータ転送速度が重要であり、これにより、ある GPU から別の GPU にデータを転送する際の制約が軽減されます。
HBMメモリ
GDDR 対 HBM
GPU にはどのタイプのメモリが適しているでしょうか? 答えは、特定のシナリオによって異なります。
GDDR メモリを搭載した GPU は通常、次のようになります。
- 主流のGPUタイプなので、よりアクセスしやすい
- GDDR は GPU パッケージではなく PCB に直接はんだ付けされるため、安価です。
- ほとんどの主流アプリケーションはメモリ帯域幅を最大化しませんが、GDDR は一般に多くのエネルギーを消費し、それほど効率的ではありません。
HBM メモリを搭載した GPU は通常、次のようになります。
- アクセスしにくく、ニッチな分野
- 非常に高価で、H100 などの主力アクセラレータに搭載されています。
- 最も多くの帯域幅を必要とするHPCおよびニッチなワークロードのみ
- 効率的で、ピンごとのレートを並列化するために、より大きなバス幅を提供します。
ほとんどのアプリケーションでは HBM メモリは必要ありません。大量のデータを利用するワークロードでは、より高いメモリ帯域幅が最も重要です。シミュレーション、リアルタイム分析、集中的な AI トレーニング、複雑な AI 推論などのワークロードはすべて、より多くのメモリ帯域幅を使用することでメリットを得ることができます。
また、ワークロードが互いに並列であれば、GDDR を搭載した最速の GPU も問題なく動作することを考慮することが重要です。NVIDIA RTX 6000 Ada は、960 GB/秒のメモリ帯域幅を備え、小規模から中規模の AI トレーニング、レンダリング、分析、シミュレーション、およびデータ集約型のワークロードに最適な強力なフラッグシップ GPU です。ソケットは、マルチ GPU セットアップを備えたサーバーまたはワークステーションであり、作業を並列化して分割することで、さらに高いパフォーマンスを実現できます。
ただし、NVIDIA H100 などの HBM 搭載 GPU を使用すると、企業での導入において生産性を大幅に向上できます (ただし、コストは高くなります)。パフォーマンスが向上し、待機時間が短くなると、ブレークスルーが速くなります。ChatGPT などの導入では、連携して動作する H100 のクラスターを活用してリアルタイム推論を実行し、特定の時間に数百万人のユーザー向けに AI 機能を生成し、プロンプトを処理してリアルタイムの出力を提供します。
高速で高帯域幅のメモリとピーク パフォーマンスがなければ、エンタープライズ展開は遅すぎて使用できなくなる可能性があります。その良い例が ChatGPT のリリースです。ChatGPT と OpenAI は、多数の同時ユーザーを処理するのに十分な HBM 対応 NVIDIA GPU があると考えているかもしれませんが、新しい生成 AI チャットボットがどれだけ人気が出るかはわかりません。インフラストラクチャを拡張する間、サイト訪問者にサービスに忍耐強く待つよう求め、同時ユーザー数に上限を設定する必要がありました。ただし、この観点からすると、ChatGPT はこれらの高帯域幅メモリ相互接続を使用する GPU なしでは実現できない可能性があります。
まとめ
まとめると、GDDR メモリと HBM メモリにはそれぞれ長所と短所があります。GDDR メモリは安価で、高帯域幅が必要で絶対的な最高パフォーマンスは必要ないアプリケーションに適しています。一方、HBM メモリは高価ですが、より高い帯域幅を提供するため、高パフォーマンスを必要とするアプリケーションに適しています。この 2 種類のメモリのどちらかを選択するときは、シナリオとコストを考慮することが重要です。