GPU サーバーに HBM が必要なのはなぜですか?

HBM は High Bandwidth Memory の略で、主に高性能コンピューティングおよびグラフィックス プロセッシング ユニット (GPU) のメモリ帯域幅と容量に対する高い需要を満たすために使用される高性能 3D スタック DRAM テクノロジです。 HBM テクノロジーは AMD と Hynix によって共同開発され、2013 年に初めて発表されました。

コンピューティング需要が増大し続ける中、従来のメモリ テクノロジは、ハイ パフォーマンス コンピューティング (HPC) や GPU に必要なメモリ帯域幅と容量に対する増大するニーズを満たすのに苦労してきました。このような背景に対し、高帯域幅メモリ (HBM) テクノロジーは、これらの課題に対処する革新的なソリューションとして登場しました。

HBM は、高密度スルーシリコン ビア (TSV) およびマイクロバンプ テクノロジを使用して、スタックされた複数の DRAM チップを垂直に相互接続する 3D スタック DRAM テクノロジです。この設計により、メモリ モジュールの物理サイズを削減しながら、メモリの帯域幅と容量が大幅に向上します。従来の GDDR5 メモリと比較して、HBM は通常、コンパクトな設計と効率的なデータ転送により消費電力が低くなります。

現在、HBM製品はHBM（第一世代）、HBM2（第二世代）、HBM2E（第三世代）、HBM3（第四世代）、HBM3E（第五世代）の順に開発されており、最新のHBM3Eはその拡張版となります。 HBM3の。現在、GPU は通常、2/4/6/8 スタックの HBM を備えており、最大 12 層が XNUMX 次元にスタックされています。

26月3日、Micron TechnologyはHBM24E高帯域幅メモリの量産を正式に発表しました。同社の8GB 3H HBM200E製品はNVIDIAに供給され、NVIDIAのH3 Tensor Core GPUに採用されます。MicronのHBM24Eは現在9.2GBの容量を持ち、ピン速度は1.2Gb/sを超え、XNUMXTB/sを超えるメモリ帯域幅を提供し、AIアクセラレータ、スーパーコンピュータ、データセンターに超高速のデータアクセス速度を提供します。

現在、主流のAIトレーニングチップはすべてHBMを採用しており、200つのGPUに複数のHBMが組み合わされています。NVIDIAが新たにリリースしたH3を例にとると、このGPUにはMicron HBM24E 200GB高速メモリモジュールが246つ搭載されています。論理的には、H144のメモリ容量は1.26=7.2GB、メモリ帯域幅は141=4.8TB/sになるはずです。しかし、NVIDIAの公式サイトで公開されている仕様では、メモリは整数ではなくXNUMXGBしか表示されておらず、メモリ帯域幅はXNUMXTB/sしかありません。これは量産上の理由によるもので、NVIDIAは歩留まりを向上させるために少量を冗長性として確保しています。

HBM は継続的に進化しており、容量と帯域幅の増加を目指した反復の方向性を持っています。現在、最大レイヤー数は 12 です。SK ハイニックスは 2014 年に世界初の HBM を発売し、続いて 2 年に HBM2018 を発売し、それ以来 3 年ごとに新世代の HBM をリリースしています。最新の量産版はHBM4eで、本家メーカーは研究開発を加速しており、HBM16では1層スタックが採用される可能性がある。 I/O 数 (バス幅) に関しては、HBM3 から HBM1024e まではすべて 1 ビットを維持していますが、データ転送速度は HBM1 の 9.2Gb/s から HBM3e の 128Gb/s に増加し、最終的には 1GB/s から帯域幅の増加を達成しています。 HBM1.2 の場合は HBM3e の場合 4TB/s まで。 HBM4 の規格は現在未定ですが、一般的に、HBM16 は最大 2048 層のスタックと XNUMX ビットのバス幅を持つと予想されています。

HBM 市場は主に、次の 3 つの大手ストレージ企業によって支配されています。

SK Hynix: SK Hynix は、HBM テクノロジーの主要開発者の 2 つとして、HBM 分野で主導的な地位を占めています。同社は、HBM の初期開発に参加しただけでなく、HBM2、HBM3E、HBMXNUMX などのテクノロジーの反復を推進し続けています。 SK ハイニックスは、HBM テクノロジーの革新性と量産能力により、NVIDIA の AI チップ向け HBM の主要サプライヤーとなり、最高の市場シェアを獲得しています。

Samsung Electronics: Samsung Electronics は世界有数の半導体企業の 3 つであり、HBM テクノロジーにおける強力な研究開発および生産能力も備えています。サムスン電子は、HBM の開発に多額の投資を行い、市場の需要に応えるために生産能力を積極的に拡大してきました。より高密度で大容量の製品の開発を含む、Samsung の HBM テクノロジーの進歩は、ハイパフォーマンス コンピューティングと AI における競争力の強化に重要な役割を果たしてきました。サムスンは他のクラウド サービス プロバイダーからの注文の履行に注力しており、顧客からの注文が増加すると、HBM2023 におけるサムスンと SK ハイニックスの市場シェアの差は大幅に縮まり、2024 年から 95 年には両社の市場シェアは同等になると予想されます。合わせて HBM 市場シェアの約 XNUMX% を保持しています。

Micron Technology: Micron は、技術の方向性における判断ミスにより、HBM 市場での市場シェアが比較的低く、追いつきつつあります。マイクロンはSKハイニックスやサムスン電子より遅れてHBM市場に参入したが、直接HBM3Eからスタートして急速に技術力を高め、既存の市場構造に挑戦をもたらした。 NVIDIA が H200 で Micron を使用したことは、その機能が大きく評価されたことを意味します。