Comparaison technologique de HBM, HBM2, HBM3 et HBM3e

HBM, ou mémoire à large bande passante, se compose de plusieurs couches de matrices DRAM empilées verticalement. Chaque couche de Die est connectée à la Die logique via la technologie TSV (via silicium via), permettant d'emballer les Die à 8 et 12 couches dans un petit espace. Cela permet d'obtenir une compatibilité entre une petite taille, une bande passante élevée et une vitesse de transmission élevée, ce qui en fait la solution principale pour la mémoire GPU des serveurs IA hautes performances.

La version étendue actuelle de HBM3, HBM3E, offre une vitesse de transmission allant jusqu'à 8 Gbit/s et 16 Go de mémoire. Il a été publié pour la première fois par SK Hynix et sera produit en série en 2024.

Le principal scénario d'application de HBM concerne les serveurs d'IA. La dernière génération de HBM3e est installée sur le H200 lancé par NVIDIA en 2023. Selon les données de Trendforce, les expéditions de serveurs IA ont atteint 860,000 2022 unités en 2, et on s'attend à ce que les expéditions de serveurs IA dépassent 2026 millions d'unités en 29, avec un chiffre annuel composé. taux de croissance de XNUMX%.

La croissance des livraisons de serveurs IA a catalysé une explosion de la demande de HBM, et avec l'augmentation de la capacité moyenne des serveurs HBM, on estime que la taille du marché atteindra environ 15 milliards de dollars américains dans 25 ans, avec un taux de croissance de plus de 50%.

Les fournisseurs de HBM sont principalement concentrés chez les trois principaux fabricants de stockage SK Hynix, Samsung et Micron. Selon les données de Trendforce, la part de marché de SK Hynix devrait être de 53 % en 2023, celle de Samsung de 38 % et celle de Micron de 9 %. Les principaux changements dans le processus HBM se reflètent dans CoWoS et TSV.

Schéma de principe HBM

HBM1 a été lancé pour la première fois par AMD et SK Hynix en 2014 en tant que concurrent du GDDR. Il s'agit d'une pile de puces à 4 couches qui fournit une bande passante de 128 Go/s et 4 Go de mémoire, ce qui est nettement meilleur que le GDDR5 de la même période.

Français HBM2 a été annoncé en 2016 et lancé officiellement en 2018. Il s'agit d'une matrice DRAM à 4 couches, mais il s'agit désormais principalement d'une matrice à 8 couches, offrant une bande passante de 256 Go/s, une vitesse de transmission de 2.4 Gbit/s et 8 Go de mémoire ; HBM2E a été proposé en 2018 et lancé officiellement en 2020. Il a apporté des améliorations significatives en termes de vitesse de transmission et de mémoire, offrant une vitesse de transmission de 3.6 Gbit/s et 16 Go de mémoire. HBM3 a été annoncé en 2020 et lancé officiellement en 2022. Le nombre de couches empilées et de canaux de gestion a augmenté, offrant une vitesse de transmission de 6.4 Gbit/s, une vitesse de transmission allant jusqu'à 819 Go/s et 16 Go de mémoire. HBM3E est une version améliorée de HBM3 publiée par SK Hynix, offrant une vitesse de transmission allant jusqu'à 8 Gbit/s, une capacité de 24 Go, dont la production en série est prévue en 2024.

Chemins d'évolution HBM des trois principaux fabricants de stockage

HBM est largement utilisé dans les scénarios de serveur IA en raison de sa bande passante élevée, de sa faible consommation d'énergie et de sa petite taille. L'application de HBM se concentre principalement sur les serveurs hautes performances. Il a été implémenté pour la première fois dans le GPU NVP100 (HBM2) en 2016, puis appliqué au V100 (HBM2) en 2017, au A100 (HBM2) en 2020 et au H100 (HBM2e/HBM3) en 2022. La dernière génération de HBM3e est installée sur le H200 lancé par NVIDIA en 2023, offrant une vitesse plus rapide et une capacité plus élevée pour les serveurs.

Les fournisseurs de HBM sont principalement concentrés chez trois grands fabricants : SK Hynix, Samsung et Micron, SK Hynix étant en tête. Les trois principaux fabricants de stockage sont principalement responsables de la production et de l'empilage des matrices DRAM et sont en concurrence pour les mises à niveau technologiques. Parmi eux, le premier HBM au monde lancé par SK Hynix et AMD a été le premier à fournir la nouvelle génération de HBM3E en 2023, établissant ainsi sa position sur le marché. Il fournit principalement NVIDIA et Samsung fournit d'autres fabricants de cloud. Selon les données de TrendForce, en 2022, la part de marché de SK Hynix était de 50 %, celle de Samsung de 40 % et celle de Micron d'environ 10 %.

Les changements de HBM dans la technologie d'emballage concernent principalement CoWoS et TSV.

1) CoWoS : la puce DRAM est placée ensemble sur un interposeur en silicium et connectée au substrat sous-jacent via un processus d'emballage ChiponWafer (CoW). Autrement dit, la puce est connectée à la plaquette de silicium via un processus de conditionnement CoW, puis la puce CoW est connectée au substrat pour s'intégrer dans CoWoS. Actuellement, la solution principale pour intégrer HBM et GPU est le CoWoS de TSMC, qui permet une transmission de données plus rapide en raccourcissant la longueur d'interconnexion et a été largement utilisé dans les puces informatiques telles que l'A100 et le GH200.

2) TSV : le TSV est au cœur de l'expansion de la capacité et de la bande passante, formant des milliers d'interconnexions verticales entre l'avant et l'arrière de la puce en perçant des trous dans toute l'épaisseur de la plaquette de silicium. Dans HBM, plusieurs couches de puces DRAM sont empilées et connectées aux téléviseurs et aux bosses de soudure, et seule la puce inférieure peut être connectée au contrôleur de stockage, tandis que les matrices restantes sont interconnectées via des TSV internes.