Comparação de tecnologia de HBM, HBM2, HBM3 e HBM3e

HBM, ou memória de alta largura de banda, consiste em múltiplas camadas de DRAM Die empilhadas verticalmente. Cada camada do Die é conectada à tecnologia lógica Die through TSV (através do silício via), permitindo que o Die de 8 e 12 camadas seja embalado em um espaço pequeno. Isso alcança compatibilidade entre tamanho pequeno, alta largura de banda e alta velocidade de transmissão, tornando-o a solução principal para memória GPU de servidor de IA de alto desempenho.

A atual versão estendida do HBM3, HBM3E, oferece velocidade de transmissão de até 8 Gbps e 16 GB de memória. Foi lançado pela primeira vez pela SK Hynix e será produzido em massa em 2024.

O principal cenário de aplicação da HBM são os servidores de IA. A última geração do HBM3e está instalada no H200 lançado pela NVIDIA em 2023. De acordo com os dados da Trendforce, as remessas de servidores de IA atingiram 860,000 unidades em 2022, e espera-se que as remessas de servidores de IA excedam 2 milhões de unidades em 2026, com um aumento anual composto taxa de crescimento de 29%.

O crescimento nas remessas de servidores de IA catalisou uma explosão na demanda de HBM e, com o aumento na capacidade média dos servidores HBM, estima-se que o tamanho do mercado será de aproximadamente US$ 15 bilhões em 25 anos, com uma taxa de crescimento de mais de 50%.

Os fornecedores da HBM estão concentrados principalmente nos três principais fabricantes de armazenamento SK Hynix, Samsung e Micron. De acordo com dados da Trendforce, a participação de mercado da SK Hynix deverá ser de 53% em 2023, a participação de mercado da Samsung é de 38% e a participação de mercado da Micron é de 9%. As principais mudanças no processo HBM refletem-se no CoWoS e no TSV.

Diagrama de princípio HBM

O HBM1 foi lançado pela AMD e SK Hynix em 2014 como concorrente do GDDR. É uma pilha de matrizes de 4 camadas que fornece largura de banda de 128 GB/s e 4 GB de memória, o que é significativamente melhor que o GDDR5 do mesmo período.

O HBM2 foi anunciado em 2016 e lançado oficialmente em 2018. É um chip DRAM de 4 camadas, mas agora é principalmente um chip de 8 camadas, fornecendo largura de banda de 256 GB/s, velocidade de transmissão de 2.4 Gbps e memória de 8 GB; o HBM2E foi proposto em 2018 e lançado oficialmente em 2020. Ele fez melhorias significativas na velocidade de transmissão e memória, fornecendo velocidade de transmissão de 3.6 Gbps e memória de 16 GB. O HBM3 foi anunciado em 2020 e lançado oficialmente em 2022. O número de camadas empilhadas e canais de gerenciamento aumentou, fornecendo uma velocidade de transmissão de 6.4 Gbps, uma velocidade de transmissão de até 819 GB/s e memória de 16 GB. O HBM3E é uma versão aprimorada do HBM3 lançada pela SK Hynix, fornecendo uma velocidade de transmissão de até 8 Gbps, uma capacidade de 24 GB, que está planejada para ser produzida em massa em 2024.

Caminhos de evolução da HBM dos três principais fabricantes de armazenamento

O HBM é amplamente utilizado em cenários de servidores de IA devido à sua alta largura de banda, baixo consumo de energia e tamanho pequeno. A aplicação da HBM concentra-se principalmente em servidores de alto desempenho. Foi implementado pela primeira vez na GPU NVP100 (HBM2) em 2016 e, em seguida, aplicado ao V100 (HBM2) em 2017, A100 (HBM2) em 2020 e H100 (HBM2e/HBM3) em 2022. A última geração do HBM3e está instalada em o H200 lançado pela NVIDIA em 2023, proporcionando velocidade mais rápida e maior capacidade para servidores.

Os fornecedores da HBM estão concentrados principalmente em três grandes fabricantes: SK Hynix, Samsung e Micron, com a SK Hynix liderando. Os três principais fabricantes de armazenamento são os principais responsáveis ​​pela produção e empilhamento de matrizes DRAM e competem em atualizações tecnológicas. Entre eles, o primeiro HBM do mundo lançado pela SK Hynix e AMD foi o primeiro a fornecer a nova geração do HBM3E em 2023, estabelecendo primeiro sua posição no mercado. Ela fornece principalmente a NVIDIA e a Samsung fornece outros fabricantes de nuvem. De acordo com dados da TrendForce, em 2022, a participação de mercado da SK Hynix era de 50%, a participação de mercado da Samsung era de 40% e a participação de mercado da Micron era de cerca de 10%.

As mudanças da HBM na tecnologia de embalagens ocorrem principalmente em CoWoS e TSV.

1) CoWoS: DRAM Die é colocado junto em um interposer de silício e conectado ao substrato subjacente por meio de um processo de empacotamento ChiponWafer (CoW). Ou seja, o chip é conectado ao wafer de silício por meio de um processo de empacotamento CoW e, em seguida, o chip CoW é conectado ao substrato para integração no CoWoS. Atualmente, a solução principal para integrar HBM e GPU é o CoWoS da TSMC, que consegue uma transmissão de dados mais rápida ao encurtar o comprimento da interconexão e tem sido amplamente utilizado em chips de computação como A100 e GH200.

2) TSV: TSV é o núcleo para alcançar a expansão de capacidade e largura de banda, formando milhares de interconexões verticais entre a parte frontal e traseira do chip, fazendo furos em toda a espessura do wafer de silício. No HBM, múltiplas camadas de matriz DRAM são empilhadas e conectadas a TVS e pontos de solda, e apenas a matriz inferior pode ser conectada ao controlador de armazenamento, enquanto as matrizes restantes são interconectadas por meio de TSVs internos.