¿Por qué los servidores GPU requieren HBM?

HBM, abreviatura de High Bandwidth Memory, es una tecnología DRAM apilada en 3D de alto rendimiento que se utiliza principalmente para satisfacer las altas demandas de ancho de banda de memoria y capacidad de las unidades de procesamiento de gráficos y computación (GPU) de alto rendimiento. La tecnología HBM fue desarrollada conjuntamente por AMD y Hynix y se anunció por primera vez en 2013.

A medida que las demandas computacionales continúan creciendo, las tecnologías de memoria tradicionales han tenido dificultades para satisfacer las crecientes necesidades de ancho de banda de memoria y capacidad requeridas por la computación de alto rendimiento (HPC) y las GPU. En este contexto, la tecnología de memoria de alto ancho de banda (HBM) surgió como una solución innovadora para abordar estos desafíos.

HBM es una tecnología DRAM apilada en 3D que interconecta verticalmente múltiples chips DRAM apilados utilizando tecnologías Through-Silicon Vias (TSV) de alta densidad y microbump. Este diseño mejora significativamente el ancho de banda y la capacidad de la memoria al tiempo que reduce el tamaño físico de los módulos de memoria. En comparación con la memoria GDDR5 tradicional, HBM suele tener un menor consumo de energía debido a su diseño compacto y su eficiente transferencia de datos.

Actualmente, los productos HBM se han desarrollado en el orden de HBM (primera generación), HBM2 (segunda generación), HBM2E (tercera generación), HBM3 (cuarta generación) y HBM3E (quinta generación), siendo el último HBM3E una versión extendida. de HBM3. Las GPU ahora suelen incluir 2/4/6/8 pilas de HBM, con hasta 12 capas apiladas en tres dimensiones.

El 26 de febrero, Micron Technology anunció oficialmente la producción en masa de la memoria HBM3E de alto ancho de banda. Su producto HBM24E de 8 GB y 3 H se suministrará a NVIDIA y se aplicará a la GPU H200 Tensor Core de NVIDIA. La HBM3E de Micron tiene actualmente una capacidad de 24 GB, con una velocidad de pin superior a 9.2 Gb/s, lo que proporciona más de 1.2 TB/s de ancho de banda de memoria y ofrece velocidades de acceso a datos ultrarrápidas para aceleradores de IA, supercomputadoras y centros de datos.

Actualmente, todos los chips de entrenamiento de IA convencionales utilizan HBM, con una GPU emparejada con múltiples HBM. Tomando como ejemplo el H200 recién lanzado de NVIDIA, esta GPU está equipada con seis módulos de memoria de alta velocidad Micron HBM3E de 24 GB. Lógicamente, la capacidad de memoria del H200 debería ser 246 = 144 GB y el ancho de banda de memoria debería ser 1.26 = 7.2 TB/s. Sin embargo, las especificaciones publicadas en el sitio web oficial de NVIDIA muestran solo 141 GB de memoria, no un número entero, y el ancho de banda de memoria es de solo 4.8 TB/s. Esto se debe a razones de producción en masa, donde NVIDIA reserva una pequeña parte como redundancia para mejorar la tasa de rendimiento.

HBM está en continua evolución y la dirección de la iteración apunta a aumentar la capacidad y el ancho de banda. Actualmente, el mayor número de capas es 12. SK Hynix lanzó la primera HBM del mundo en 2014, seguida de la HBM2 en 2018, y desde entonces ha lanzado una nueva generación de HBM cada dos años. La última versión producida en masa es HBM3e, y el fabricante original está acelerando la investigación y el desarrollo, y HBM4 posiblemente adopte una pila de 16 capas. En términos de recuento de E/S (ancho de bus), HBM1 a HBM3e mantienen 1024 bits, mientras que la velocidad de transferencia de datos ha aumentado de 1 Gb/s para HBM1 a 9.2 Gb/s para HBM3e, logrando finalmente un aumento de ancho de banda de 128 GB/s. para HBM1 a 1.2 TB/s para HBM3e. Los estándares para HBM4 actualmente no están determinados, pero en general se espera que HBM4 tenga un máximo de 16 capas apiladas y un ancho de bus de 2048 bits.

El mercado de HBM está dominado principalmente por tres grandes gigantes del almacenamiento:

SK Hynix: Como uno de los principales desarrolladores de tecnología HBM, SK Hynix ocupa una posición de liderazgo en el campo de HBM. La empresa no solo participó en el desarrollo inicial de HBM, sino que también continúa impulsando la iteración de la tecnología, como HBM2, HBM2E y HBM3. Las capacidades de innovación y producción en masa de SK Hynix en tecnología HBM lo han convertido en el principal proveedor de HBM para los chips de IA de NVIDIA, con la mayor cuota de mercado.

Samsung Electronics: Samsung Electronics es una de las empresas de semiconductores líderes en el mundo y también cuenta con sólidas capacidades de I+D y producción en tecnología HBM. Samsung Electronics ha invertido mucho en el desarrollo de HBM y ha ampliado activamente su capacidad de producción para satisfacer la demanda del mercado. El progreso de Samsung en la tecnología HBM, incluido el desarrollo de productos de mayor densidad y mayor capacidad, ha desempeñado un papel clave en la mejora de su competitividad en informática de alto rendimiento e inteligencia artificial. Samsung se centra en cumplir con los pedidos de otros proveedores de servicios en la nube y, ante el aumento de los pedidos de los clientes, se espera que la brecha de participación de mercado entre Samsung y SK Hynix en HBM3 se reduzca significativamente, con una participación de mercado estimada igual para ambas compañías en 2023-2024. en conjunto poseen alrededor del 95% de la cuota de mercado de HBM.

Micron Technology: Micron tiene una participación de mercado relativamente baja en el mercado de HBM debido a errores de juicio en la dirección de la tecnología y está en proceso de ponerse al día. Aunque Micron entró en el mercado de HBM más tarde que SK Hynix y Samsung Electronics, empezó directamente con HBM3E y rápidamente mejoró su fortaleza tecnológica, lo que planteó un desafío a la estructura de mercado existente. El uso de Micron por parte de NVIDIA en el H200 es un reconocimiento significativo de sus capacidades.