¿Qué es la memoria GDDR?
GDDR, Graphics Double Data Rate, es un tipo de memoria diseñada específicamente para tarjetas gráficas. La memoria GDDR es similar a la memoria DDR que se utiliza en la mayoría de las computadoras, pero está optimizada para tarjetas gráficas. La memoria GDDR generalmente tiene un mayor ancho de banda que la memoria DDR, lo que significa que puede transferir más datos a la vez.
GDDR6 es el último estándar de memoria para GPU, con una velocidad máxima de datos por pin de 16 Gb/s. GDDR6 se utiliza en la mayoría de las GPU, incluidas NVIDIA RTX 6000 Ada y AMD Radeon PRO W7900, y todavía se utiliza en GPU en 2024.
NVIDIA también está trabajando con Micron en GDDR6X, el sucesor de GDDR6. Decimos esto porque, aparte de la codificación de NRZ a PAM4, no hay cambios de hardware entre los dos y, dado que NVIDIA es el único usuario, no hay respaldo de la estandarización industrial JEDEC. DDR6X aumenta el ancho de banda por pin a 21 Gb/s. GDDR7 es el próximo estándar GDDR que debería ser ampliamente adoptado por todos.
A partir de 2024, el bus de memoria máximo para GDDR6 y GDDR6X es de 384 bits. La memoria GDDR es un solo chip soldado a la PCB que rodea el chip de la GPU.
Memoria GDDR
¿Qué es HBM Memory?
HBM significa High Bandwidth Memory, un nuevo tipo de memoria desarrollado específicamente para GPU.
La memoria HBM está diseñada para proporcionar un ancho de bus de memoria mayor que la memoria GDDR, lo que significa que puede transferir más datos a la vez. Un solo chip de memoria HBM no es tan rápido como un solo chip GDDR6, pero esto lo hace más eficiente energéticamente que la memoria GDDR, lo que es un factor importante para los dispositivos móviles.
La memoria HBM se encuentra dentro del encapsulado de la GPU y está apilada; por ejemplo, HBM tiene una pila de cuatro DRAM (4-Hi), cada una con dos canales de 128 bits y un ancho total de 1024 bits (4 * 2 canales * 128 bits). Dado que la memoria HBM está integrada en el chip de la GPU como un módulo de chip de memoria, hay menos errores y espacio. Por lo tanto, una sola GPU no puede escalar fácilmente su configuración de memoria con la misma facilidad que una GPU equipada con GDDR.
La memoria HBM más reciente y más adoptada es la HBM3 en NVIDIA H100, con un bus de 5120 bits y un ancho de banda de memoria de más de 2 TB/s. HBM3 también está presente en el AMD Instinct MI300X de su competidor, con un bus de 8192 bits y más de 5.3 TB/s de ancho de banda de memoria. Nvidia también introdujo la nueva memoria HBM3e en sus GH200 y H200 como los primeros aceleradores y procesadores en utilizar HBM3e, que tiene un mayor ancho de banda de memoria. Este hardware equipado con memoria HBM se está renovando a un ritmo rápido. Una razón importante por la que las GPU aceleradoras como H100 y MI300X necesitan HBM es la interconectividad entre múltiples GPU; para comunicarse entre sí, un ancho de bus amplio y velocidades de transferencia de datos rápidas son fundamentales para reducir la restricción de la transferencia de datos de una GPU a otra.
memoria HBM
GDDR frente a HBM
¿Qué tipo de memoria es mejor para la GPU? La respuesta es que depende del escenario específico.
Las GPU equipadas con memoria GDDR suelen ser:
- Más accesibles porque son tipos de GPU convencionales
- Más barato, porque la GDDR se suelda directamente a la PCB, no al paquete de la GPU.
- La mayoría de las aplicaciones convencionales no maximizan el ancho de banda de la memoria, pero GDDR generalmente consume más energía y no es tan eficiente.
Las GPU equipadas con memoria HBM suelen ser:
- Menos accesible, más de nicho
- Muy caro, se encuentra en aceleradores emblemáticos como el H100.
- Solo para HPC y cargas de trabajo de nicho alto que requieren el mayor ancho de banda
- Eficiente y proporciona anchos de bus más grandes para paralelizar las velocidades por pin.
La mayoría de las aplicaciones no requieren memoria HBM. Para las cargas de trabajo que utilizan grandes cantidades de datos, un mayor ancho de banda de memoria es de suma importancia. Las cargas de trabajo como simulaciones, análisis en tiempo real, entrenamiento intensivo de IA, inferencia compleja de IA y más pueden beneficiarse del uso de un mayor ancho de banda de memoria.
También es importante tener en cuenta que la GPU más rápida equipada con GDDR funcionará bien si las cargas de trabajo son paralelas entre sí. NVIDIA RTX 6000 Ada es una potente GPU insignia ideal para entrenamiento de IA, renderizado, análisis, simulación y cargas de trabajo intensivas en datos de tamaño pequeño a mediano, con un ancho de banda de memoria de 960 GB/s. Sus sockets son servidores o estaciones de trabajo con configuraciones de múltiples GPU, donde el trabajo se puede paralelizar y dividir para obtener un rendimiento aún mayor.
Sin embargo, las GPU equipadas con HBM, como la NVIDIA H100, pueden mejorar significativamente la productividad en las implementaciones empresariales (aunque a un alto costo). Un mayor rendimiento y menos tiempos de espera conducen a avances más rápidos. Las implementaciones como ChatGPT aprovechan grupos de H100 que trabajan juntos para realizar inferencias en tiempo real y generar funciones de IA para millones de usuarios en un momento dado, procesando indicaciones y entregando resultados en tiempo real.
Sin una memoria rápida de gran ancho de banda y un rendimiento máximo, las implementaciones empresariales pueden volverse demasiado lentas para su uso. Un buen ejemplo de esto es el lanzamiento de ChatGPT. ChatGPT y OpenAI probablemente creen que tienen suficientes GPU NVIDIA habilitadas para HBM para manejar una gran cantidad de usuarios simultáneos, pero no tienen idea de cuán popular será su nuevo chatbot de IA generativa. Tuvieron que poner un límite a la cantidad de usuarios simultáneos y pedirles a los visitantes del sitio que fueran pacientes con el servicio mientras ampliaban su infraestructura. Sin embargo, desde esta perspectiva, ChatGPT podría no ser factible sin GPU que utilicen estas interconexiones de memoria de gran ancho de banda.
Conclusión
En resumen, tanto la memoria GDDR como la memoria HBM tienen sus pros y sus contras. La memoria GDDR es más barata y es una buena opción para aplicaciones que requieren un gran ancho de banda pero no necesitan el máximo rendimiento. Por otro lado, la memoria HBM es más cara pero ofrece un mayor ancho de banda, lo que la convierte en una buena opción para aplicaciones que requieren un alto rendimiento. Al elegir entre estos dos tipos de memoria, es importante tener en cuenta el escenario y el coste.