GDDR 메모리란?
GDDR(Graphics Double Data Rate)은 그래픽 카드용으로 특별히 설계된 메모리 유형입니다. GDDR 메모리는 대부분 컴퓨터에서 사용되는 DDR 메모리와 비슷하지만 그래픽 카드용으로 최적화되었습니다. GDDR 메모리는 일반적으로 DDR 메모리보다 대역폭이 높아 한 번에 더 많은 데이터를 전송할 수 있습니다.
GDDR6는 GPU의 최신 메모리 표준으로, 핀당 최대 데이터 전송 속도가 16Gb/s입니다. GDDR6는 NVIDIA RTX 6000 Ada와 AMD Radeon PRO W7900을 포함한 대부분의 GPU에 사용되며, 2024년에도 GPU에 사용될 예정입니다.
NVIDIA는 또한 GDDR6의 후속 제품인 GDDR6X에 대해 Micron과 협력하고 있습니다. 이렇게 말하는 이유는 NRZ에서 PAM4로 인코딩하는 것을 제외하면 두 제품 간에 하드웨어 변경 사항이 없고 NVIDIA가 유일한 사용자이기 때문에 JEDEC 산업 표준화에서 승인이 없기 때문입니다. DDR6X는 핀당 대역폭을 21Gb/s로 늘립니다. GDDR7은 모든 사람이 널리 채택해야 할 다음 GDDR 표준입니다.
2024년 현재 GDDR6 및 GDDR6X의 최대 메모리 버스는 384비트입니다. GDDR 메모리는 GPU 칩을 둘러싼 PCB에 납땜된 단일 칩입니다.
GDDR 메모리
HBM 메모리란?
HBM은 High Bandwidth Memory의 약자로, GPU용으로 특별히 개발된 새로운 유형의 메모리입니다.
HBM 메모리는 GDDR 메모리보다 더 큰 메모리 버스 폭을 제공하도록 설계되어 한 번에 더 많은 데이터를 전송할 수 있습니다. 단일 HBM 메모리 칩은 단일 GDDR6 칩만큼 빠르지는 않지만, 이로 인해 GDDR 메모리보다 에너지 효율성이 높아져 모바일 기기에 중요한 고려 사항입니다.
HBM 메모리는 GPU 패키지 내부에 위치하며 스택됩니다. 예를 들어, HBM은 4개의 DRAM(128-Hi) 스택을 가지고 있으며, 각각 1024개의 4비트 채널과 총 폭은 2비트(128 * XNUMX채널 * XNUMX비트)입니다. HBM 메모리는 메모리 칩 모듈로 GPU 칩에 내장되어 있기 때문에 오류와 공간이 적습니다. 따라서 단일 GPU는 GDDR이 장착된 GPU만큼 쉽게 메모리 구성을 확장할 수 없습니다.
최신이자 가장 많이 채택된 HBM 메모리는 NVIDIA H3의 HBM100로, 5120비트 버스와 2TB/s 이상의 메모리 대역폭을 제공합니다. HBM3은 경쟁사인 AMD Instinct MI300X에도 있으며, 8192비트 버스와 5.3TB/s 이상의 메모리 대역폭을 제공합니다. Nvidia는 또한 더 큰 메모리 대역폭을 제공하는 HBM3e를 사용하는 최초의 가속기 및 프로세서인 GH200 및 H200에 새로운 HBM3e 메모리를 도입했습니다. HBM 메모리가 장착된 이러한 하드웨어는 빠른 속도로 리퍼브되고 있습니다. H100 및 MI300X와 같은 가속기 GPU에 HBM이 필요한 중요한 이유 중 하나는 여러 GPU 간의 상호 연결성입니다. 서로 통신하려면 넓은 버스 폭과 빠른 데이터 전송 속도가 한 GPU에서 다른 GPU로 데이터를 전송하는 제약을 줄이는 데 중요합니다.
HBM 메모리
GDDR 대 HBM
GPU에 어떤 유형의 메모리가 더 좋을까요? 답은 특정 시나리오에 따라 다릅니다.
GDDR 메모리가 장착된 GPU는 일반적으로 다음과 같습니다.
- 주류 GPU 유형이기 때문에 접근성이 더 좋습니다.
- GDDR이 GPU 패키지가 아닌 PCB에 직접 납땜되기 때문에 더 저렴합니다.
- 대부분의 주류 애플리케이션은 메모리 대역폭을 극대화하지 않습니다. 하지만 GDDR은 일반적으로 더 많은 에너지를 소비하며 효율적이지 않습니다.
HBM 메모리가 장착된 GPU는 일반적으로 다음과 같습니다.
- 접근성이 낮고 틈새 시장이 더 많음
- 매우 비싼 가격으로, H100과 같은 주력 가속기에서 찾아볼 수 있습니다.
- 가장 많은 대역폭이 필요한 HPC 및 특수 작업 부하에만 사용 가능
- 효율적이며 핀당 속도를 병렬화하기 위해 더 넓은 버스 폭을 제공합니다.
대부분 애플리케이션은 HBM 메모리를 필요로 하지 않습니다. 대량의 데이터를 활용하는 워크로드의 경우 더 높은 메모리 대역폭이 매우 중요합니다. 시뮬레이션, 실시간 분석, 집중적인 AI 훈련, 복잡한 AI 추론 등과 같은 워크로드는 모두 더 많은 메모리 대역폭을 사용하면 이점을 얻을 수 있습니다.
GDDR이 장착된 가장 빠른 GPU는 워크로드가 서로 병렬인 경우 잘 작동한다는 점도 고려하는 것이 중요합니다. NVIDIA RTX 6000 Ada는 960GB/s의 메모리 대역폭을 갖춘 중소 규모 AI 훈련, 렌더링, 분석, 시뮬레이션 및 데이터 집약적 워크로드에 이상적인 강력한 플래그십 GPU입니다. 소켓은 다중 GPU 설정이 있는 서버 또는 워크스테이션으로, 작업을 병렬화하고 분할하여 더 높은 성능을 낼 수 있습니다.
그러나 NVIDIA H100과 같은 HBM 장착 GPU는 엔터프라이즈 배포에서 생산성을 크게 개선할 수 있습니다(비용이 많이 들지만). 더 높은 성능과 더 짧은 대기 시간은 더 빠른 혁신으로 이어집니다. ChatGPT와 같은 배포는 H100 클러스터를 활용하여 실시간 추론을 수행하고 주어진 시간에 수백만 명의 사용자를 위한 AI 기능을 생성하고 프롬프트를 처리하고 실시간 출력을 제공합니다.
빠른 고대역폭 메모리와 최고 성능이 없다면 엔터프라이즈 배포가 너무 느려져서 사용할 수 없게 될 수 있습니다. 이에 대한 좋은 예가 ChatGPT 출시입니다. ChatGPT와 OpenAI는 많은 수의 동시 사용자를 처리할 만큼 충분한 HBM 지원 NVIDIA GPU가 있다고 생각할 수 있지만, 새로운 생성 AI 챗봇이 얼마나 인기가 있을지는 전혀 모릅니다. 그들은 동시 사용자 수에 제한을 두고 사이트 방문자에게 인프라를 확장하는 동안 서비스에 인내심을 갖도록 요청해야 했습니다. 그러나 이러한 관점에서 ChatGPT는 이러한 고대역폭 메모리 상호 연결을 사용하는 GPU 없이는 실행 가능하지 않을 수 있습니다.
결론
요약하자면, GDDR 메모리와 HBM 메모리는 모두 장단점이 있습니다. GDDR 메모리는 더 저렴하고 높은 대역폭이 필요하지만 절대적인 최고 성능은 필요하지 않은 애플리케이션에 적합한 선택입니다. 반면, HBM 메모리는 더 비싸지만 더 높은 대역폭을 제공하므로 고성능이 필요한 애플리케이션에 적합한 선택입니다. 이 두 가지 유형의 메모리 중에서 선택할 때는 시나리오와 비용을 고려하는 것이 중요합니다.