GPU 서버에 HBM이 필요한 이유는 무엇입니까?

2024년 6월 6일

브라이언

광 네트워크 엔지니어

고대역폭 메모리(High Bandwidth Memory)의 약자인 HBM은 주로 고성능 컴퓨팅 및 그래픽 처리 장치(GPU)의 메모리 대역폭과 용량에 대한 높은 수요를 충족하는 데 사용되는 고성능 3D 스택 DRAM 기술입니다. HBM 기술은 AMD와 하이닉스가 공동 개발했으며 2013년 처음 발표됐다.

컴퓨팅 수요가 계속 증가함에 따라 기존 메모리 기술은 고성능 컴퓨팅(HPC) 및 GPU에 필요한 메모리 대역폭 및 용량에 대한 증가하는 요구를 충족하는 데 어려움을 겪었습니다. 이러한 배경에서 고대역폭 메모리(HBM) 기술은 이러한 과제를 해결하기 위한 혁신적인 솔루션으로 등장했습니다.

HBM은 고밀도 TSV(Through-Silicon Vias)와 마이크로범프 기술을 사용해 적층된 여러 DRAM 칩을 수직으로 상호 연결하는 3D 적층 DRAM 기술입니다. 이 디자인은 메모리 모듈의 물리적 크기를 줄이면서 메모리 대역폭과 용량을 크게 향상시킵니다. 기존 GDDR5 메모리에 비해 HBM은 일반적으로 컴팩트한 디자인과 효율적인 데이터 전송으로 인해 전력 소비가 더 낮습니다.

현재 HBM 제품은 HBM(2세대), HBM2(3세대), HBM3E(3세대), HBM3(2세대), HBM4E(6세대) 순으로 개발되었으며, 최신 HBM8E는 확장 버전이다. HBM12의 이제 GPU는 일반적으로 HBM의 XNUMX/XNUMX/XNUMX/XNUMX 스택을 특징으로 하며 최대 XNUMX개의 레이어가 XNUMX차원으로 스택됩니다.

26월 3일, 마이크론 테크놀로지는 HBM24E 고대역폭 메모리의 양산을 공식 발표했습니다. 8GB 3H HBM200E 제품은 NVIDIA에 공급되어 NVIDIA의 H3 Tensor Core GPU에 적용될 예정입니다. 마이크론의 HBM24E는 현재 9.2GB 용량이며, 핀 속도는 1.2Gb/s를 초과하여 XNUMXTB/s 이상의 메모리 대역폭을 제공하여 AI 가속기, 슈퍼컴퓨터 및 데이터 센터에 초고속 데이터 액세스 속도를 제공합니다.

현재 주류 AI 학습 칩은 모두 HBM을 활용하며, 하나의 GPU가 여러 개의 HBM과 페어링되어 있습니다. NVIDIA의 새롭게 출시된 H200을 예로 들면, 이 GPU는 3개의 Micron HBM24E 200GB 고속 메모리 모듈을 탑재하고 있습니다. 논리적으로 H246의 메모리 용량은 144=1.26GB여야 하고, 메모리 대역폭은 7.2=141TB/s여야 합니다. 하지만 NVIDIA 공식 웹사이트에 공개된 사양은 정수가 아닌 4.8GB의 메모리만 표시하고 있으며, 메모리 대역폭은 XNUMXTB/s에 불과합니다. 이는 대량 생산의 이유로, NVIDIA가 수율률을 개선하기 위해 작은 부분을 중복성으로 예약해 놓은 것입니다.

HBM은 용량과 대역폭 증가를 목표로 하는 반복 방향으로 지속적으로 발전하고 있습니다. 현재 최대 레이어 수는 12개다. SK하이닉스는 2014년 세계 최초로 HBM을 출시한 데 이어 2년 HBM2018를 출시했으며, 이후 3년마다 차세대 HBM을 출시하고 있다. 최신 양산형은 HBM4e이며, 원 제조사가 연구개발에 박차를 가하고 있어 HBM16가 1단 스택을 채택할 가능성도 있다. I/O 수(버스 폭) 측면에서 HBM3~HBM1024e는 모두 1비트를 유지하며, 데이터 전송 속도는 HBM1의 9.2Gb/s에서 HBM3e의 128Gb/s로 증가하여 궁극적으로 대역폭이 1GB/s에서 증가합니다. HBM1.2의 경우 HBM3e의 경우 4TB/s입니다. HBM4의 표준은 현재 결정되지 않았지만 일반적으로 HBM16는 최대 2048개 레이어 스택과 XNUMX비트 버스 폭을 가질 것으로 예상됩니다.

HBM 시장은 주로 3개의 주요 스토리지 거대 기업이 지배하고 있습니다.

SK하이닉스: SK하이닉스는 HBM 기술의 주요 개발자 중 하나로서 HBM 분야에서 선도적인 위치를 차지하고 있습니다. 이 회사는 HBM의 초기 개발에 참여했을 뿐만 아니라 HBM2, HBM2E, HBM3 등 기술의 반복을 지속적으로 추진하고 있습니다. SK하이닉스는 HBM 기술의 혁신과 대량 생산 역량을 통해 NVIDIA의 AI 칩용 HBM의 주요 공급업체로 자리매김했으며, 시장 점유율도 가장 높습니다.

삼성전자: 삼성전자는 세계 최고의 반도체 회사 중 하나이며 HBM 기술 분야에서 강력한 R&D 및 생산 능력을 보유하고 있습니다. 삼성전자는 HBM 개발에 막대한 투자를 하고 시장 수요에 맞춰 생산능력을 적극적으로 확대해 왔다. 고용량, 대용량 제품 개발 등 삼성의 HBM 기술 발전은 고성능 컴퓨팅과 AI 분야의 경쟁력을 강화하는 데 핵심적인 역할을 해왔습니다. 삼성은 다른 클라우드 서비스 제공업체의 주문 이행에 중점을 두고 있으며, 고객 주문 증가에 따라 HBM3에서 삼성과 SK하이닉스 간의 시장 점유율 격차가 크게 줄어들 것으로 예상되며, 2023~2024년에는 두 회사의 시장 점유율이 동일할 것으로 예상됩니다. HBM 시장 점유율의 약 95%를 보유하고 있습니다.

마이크론 테크놀로지(Micron Technology): 마이크론은 기술 방향에 대한 잘못된 판단으로 인해 HBM 시장에서 상대적으로 낮은 시장점유율을 보이며 추격 중이다. 마이크론은 SK하이닉스, 삼성전자보다 늦게 HBM 시장에 진출했지만, HBM3E로 직접 출발해 빠르게 기술력을 강화하며 기존 시장구조에 도전장을 냈다. NVIDIA가 H200에 Micron을 사용하는 것은 그 능력을 크게 인정한 것입니다.