AI 서버: 인터페이스 상호연결 칩 기술

TrendForce 데이터에 따르면 AI 서버 출하량은 약 130,000개로 전 세계 서버 출하량의 약 1%를 차지합니다. 2023년을 내다보며 마이크로소프트, 메타, 바이두, 바이트댄스 등이 제너레이티브 AI 기반 제품과 서비스를 잇따라 출시하며 적극적으로 주문을 늘렸다. 2023년 AI 서버 출하량 연평균 성장률은 15.4%에 달할 것으로 예상되며, 향후 AI 서버용 ChatGPT 수요에 따라 12.2년부터 2023년까지 AI 서버는 연평균 2027% 성장할 것으로 예상된다. .

DGX H100은 2022년에 출시되었으며 NVIDIA의 DGX 시스템의 최신 반복이며 NVIDIA DGX SuperPOD의 기반입니다. DXG 서버는 8개의 H100 GPU와 640억 개의 트랜지스터를 탑재하고 있으며, 새로운 FP6 정밀도에서 이전 세대보다 8배 더 높은 AI 성능을 제공하여 900GB/s의 대역폭을 제공합니다.

출처: NVIDIA

DGX H100 서버 내부의 파란색 블록은 IP 네트워크 카드로, 네트워크 카드 역할을 할 수 있을 뿐만 아니라 PCIe 스위치 확장 역할도 수행하여 CPU와 GPU(H100) 사이의 브리지 역할을 합니다. 내부적으로 PCle 5.0 표준을 사용합니다. 또한 CX7은 서버에 꽂을 수 있도록 네트워크 카드 칩 형태로 2개의 카드로 만들어지며, 각 카드는 4개의 CX7 칩으로 구성되어 2개의 800G OSFP 광모듈 포트를 출력한다.

GPU(H100) 간의 상호 연결은 주로 NV Switch 칩을 통해 이루어집니다. DGXH100의 각 GPU는 링크당 18GB/s의 양방향 대역폭으로 50개의 NVLink를 외부로 확장하여 총 18*50GB/s=900GB/s의 양방향 대역폭을 제공합니다. 이는 4개의 온보드 NV 스위치로 분할되므로 각 NV 스위치는 4-5개의 OSFP 광학 모듈(총 18개). 각 OSFP 광 모듈 8개의 광 채널을 사용하며 채널당 전송 속도는 100Gbps이므로 총 속도는 800Gbps, 고속 데이터 전송이 가능합니다.

CPU, GPU 등 구성 요소 상호 연결: PCIE 스위치, 리타이머 칩

PCIe 스위치 또는 PCIe 허브라고도 하는 PCIe 스위치는 주로 PCIe 장치를 상호 연결하는 데 사용되며 PCIe 스위치 칩과 해당 장치의 통신 프로토콜은 PCIe입니다. PCIe 링크 통신은 일종의 종단 간 데이터 전송이므로 스위치는 확장 또는 집계 기능을 제공하여 더 많은 장치를 PCle 포트에 연결할 수 있도록 하고 부족한 PCIe 채널 수 문제를 해결해야 합니다. 현재 PCIe 스위치는 기존 스토리지 시스템에서 널리 사용될 뿐만 아니라 데이터 전송 속도를 향상시키기 위해 일부 서버 플랫폼에서도 점차 대중화되고 있습니다.

PCIe 버스 기술 업그레이드, 세대별 PCIe 스위치 속도 증가. PCIe 버스는 PCI 버스를 대체하는 고속 직렬 기술입니다. 2001년 인텔은 PCI 버스를 대체하는 3세대 I/O 기술인 "2002GIO"를 발표했습니다. 2003년 이 기술은 PCI Special Interest Group(PCI-SIG)의 검토를 거쳐 공식적으로 "PCI Express"로 이름이 바뀌면서 PCIe가 탄생했습니다. 1.0년 PCIe 250이 공식적으로 출시되어 채널당 2.5MB/s의 전송 속도와 총 2007GT/s의 전송 속도를 지원했습니다. 2.0년 PCI-SIG는 PCI Express Base 1.0 사양을 출시한다고 발표했습니다. PCIe 5을 기반으로 총 전송 속도는 250GT/s로 두 배가 되었고 채널당 전송 속도는 500MB/s에서 2022MB/s로 증가했습니다. 6.0년에 PCI-SIG는 PCIe 64 사양을 공식 출시하여 총 대역폭을 XNUMXGT/s로 늘렸습니다.

출처 : Wikipedia

PCIe가 서버에 점점 더 많이 적용됨에 따라 PCIe 스위치에 대한 시장 수요도 증가하고 있습니다. QYResearch의 통계 및 예측에 따르면, 전 세계 PCIe 칩 시장 매출은 790년에 2021억 1.8천만 달러에 달했으며, 연평균 복합 성장률(CAGR) 2028%로 11.9년에는 XNUMX억 달러에 이를 것으로 예상됩니다.

출처: Asmedia, BroadCom 및 Microchip

중국은 PCIe 스위치의 최대 시장입니다. 서버의 대용량 데이터 저장 및 전송에 대한 수요가 증가함에 따라 빅데이터, 클라우드 컴퓨팅, 인공지능 등 분야에서 대용량 데이터 전송을 달성하기 위해서는 다수의 고속 상호 연결 솔루션이 필요합니다. 솔루션인 PCIe 스위치는 중국 시장에서 큰 수요를 갖고 있습니다.

AI 서버에서는 GPU와 CPU가 연결될 때 신호 품질을 보장하기 위해 하나 이상의 리타이머 칩이 필요합니다. 특히 많은 AI 서버는 AI 가속기에서 XNUMX개의 리타이머 칩을 구성하는 Astera Labs와 같은 여러 리타이머 칩을 구성합니다.

출처 : 아스테라 연구소

PCIe 리타이머는 4.0개의 주요 제조업체와 많은 잠재적 경쟁업체가 있는 블루오션 시장입니다. 현재 PCIe Retimer 블루오션 시장에서는 Parade Technologies, Astera Labs, Montage Technology가 5.0대 주요 공급업체로 지배적인 위치를 차지하고 있습니다. 그중 Montage Technology는 PCIe를 더 일찍 배치했으며 PCIe XNUMX Retimer를 대량 생산할 수 있는 유일한 중국 본토 공급업체이며 PCIe XNUMX Retimer 개발이 원활하게 진행되고 있습니다.

출처: Montage Technology, Astera Labs 및 Parade Technologies

또한 Renesas, TI, Microchip Technology 등의 칩 제조업체도 PCIe Retimer 제품 개발에 적극적으로 참여하고 있습니다. 공식 웹사이트 정보에 따르면 Renesas는 3.0HT89AP와 0816HT89P라는 두 가지 PCIe 0832 Retimer 제품을 제공할 수 있습니다. TI는 16Gbps 8채널 PCIe 4.0 Retimer인 DS160PT801을 제공할 수 있습니다. 마찬가지로 Microchip Technology는 2020년 5.0월에 PCIe 32의 XNUMXGT/s 속도를 지원할 수 있는 XpressConnect 시리즈 Retimer 칩을 출시했습니다.

GPU-GPU 연결: NVLink, NVSwitch

글로벌 칩 제조사들은 고속 인터페이스 관련 기술에 주목하고 있다. NVIDIA의 NVLink 외에도 AMD의 Infinity Fabric 및 Intel의 CXL(Compute Express Link)도 서버 내 고속 상호 연결을 위한 솔루션을 제공합니다.

지속적으로 업데이트되는 NVlink는 고속 상호 연결 기술의 혁명을 일으켰습니다. NVLink는 NVIDIA가 개발한 고속 상호 연결 기술로, CPU와 GPU, GPU와 GPU 간의 데이터 전송 속도를 가속화하고 시스템 성능을 향상시키는 것을 목표로 합니다. 2016년부터 2022년까지 NVLink는 2016세대까지 반복되었습니다. 100년에 NVIDIA는 Pascal GP40 GPU가 탑재된 새로운 고속 인터페이스 칩인 NVLink를 출시했습니다. 이것은 NVLink의 160세대입니다. NVLink는 GPU와 GPU, GPU와 CPU 간 신호 전송에 주로 사용되는 NVHS(High-Speed ​​Signaling Interconnect) 기술을 사용합니다. GPU는 NRZ(Non-Return-to-Zero) 인코딩 형식으로 차동 임피던스 전기 신호를 전송합니다. XNUMX세대 NVLink 단일 링크는 XNUMXGB/s의 양방향 대역폭을 달성할 수 있으며, 단일 칩은 XNUMX개의 링크, 즉 총 양방향 대역폭 XNUMXGB/s를 지원할 수 있습니다.

출처: NVIDIA

NVLink 기술 여러 번의 반복과 업데이트를 거쳐 고속 상호 연결 기술에 혁신의 물결을 일으켰습니다. 2017년에는 링크당 50GB/s의 양방향 대역폭을 달성하고 칩당 300개의 링크, 즉 총 양방향 대역폭 2020GB/s를 지원할 수 있는 Volta 아키텍처 기반의 50세대 NVLink가 출시되었습니다. 12년에는 링크당 600GB/s의 양방향 대역폭을 달성하고 칩당 2022개의 링크, 즉 총 양방향 대역폭 4GB/s를 지원할 수 있는 Ampere 아키텍처 기반의 50세대 NVLink가 출시되었습니다. 18년에는 전송 신호를 PAM900 변조 전기 신호로 변경한 Hopper 아키텍처 기반의 XNUMX세대 NVLink가 출시되었으며, 링크당 XNUMXGB/s의 양방향 대역폭을 달성하고 칩당 XNUMX개의 링크를 지원할 수 있습니다. 총 양방향 대역폭 XNUMXGB/s.

2018년 NVDIA는 대역폭을 향상시키고, 대기 시간을 줄이며, 서버 내 여러 GPU 간의 통신을 가능하게 하는 솔루션을 제공하는 12세대 NVSwitch를 출시했습니다. 18세대 NVSwitch는 TSMC의 2.0nm FinFET 공정을 사용하여 제조되었으며 16개의 NVLink 100 인터페이스를 포함했습니다. 서버는 12개의 NVSwitch를 통해 XNUMX개의 VXNUMX GPU를 지원할 수 있어 NVLink를 통해 가장 높은 상호 연결 속도를 달성할 수 있습니다.

출처: NVIDIA

현재 NVSwitch는 4세대까지 반복되었습니다. 64세대 NVSwitch는 TSMC의 4.0N 프로세스를 사용하여 제작되었으며 각 NVSwitch 칩에는 900개의 NVLink XNUMX 포트가 있습니다. GPU 간 통신 속도는 XNUMXGB/s에 달하며, NVLink 스위치로 연결된 GPU는 딥러닝 기능을 갖춘 단일 고성능 가속기로 사용할 수 있습니다.

CPU와 DRAM 간의 고속 상호 연결로 인해 메모리 인터페이스 칩에 대한 수요가 증가합니다.

서버 메모리 모듈의 주요 유형은 RDIMM 및 LRDIMM으로, 다른 유형의 메모리 모듈보다 안정성, 오류 수정 및 저전력 소비에 대한 요구 사항이 더 높습니다. 메모리 인터페이스 칩은 서버 메모리 모듈의 핵심 논리 장치로, 서버 CPU가 메모리 데이터에 액세스하는 데 필요한 경로입니다. 주요 기능은 메모리 데이터 액세스의 속도와 안정성을 향상시키고 메모리 모듈용 서버 CPU의 증가하는 고성능 및 대용량 요구를 충족시키는 것입니다.

출처: CSDN

메모리 인터페이스 칩의 속도는 DDR4에서 DDR5로 계속 증가하고 있습니다. 2016년부터 DDR4는 메모리 시장의 주류 기술이 되었습니다. 더 높은 전송 속도를 달성하고 더 큰 메모리 용량을 지원하기 위해 JEDEC 조직은 DDR4 메모리 인터페이스 칩의 기술 사양을 더욱 업데이트하고 개선했습니다. DDR4 세대에서는 Gen1.0, Gen1.5, Gen2.0부터 Gen2plus까지 메모리 인터페이스 칩의 각 하위 세대가 지원하는 최고 전송 속도가 지속적으로 증가해 왔으며, DDR4의 마지막 하위 세대 제품인 Gen2plus는 최대 3200MT/s의 전송 속도를 지원합니다. JEDEC 조직이 DDR5 메모리 인터페이스 제품의 사양 정의를 지속적으로 개선함에 따라 DDR5 메모리 기술은 점차적으로 DDR4 메모리 기술을 대체하고 있습니다.

현재 DDR5 메모리 인터페이스 칩은 각각 4800MT/s, 5600MT/s 및 6400MT/s의 지원 속도를 갖춘 세 가지 하위 세대를 계획하고 있습니다. 업계에서는 앞으로 1~2세대가 더 나올 것으로 예상하고 있다.

메모리 인터페이스 칩은 기능에 따라 레지스터 버퍼(RCD)와 데이터 버퍼(DB)의 두 가지 유형으로 구분됩니다. RCD는 메모리 컨트롤러의 주소, 명령 및 제어 신호를 버퍼링하는 데 사용되고 DB는 메모리 컨트롤러 또는 메모리 그래뉼의 데이터 신호를 버퍼링하는 데 사용됩니다.

출처: 몽타주 기술

DDR5 메모리 모듈을 업그레이드하면 메모리 인터페이스 칩과 모듈 지원 칩에 새로운 기회가 제공됩니다. 2016년 글로벌 메모리 인터페이스 칩 시장 규모는 약 280억 570천만 달러였으며, 2018년에는 약 40억 5천만 달러에 이르렀으며, 4년간 연평균 성장률 5%를 기록했습니다. DDR5의 업그레이드는 메모리 인터페이스 칩의 시장 규모를 새로운 차원으로 끌어올릴 것입니다. DDR4에 비해 DDR5의 더 높은 지원률과 더 복잡한 설계로 인해 DDR5 메모리 인터페이스 칩의 첫 번째 하위 세대의 시작 가격은 DDRXNUMX 메모리 인터페이스 칩보다 높습니다. 동시에, 서버와 PC에서의 DDRXNUMX 메모리 보급률이 점차 증가함에 따라 DDRXNUMX 관련 메모리 인터페이스 칩의 시장 규모도 급속한 성장을 이룰 것으로 예상됩니다.

메모리 인터페이스 칩 산업은 장벽이 높아 삼각 패턴이 형성됐다. 메모리 인터페이스 칩은 기술 집약적 산업으로 CPU, 메모리, OEM 제조사 등 모든 면에서 엄격한 검증을 거쳐야 대규모로 활용될 수 있어 신규 플레이어 진입이 어렵다. 기술적 난이도가 높아짐에 따라 메모리 인터페이스 칩 플레이어의 수는 DDR10 세대의 2개 이상에서 DDR3 세대의 4개로 감소했습니다. 업계가 청산되고 삼족의 패턴이 형성됐다. DDR5 세대에서 DDR5의 첫 번째 하위 세대의 양산 제품을 제공할 수 있는 공급업체는 전 세계에서 몽타주 테크놀로지(Montage Technology), 르네사스 일렉트로닉스(IDT), 램버스 XNUMX개뿐입니다.