AI 서버의 5가지 주요 구성 요소 분석

2024 년 7 월 25 일

파이버몰

전문 광통신 제품의 원스톱 공급업체

DGX A100은 일반적인 가정용 컴퓨터와 유사하며 XNUMX개의 주요 하드웨어 모듈로 나눌 수 있습니다.

팬 모듈: 전면에 위치한 팬 모듈은 8개의 팬으로 구성되어 있으며 이는 기존 서버의 표준 XNUMXU 구성에 맞춰져 있습니다.
하드 드라이브: 전면 팬 모듈 아래에 위치한 DGX A100은 3.84개의 30TB 하드 드라이브를 수용하여 총 XNUMXTB의 내부 저장 용량을 제공합니다.
GPU 보드 트레이: AI 서버의 후면 부분은 중요한 구성 요소가 모이는 곳입니다. GPU 보드 트레이는 시스템의 핵심으로 AI 서버를 일반 서버와 차별화한다. DGX A100 아키텍처에서 GPU 보드 트레이에는 GPU 구성 요소, 모듈 보드 및 NVSwitch 구성 요소가 포함되어 있으며, 모두 다양한 유형의 PCB를 포함합니다.
CPU 마더보드 트레이: 일반 서버와 AI 서버를 포함한 모든 서버의 핵심 구성 요소 역할을 하는 부품입니다. 여기에는 CPU 마더보드, 시스템 메모리, 네트워크 카드 및 PCIE 스위치가 포함됩니다. CPU 마더보드와 시스템 메모리는 전체 PCB 사용량에 크게 기여합니다.
전원 모듈: DGX A100의 후면 섹션에는 내부적으로 두꺼운 구리 PCB를 활용하는 XNUMX개의 전원 모듈이 있습니다.

기능적 관점에서 AI 서버의 PCB 가치 계산은 세 부분으로 분류할 수 있습니다.

차례

GPU 보드 구성요소

총 가치 $12,000, 캐리어 보드(52%) 및 PCB(48%) GPU 보드는 GPU 캐리어, NVSwitch, OAM(OCP 가속기 모듈) 및 UBB(유닛 베이스보드)의 네 가지 주요 구성 요소로 구성됩니다.

GPU 캐리어: NVIDIA A100 GPU 및 DRAM은 고급 2.5D/3D 패키징 기술을 활용합니다. 크기가 70x70mm~100x100mm이고 14~16개의 레이어로 구성된 캐리어 보드는 GPU 수와 직접적으로 일치합니다. 100개의 GPU로 구성된 DGX A8의 구성을 고려하면 각 AI 서버에는 8개의 GPU 캐리어 보드가 필요합니다. 업계 조사에 따르면 단일 GPU 캐리어 보드의 가치는 약 100달러(650RMB에 해당)이므로 서버당 총 가치는 5,200달러입니다.

NVSwitch: NVLink 표준을 기반으로 하는 NVSwitch는 GPU 간의 통신을 촉진합니다. NVSwitch용 캐리어는 GPU 캐리어용 캐리어와 유사하지만 제조 요구 사항이 더 간단합니다. 이들의 핵심 역할은 고속 데이터 전송을 처리하는 것입니다. 연구에 따르면 단일 NVSwitch의 가치는 약 $30(195RMB)입니다. 100개의 NVSwitch가 포함된 DGX A6의 경우 총 가치는 1,170달러입니다.

OAM(OCP 가속기 모듈): GPU 가속기 모듈이라고도 알려진 OAM은 GPU 칩을 탑재합니다. OAM 수는 GPU 수(DGX A8의 경우 100개)와 직접적으로 일치합니다. PCIE 버전(267.7mm x 111.15mm)과 유사한 치수를 기준으로 OAM의 예상 면적은 약 0.03제곱미터입니다. OAM은 고속 신호 전송으로 인해 특정 PCB 유형이 필요합니다. DGX A100 SXM 버전의 경우 20개 레이어, 초저손실 CCL 소재, 4레이어 HDI 기술이 포함되어 단위 가격은 평방미터당 12,000달러입니다. PCIE 버전은 14개 레이어, 초저손실 및 높은 Tg FR4 CCL 소재를 사용하며 해당 단가는 평방미터당 7,000달러입니다. 전반적으로 고급 AI 서버(DGX A100처럼 구성)의 OAM의 단위 가치는 $2,880입니다.

UBB(Unit Baseboard): UBB는 GPU 플랫폼 전체를 탑재하는 데 사용되는 PCB입니다. 각 AI 서버에는 하나의 UBB가 필요합니다. DGX A100 사양과 업계 조사를 바탕으로 UBB 면적은 약 0.30제곱미터로 추산됩니다. 이 보드는 초저손실 CCL 소재가 포함된 26층 스루홀 PCB를 사용하므로 단가는 평방 미터당 $10,000입니다. 서버당 UBB의 총 가치는 3,000달러입니다.

NVIDIA DGX A100 GPU 보드는 GPU 캐리어, NVSwitch, OAM(OCP 가속기 모듈) 및 UBB(유닛 베이스보드)의 네 가지 주요 부분으로 구성됩니다. 이들 구성요소를 합치면 총 PCB 면적은 0.624제곱미터에 이르며 이는 서버당 가격이 12,250달러에 해당합니다. 구체적으로:

GPU 캐리어는 6,370달러(전체 가치의 52%)를 기여합니다.

PCB 수준 구성 요소는 $5,880(전체 가치의 48%)를 기여합니다.

CPU 마더보드 구성 요소

CPU 마더보드 어셈블리에는 CPU 캐리어, CPU 메인보드 및 기능성 액세서리 보드가 포함됩니다. 이러한 액세서리에는 시스템 메모리 카드, 네트워크 카드, 확장 카드 및 스토리지 OS 드라이버 보드가 포함됩니다. 분석은 다음과 같습니다.

CPU 캐리어: GPU 캐리어와 사양이 유사하며 각 CPU 캐리어의 추정 가치는 100달러입니다. 100개의 CPU로 구성된 DGX A2의 경우 서버당 총 가치는 약 $1,300입니다.

CPU 메인보드: CPU 칩, PCIE 스위치 칩, TPM 모듈 및 다양한 기능 액세서리 카드를 수용하는 CPU 메인보드는 64코어 AMD Rome CPU 및 PCIE 4.0 버스 표준의 설계를 준수합니다. 10~12겹의 저손실 CCL 소재와 스루홀 설계를 사용합니다. CPU 메인보드의 추정 면적은 0.38제곱미터로 서버당 가치는 1,140달러입니다.

기능성 액세서리 보드: 이 보드는 다양한 용도로 사용됩니다.

CPU 메모리 카드(32개 유닛, 총 2TB RAM)의 표준 크기는 카드당 약 0.004제곱미터입니다.

네트워크 카드(Mellanox ConnectX 시리즈)는 10가지 변형(8개의 단일 포트 200Gb/s IB 및 2개의 듀얼 포트 200Gb/s 이더넷)으로 제공됩니다. 각 카드는 약 0.012평방미터의 면적을 차지합니다.

라이저 카드(PCIE 인터페이스 확장용)는 약 0.01제곱미터의 영역을 차지합니다.

스토리지 OS 드라이버 보드(1.92개의 2TB M.XNUMX NVMe 드라이브 수용)도 비슷한 영역을 차지합니다.

기능성 액세서리 보드의 총 면적은 0.27평방미터로 서버당 약 405달러에 해당합니다.

CPU 마더보드 요약: NVIDIA DGX A100 CPU 마더보드 어셈블리의 총 PCB 면적은 0.662평방미터이며, 서버당 가치는 약 $2,845입니다. 분석은 다음과 같습니다.

캐리어 수준 구성 요소는 전체 가치의 46%를 차지합니다.

PCB 수준 메인보드 구성 요소는 전체 가치의 40%를 차지합니다.

PCB 수준의 기능성 액세서리 구성 요소는 전체 가치의 14%를 차지합니다.

기타 구성 요소

단위당 총 가치 226 CNY GPU 보드 어셈블리 및 CPU 모듈 어셈블리 외에도 기타 구성 요소에는 전원 공급 장치, 하드 드라이브 및 전면 제어 콘솔 보드가 포함됩니다. 업계 조사에 따르면 이러한 구성 요소는 주로 FR6/중손실 등급 CCL(구리 피복 적층판)의 10~4개 레이어를 사용하며 단가는 평방 미터당 1000~1500 CNY 범위입니다. DGX A100 사양을 참고하여 용도와 면적을 다음과 같이 계산합니다.

전원 공급 장치: DGX A100에 6개의 전원 공급 장치가 장착되어 있다는 점을 고려하면 Delta Electronics 0.019W 서버 전원 공급 장치(모델 DPS-2200-AB)의 사양을 기준으로 각 전원 공급 장치의 개별 PCB 면적은 2200제곱미터로 추정됩니다. -2) 크기는 73.5 x 265.0mm입니다.
하드 드라이브: DGX A8에 100개의 하드 드라이브가 있는 경우 각 드라이브의 PCB 면적은 업계 표준 0.008인치 드라이브를 기준으로 3.5제곱미터로 추정됩니다.
전면 제어 콘솔 보드: 이 보드는 주로 외부 장치를 제어하는 데 사용되며 8개의 하드 드라이브 사이에 배치됩니다. 업계 조사에 따르면 면적은 약 0.010제곱미터로 추산됩니다.

GPU 보드 어셈블리, CPU 모듈 어셈블리 및 기타 구성 요소를 결합하면 DGX A100의 총 PCB 면적은 1.474평방미터, 단위 가격은 15,321CNY로 추정됩니다. 구체적으로:

GPU 보드 어셈블리는 단위당 12,000 CNY를 제공하며 이는 전체 가치의 80%를 차지합니다.

CPU 모듈 어셈블리의 단위 가격은 2,845 CNY로 전체의 19%를 차지합니다.

기타 구성 요소는 단위당 226CNY를 차지하며 전체 가치의 1%를 차지합니다.

보드 분류별로 보면 캐리어 보드 레벨은 단가가 7,670위안(50.1%)이고, PCB 보드 레벨은 7,651위안(49.9%)을 차지합니다.