최근 GPU 서버 시장이 뜨겁고, 일부 고객은 범용 서버에 GPU 카드를 장착할 수 있는지 궁금해합니다. 아니면 머신에 카드 1~2개만 필요한 경우 범용 서버 + GPU 카드를 채택하는 것이 효과가 있을까요? GPU 서버와 범용 서버는 비즈니스 시나리오에 따른 서버 시장의 현재 분류입니다. 두 가지 사이에는 엄격한 구분이 없습니다. GPU 서버는 GPU를 더 잘 지원하도록 최적화된 범용 서버라는 것을 이해할 수 있습니다. 두 가지를 간단히 비교해야 한다면, 다음의 XNUMX가지 측면에서 논의할 수 있습니다.
1. 다양한 수의 GPU 카드를 지원합니다.
GPU 서버는 일반적으로 최소 4개의 GPU 카드를 지원합니다. 시중의 주류 카드에는 4개 카드, 8개 카드, 10개 카드, 20개 카드 등이 있습니다. 여기의 카드는 표준 더블 너비 카드를 말합니다. 다음은 참조용 GPU 서버의 후면도입니다. 8개 카드 GPU 슬롯은 slot1-slot8이고 10개 카드 GPU 슬롯은 slot0-slot9입니다.
GPU 서버의 후면 모습
유니버설 서버: 일반적으로 2U 서버는 최대 4개의 카드를 갖고, 4U 서버는 최대 6개의 카드를 갖습니다. 이는 표준 더블 너비 카드를 말합니다.
2. 다양한 유형의 GPU 카드를 지원합니다.
GPU 서버: 카드 호환성이 좋습니다. 싱글 폭과 더블 폭 외에도 일부 제조업체 모델은 소비자용 2.5 또는 3폭 게임 카드도 지원할 수 있습니다. 예를 들어 Stone Group에서 출시한 G5208은 혁신적인 기계인 8카드 팬 버전 4090을 지원합니다. GPU 지원 매개변수와 구조도는 다음과 같습니다.
G5208 구조도
유니버설 서버: 주로 단일 너비와 이중 너비를 지원하며, 주로 크기와 열 발산으로 인해 삼중 너비의 소비자 카드를 지원할 수 없습니다.
3. 그들은 다른 기계 형태를 가지고 있습니다:
GPU 서버: 일반적으로 단일 노드 서버로, 시중에서 가장 흔한 것은 4U이며, 그 외에 타워 타워 서버, 그리고 5U, 6U 또는 8U 구성의 하이엔드 NVlink 서버도 있습니다.
유니버설 서버: 일반적으로 2U 형태이지만 1U 높이, 고밀도 2U2, 2U4, 4U8, 블레이드 또는 전체 캐비닛 형태도 있으며, 제품 형태도 더 다양합니다.
4. GPU와 CPU 토폴로지가 다릅니다
GPU 서버: PCIE 직접 패스스루 외에도 PCIE sw를 통해 확장할 수도 있습니다. 균형, 공통 및 캐스케이드를 포함한 다양한 토폴로지 유형이 있습니다. 다음 그림과 같이 다양한 고객 비즈니스 시나리오(트레이닝, 추론, 비디오 렌더링 등)에 대해 보다 유연하게 선택할 수 있습니다.
3가지 유형의 토폴로지 비교
범용 서버: 일반적으로 PCIE 패스스루(드물게 PCIe sw를 통해)를 사용하며, 지원되는 GPU 수가 제한되어 있습니다.
5. 다양한 브랜드의 서버
GPU 서버: 자체 플랫폼을 개발하는 주요 제조업체(LC, H3C, CJB, LX 등)를 제외하고 대부분은 AMD 플랫폼을 사용합니다(물론 HQ, HS 등 다른 ODM 제조업체도 배제되지는 않습니다).
범용 서버: 수십 개가 있습니다. 상위 몇 개 회사를 제외하고 자체 개발에 매우 적극적으로 참여하는 반면, 대부분의 다른 회사는 조립 서버를 사용하며, 주요 초점은 비용 효율성입니다.
6. 전체 서버의 전력 소모량이 크게 다릅니다.
GPU 서버: 전력 소모가 비교적 높습니다. 4090 4카드 서버를 예로 들면, 서버는 8KW 이상이 필요합니다. 예를 들어, 시중에 나와 있는 주류 Supermicro 2카드 플랫폼은 일반적으로 2+2 3KW 전원 공급 장치를 사용합니다(물론 1+XNUMX 작업 모드로 설정할 수도 있음).
범용 서버: 로우엔드 서버는 일반적으로 500-550W이며, 800W, 100W, 1200W, 1600W 서버도 있습니다. 일반적으로 2KW를 초과하는 서버는 많지 않습니다.
7. 단일 서버의 가격이 다릅니다
GPU 서버: 플랫폼은 범용 서버의 2~3배입니다. 한 대의 실제 출하 가격은 100,000만 위안에서 수백만 위안까지 다양합니다. 이는 주로 GPU 카드 가격에 따라 달라집니다. 예를 들어, 8개의 A100 카드의 경우 플랫폼 비용은 매우 작은 비중을 차지합니다.
유니버설 서버: 10,000위안에서 20,000위안에서 수십만 위안에 이르는 광범위한 가격대를 가지고 있지만, 대부분 판매 가격은 100,000위안 미만이며, 평균 가격은 단위당 약 30,000~50,000위안입니다. 이것이 바로 모두가 지금 GPU 서버를 판매하기를 좋아하는 이유입니다. GPU 서버 하나는 다른 것보다 4090배 더 비싸고, XNUMX XNUMX카드 머신 수십 대가 판매되면 판매 실적 과제는 기본적으로 달성됩니다.
8. 그들은 전체 시장 점유율이 다릅니다
20년 전으로 돌아가 보면 GPU 서버는 전체 서버 시장의 약 25-70%를 차지했고, 표준 서버는 30% 이상을 차지했습니다. 이제 GPU 시장은 붐을 일으키고 있으며, 특히 AIDC의 구축으로 인해 그렇습니다. GPU 모델의 출하량은 대략 40% 또는 30%를 넘어섰다고 추정됩니다. IDC 통계에 따르면 국내 가속 서버 시장 점유율은 2024년에 XNUMX%를 넘었습니다.
9. 그들은 서버의 다양한 비즈니스 시나리오를 가지고 있습니다
GPU 서버는 일반적으로 비디오 렌더링과 그래픽 처리, AI 교육, AI 추론 또는 HPC 컴퓨팅에 사용되는 반면, 표준 서버는 프라이빗 클라우드, 분산 스토리지, 관리 노드, HPC 일반 컴퓨팅 노드 등 어디에서나 사용할 수 있습니다.
10. 액체 냉각 기술 요구 사항의 긴급성이 다릅니다.
GPU 서버는 "전력 낭비자"이며 지능형 컴퓨팅 센터에서 PUE 지수를 낮추는 데 핵심입니다. 따라서 현재 건설 중이거나 건설을 준비하고 있는 많은 지능형 컴퓨팅 센터는 GPU 서버에 대한 액체 냉각(냉각판과 침지 모두)을 계획했습니다. 그러나 위험은 GPU 카드의 보증에 있습니다. GPU 카드가 액체 냉각으로 전환되면 원래 제조업체의 보증에 영향을 미칠 수 있습니다(물론 이 문제는 일시적이며 GPU 제조업체가 앞으로 특수 액체 냉각 모델을 출시할 가능성이 배제되지 않습니다. 사실 NVIDIA는 100년 전에 AXNUMX 단일 폭 액체 냉각 GPU를 출시했습니다). 범용 서버는 액체 냉각 측면에서 GPU 서버만큼 시급하지 않으며 비교적 간단한 구조를 가지고 있으며 액체 냉각 냉각판 전환 또는 침지 적응 측면에서 GPU 서버보다 성숙도가 높습니다.