NVIDIA DGX H100 소개

NVIDIA DGX H100 시스템은 AI 인프라 및 워크로드용으로 설계된 범용 시스템입니다. 다음은 시스템의 주요 하드웨어 및 구성 요소 기능을 요약한 것입니다.

GPU 보드 트레이는 전체 AI 서버의 핵심 구성 요소 조립 영역입니다. 핵심 부품은 GPU 보드 트레이로, 주로 GPU 구성 요소, 모듈 보드, NVSwitch가 포함되어 있습니다.

CPU 마더보드 트레이는 CPU 마더보드, 시스템 메모리, 네트워크 카드, PCIE 스위치 및 기타 구성 요소가 포함된 서버(일반 서버 및 AI 서버 모두 포함)의 핵심 구성 요소입니다.

• 그래픽 프로세서: 8개의 NVIDIA H100 GPU, 640GB GPU 메모리 제공.
• 중앙 프로세서: Intel Xeon 2C PCIe Gen8480 CPU 5개(각각 코어 56개, 클록 속도 범위 2.0GHz ~ 3.8GHz)

• NVLink: 4세대 NVLink 900개가 XNUMXGB/s의 GPU 간 대역폭을 제공합니다.
• 스토리지 :

운영 체제 스토리지: 2TB NVMe M.1.92 SSD 2개(RAID 1 어레이).

데이터 캐시 스토리지: 8TB NVMe U.3.84 SED 2개(RAID 0 어레이).

• 네트워크 :

클러스터 네트워크: 4 OSFP 포트, InfiniBand(최대 400Gbps) 및 이더넷(최대 400GbE)을 지원합니다.

스토리지 네트워크: 이더넷(최대 2GbE) 및 InfiniBand(최대 7Gbps)를 지원하는 NVIDIA ConnectX-400 듀얼 포트 이더넷 카드 400개.

• 시스템 메모리: DIMM 32개 각각은 2TB의 메모리를 제공합니다.
• 대역 외 시스템 관리(BMC): Redfish, IPMI, SNMP, KVM 및 웹 사용자 인터페이스를 지원합니다.
• 대역 내 시스템 관리: 듀얼 포트 3GbE 및 100GbE RJ10 인터페이스 45개. 기계 및 전력 사양:

• 크기: 8U 랙 장착형, 높이 14인치, 최대 너비 19인치, 최대 깊이 35.3인치.
• 무게: 최대 287.6kg(130.45파운드).
• 입력 전압: 200-240V AC.
• 각 전원 공급 장치 사양: 최대 10.2kW, 3300W @ 200-240V, 16A, 50-60Hz.
• InfiniBand 및 이더넷을 포함하여 최대 400Gbps의 속도로 고속 네트워크 연결을 지원합니다.