128 DGX H100으로 클러스터를 구축하는 방법은 무엇입니까?

100년에 출시된 NVIDIA DGX H2022에는 NDR 8Gb/s 대역폭을 지원하는 7개의 단일 포트 ConnectX-400 네트워크 카드와 IB/이더넷 네트워크를 지원할 수 있는 2개의 듀얼 포트 Bluefield-3 DPU(200Gb/s)가 장착되어 있습니다. . 외관은 다음 그림과 같습니다.

DGX H100에는 스토리지 네트워크 및 대역 내 관리 네트워크용 QSFP4 포트 56개가 있습니다. 또한 원격 호스트 OS 관리용 10G 이더넷 포트 1개와 원격 시스템 관리용 XNUMXG 이더넷 포트 XNUMX개가 있습니다.

서버의 내부 네트워크 토폴로지 그림에서 컴퓨팅 네트워크 연결을 위한 4개의 OSFP 포트(보라색)가 있으며 파란색 블록은 네트워크 카드 역할을 할 수 있고 PCIe 스위치 확장 역할도 수행할 수 있는 네트워크 카드입니다. , CPU와 GPU 사이의 다리가 됩니다.

NVIDIA SuperPOD NVLink 클러스터 상호 연결 방식을 채택하면 32개의 H100이 외부 NVLink 스위치를 통해 상호 연결됩니다. 서버 내부의 8개의 GPU는 4개의 NVSwitch 모듈에 연결되며, 각 NVSwitch 모듈은 4-5에 해당합니다. OSFP 광학 모듈, 총 18개의 OSFP가 있으며, OSFP는 18개의 외부 NVLink 스위치에 연결됩니다. (현재 시중에 나와 있는 H100에는 이러한 18개의 OSFP 모듈이 없습니다.) 이 기사에서는 NVLink 네트워킹 방법에 대해 설명하지 않고 IB 네트워킹 방법에 중점을 둡니다. NVIDIA 참조 디자인 문서에 따르면 DGX H100 서버 클러스터에서는 DGX H32 100개마다 SU를 구성하고 DGX H4 100개마다 별도의 랙에 배치됩니다(각 랙의 전력은 40KW에 가까운 것으로 추정됩니다). 다양한 스위치가 두 개의 독립된 랙에 배치됩니다. 따라서 각 SU에는 10개의 랙(서버 배치용 8개, 스위치 배치용 2개)이 포함됩니다. 컴퓨팅 네트워크는 Spine-Leaf XNUMX레이어 스위치(Mellanox)만 사용하면 됩니다. QM9700), 네트워크 토폴로지는 다음 그림에 표시됩니다.

스위치 사용법: 클러스터에서는 DGX H32 100개마다 SU를 구성하고(SU당 리프 스위치는 8개), 4개의 H128 서버 클러스터에는 SU가 100개 있으므로 총 32개의 리프 스위치가 있습니다. SU의 각 DGX H100은 8개의 리프 스위치 모두와 연결되어야 합니다. 각 서버에는 컴퓨팅 네트워크 연결을 위한 OSFP 포트가 4개만 있으므로 각 포트에 800G 광 모듈을 연결한 후 확장 포트를 통해 OSFP 포트 100개를 QSFP 포트 8개로 확장하여 각 DGX H16을 16개의 리프 스위치로 연결합니다. 각 리프 스위치에는 XNUMX개의 스파인 스위치에 연결되는 XNUMX개의 업링크 포트가 있습니다.

광 모듈 용도 : Leaf 스위치의 다운 링크 포트에는 400G 광 모듈이 필요하며 수요는 3284입니다. Leaf 스위치의 업 링크 포트에는 800G 광 모듈이 사용되며 수요는 1684입니다. 800G 광 모듈은 Spine 스위치의 다운링크 포트. 따라서 128 H800 서버 클러스터에서는 컴퓨팅 네트워크가 사용되었습니다. 800G 광 모듈 1536 및 400G 광학 모듈 1024.