Introducción a NVIDIA DGX H100

El sistema NVIDIA DGX H100 es un sistema universal diseñado para infraestructuras y cargas de trabajo de IA. A continuación se muestra un resumen de las principales características de hardware y componentes del sistema:

La bandeja de la placa GPU es el área de ensamblaje de componentes clave de todo el servidor de IA. La parte principal es la bandeja de la placa GPU, que contiene principalmente componentes de GPU, placas de módulos y NVSwitches.

La bandeja de la placa base de la CPU es el componente central del servidor (incluidos los servidores normales y los servidores AI), que contiene la placa base de la CPU, la memoria del sistema, la tarjeta de red, el conmutador PCIE y otros componentes.

• Procesador de gráficos: 8 GPU NVIDIA H100, que proporcionan 640 GB de memoria GPU.
• Procesador central: 2 CPU Intel Xeon 8480C PCIe Gen5, cada una con 56 núcleos, velocidad de reloj que oscila entre 2.0 GHz y 3.8 GHz.

• NVLink: 4 NVLinks de cuarta generación, que proporcionan 900 GB/s de ancho de banda de GPU a GPU.
• Almacenamiento:

Almacenamiento del sistema operativo: 2 SSD NVMe M.1.92 de 2 TB (matriz RAID 1).

Almacenamiento de caché de datos: 8 SED NVMe U.3.84 de 2 TB (matriz RAID 0).

• Red:

Red de clústeres: 4 Puertos OSFP, compatible con InfiniBand (hasta 400 Gbps) y Ethernet (hasta 400 GbE).

Red de almacenamiento: 2 tarjetas Ethernet de doble puerto NVIDIA ConnectX-7, compatibles con Ethernet (hasta 400 GbE) e InfiniBand (hasta 400 Gbps).

• Memoria del sistema: cada 32 DIMM proporciona 2 TB de memoria.
• Gestión de sistemas fuera de banda (BMC): admite Redfish, IPMI, SNMP, KVM e interfaz de usuario web.
• Gestión del sistema en banda: 3 interfaces RJ100 de doble puerto de 10GbE y 45GbE. Especificaciones mecánicas y de potencia:

• Dimensiones: 8U montado en bastidor, altura 14 pulgadas, ancho máximo 19 pulgadas, profundidad máxima 35.3 pulgadas.
• Peso: Máximo 287.6 libras (130.45 kg).
• Voltaje de entrada: 200-240 voltios CA.
• Especificaciones para cada fuente de alimentación: Máximo 10.2 kilovatios, 3300 vatios a 200-240 voltios, 16 amperios, 50-60 hercios.
• Admite conexiones de red de alta velocidad, incluidas InfiniBand y Ethernet, con velocidades de hasta 400 Gbps.