Introdução ao NVIDIA DGX H100

O sistema NVIDIA DGX H100 é um sistema universal projetado para infraestrutura e cargas de trabalho de IA. Aqui está um resumo dos principais recursos de hardware e componentes do sistema:

A bandeja da placa GPU é a principal área de montagem de componentes de todo o servidor de IA. A parte principal é a Bandeja da Placa GPU, que contém principalmente componentes GPU, placas de módulos e NVSwitches.

A bandeja da placa-mãe da CPU é o componente principal do servidor (incluindo servidores comuns e servidores AI), que contém a placa-mãe da CPU, memória do sistema, placa de rede, switch PCIE e outros componentes.

• Processador gráfico: 8 GPUs NVIDIA H100, fornecendo 640 GB de memória GPU.
• Processador central: 2 CPUs Intel Xeon 8480C PCIe Gen5, cada uma com 56 núcleos, velocidade de clock variando de 2.0 GHz a 3.8 GHz.

• NVLink: 4 NVLinks de quarta geração, fornecendo 900 GB/s de largura de banda de GPU para GPU.
• Armazenamento:

Armazenamento do sistema operacional: 2 SSDs NVMe M.1.92 de 2 TB (matriz RAID 1).

Armazenamento em cache de dados: 8 SEDs NVMe U.3.84 de 2 TB (matriz RAID 0).

• Rede:

Rede de clusters: 4 Portas OSFP, com suporte para InfiniBand (até 400 Gbps) e Ethernet (até 400 GbE).

Rede de armazenamento: 2 placas Ethernet de porta dupla NVIDIA ConnectX-7, com suporte para Ethernet (até 400 GbE) e InfiniBand (até 400 Gbps).

• Memória do sistema: Cada 32 DIMMs fornece 2 TB de memória.
• Gerenciamento de sistema fora de banda (BMC): Suporta Redfish, IPMI, SNMP, KVM e interface de usuário da Web.
• Gerenciamento de sistema em banda: 3 interfaces RJ100 de porta dupla 10GbE e 45GbE. Especificações mecânicas e de energia:

• Dimensões: montado em rack 8U, altura 14 polegadas, largura máxima 19 polegadas, profundidade máxima 35.3 polegadas.
• Peso: Máximo 287.6 libras (130.45 kg).
• Tensão de entrada: 200-240 volts CA.
• Especificações para cada fonte de alimentação: Máximo de 10.2 quilowatts, 3300 watts a 200-240 volts, 16 amperes, 50-60 hertz.
• Suporta conexões de rede de alta velocidade, incluindo InfiniBand e Ethernet, com velocidades de até 400 Gbps.