Раскрытие решений в области подключенных технологий в интеллектуальном вычислительном центре

Система NVIDIA DGX H100, изначально разработанная для интеграции 256 графических процессоров NVIDIA H100, столкнулась с трудностями при коммерческом внедрении. Дискуссии в отрасли показывают, что основным препятствием было отсутствие экономической эффективности. В системе активно использовались оптические волокна для соединений с графическим процессором, что приводило к увеличению стоимости спецификации (BoM) сверх того, что было экономически разумно для стандартной конфигурации NVL8.

Несмотря на заявление NVIDIA о том, что расширенный NVL256 может предложить пропускную способность до 2x для обучения MoE 400B, некоторые крупные клиенты остаются скептиками. В то время как последний NDR InfiniBand приближается к 400 Гбит/с, а NVLink4 теоретически достигает 450 ГБ/с, конструкция системы — с 128 коммутаторами L1 NVSwitch и 36 внешними коммутаторами L2 NVSwitch — создает коэффициент блокировки 2:1. Следовательно, каждый сервер может использовать только половину своей полосы пропускания для подключения к другому серверу. NVIDIA полагается на технологию NVLink SHARP для оптимизации сети и достижения эквивалентной полосы пропускания all-to-all.

Анализ спецификации материалов (BoM) H100 NVL256 во время конференции Hot Chips 34 показал, что расширение до NVLink256 увеличило стоимость спецификации примерно на 30% на суперблок (SU). Поскольку система масштабируется за пределы 2048 графических процессоров H100, переход от двухуровневой топологии сети InfiniBand к трехуровневой топологии немного снижает процент затрат на InfiniBand.

NVIDIA переработала NVL256, чтобы создать NVL32, используя медную объединительную плату, аналогичную конструкции NVL36/NVL72 Blackwell. AWS согласилась приобрести 16 тыс. GH200 NVL32 для своей инициативы Project Ceiba. Стоимость обновленного NVL32 оценивается на 10 % выше, чем стандартная усовершенствованная спецификация HGX H100. Поскольку рабочие нагрузки продолжают расти, NVIDIA утверждает, что NVL32 будет в 1.7 раза быстрее для GPT-3 175B и 16k GH200 и в 2 раза быстрее для вывода LLM 500B по сравнению с 16k H100. Такое привлекательное соотношение производительности и стоимости побуждает все больше клиентов использовать новый дизайн NVIDIA.

Что касается ожидаемого запуска GB200 NVL72, NVIDIA извлекла уроки из неудачи H100 NVL256. Теперь они используют медные кабели, называемые «позвоночниками NVLink», чтобы решить проблему затрат. Ожидается, что это изменение конструкции снизит себестоимость продукции (COG) и проложит путь к успеху GB200 NVL72. По оценкам, за счет использования медной конструкции NVL72 сэкономит примерно в 6 раз затраты на стойку GB200 NVL72, что приведет к экономии энергии примерно на 20 кВт на стойку GB200 NVL72 и 10 кВт на стойку GB200 NVL32. В отличие от H100 NVL256, GB200 NVL72 не будет использовать коммутаторы NVLink внутри вычислительных узлов; вместо этого будет использоваться плоская топология сети, оптимизированная для рельсовых сетей. На каждые 72 графических процессора GB200 приходится 18 коммутаторов NVLink. Поскольку все соединения остаются в одной стойке, самое дальнее соединение занимает длину всего 19U (0.83 метра), что возможно при использовании активных медных кабелей.

Согласно отчетам Semianaанализа, NVIDIA утверждает, что их конструкция может поддерживать подключение до 576 графических процессоров GB200 в одном домене NVLink. Для этого может потребоваться добавление дополнительных слоев коммутатора NVLink. Ожидается, что NVIDIA будет поддерживать коэффициент блокировки 2:1, используя 144 переключателя L1 NVLink и 36 переключателей L2 NVLink в блоках GB NVL576 SU. В качестве альтернативы они могут использовать более агрессивный коэффициент блокировки 1:4, используя только 18 переключателей L2 NVLink. Они продолжат использовать оптические трансиверы OSFP для расширения соединений от коммутаторов L1 NVLink стойки до коммутаторов L2 NVLink.

Ходили слухи, что на NVL36 и NVL72 приходится более 20% поставок NVIDIA Blackwell. Однако остается вопрос, выберут ли крупные клиенты более дорогой NVL576, поскольку расширение до NVL576 требует дополнительных затрат на оптические компоненты. NVIDIA, похоже, извлекла из этого урок и признает, что стоимость межсоединения по медному кабелю значительно ниже, чем у оптоволокна.

По мнению эксперта по полупроводниковой отрасли Дуга О'Лэнглина, медные межсоединения будут доминировать на уровне стоек, максимизируя ценность меди перед переходом на оптику. Новый закон Мура направлен на размещение в стойке максимальной вычислительной мощности. О'Ланглин считает, что домен NVLink по пассивной медной сети является новым эталоном успеха, что делает стойки GB200 NVL72 разумным выбором по сравнению со стойками B200.

С точки зрения отрасли медные соединения имеют явные преимущества в сценариях связи на короткие расстояния. Они играют решающую роль в высокоскоростных соединениях центров обработки данных, предлагая преимущества в тепловой эффективности, низком энергопотреблении и экономической эффективности. По мере того, как скорости SerDes растут с 56G и 112G до 224G, ожидается, что скорости одного порта достигнут 1.6T на основе 8 каналов, что приведет к значительному снижению затрат на высокоскоростную передачу. Для решения проблемы потерь при передаче на высокоскоростных медных кабелях AEC и ACC увеличивают дальность сигнала с помощью встроенных усилителей сигнала, в то время как процессы производства модулей медных кабелей продолжают развиваться.

По данным Light Counting, объем мирового рынка пассивных кабелей прямого подключения (DAC) и активных оптических кабелей (AOC), согласно прогнозам, будет расти совокупными ежегодными темпами роста на 25% и 45% соответственно.

В период с 2010 по 2022 год пропускная способность чипа коммутатора увеличилась с 640 Гбит/с до 51.2 Тбит/с, что привело к 80-кратному увеличению общего энергопотребления системы. Примечательно, что энергопотребление оптических компонентов увеличилось в 26 раз.

Межблочные соединения медных кабелей из-за отсутствия оптоэлектронного преобразования характеризуются низким энергопотреблением. Современные медные кабели прямого подключения (DAC) потребляют менее 0.1 Вт, что делает их незначительными, а активные кабели (AEC) могут поддерживать мощность в пределах 5 Вт, что способствует снижению общего энергопотребления в вычислительных кластерах.

В пределах достижимого расстояния высокоскоростной передачи сигнала медных кабелей их стоимость ниже по сравнению с оптоволоконными соединениями. Кроме того, медные кабельные модули обеспечивают чрезвычайно низкую задержку передачи электрического сигнала на короткие расстояния и поддерживают высокую надежность, избегая рисков потери сигнала или помех, с которыми оптоволокно может столкнуться в определенных средах. Кроме того, физические характеристики медных кабелей делают их более простыми в обращении, обслуживании и высокосовместимыми без необходимости в дополнительном преобразующем оборудовании.