Как NVIDIA GB200 использует ЦАП/ACC 800G/1.6T

NVIDIA выпустила новейшие вычислительные системы серии GB200 со значительно улучшенной производительностью. В этих системах используются как медные, так и оптические соединения, что приводит к активным дискуссиям на рынке об эволюции «медных» и «оптических» технологий.

Текущая ситуация: Серия GB200 (включая предыдущую GH200) представляет собой «суперчиповую» систему NVIDIA. По сравнению с традиционными серверами система имеет большую степень детализации: 36 или 72 графических процессора подключаются в основном с помощью электрических сигналов внутри шкафа. Внешне они используют сети NVLink и InfiniBand.

Выбор между медным и оптическим кабелем по сути является компромиссом между расстоянием и скоростью.

Почему DAC и ACC 800G/1600G имеют решающее значение для рабочих нагрузок ИИ

Использование NVIDIA GB200 NVL72 решений 800G и 1600G Direct Attach Copper (DAC) и Active Copper Cable (ACC) является переломным моментом для центров обработки данных ИИ. Эти высокоскоростные соединения удовлетворяют требованиям огромной пропускной способности и низкой задержки для крупномасштабных моделей ИИ, таких как модели большого языка с триллионами параметров (LLM). Вот почему эти кабели так важны:

• Высокая пропускная способность для вывода ИИ: каждый графический процессор Blackwell в GB200 NVL72 поддерживает двунаправленную пропускную способность до 1.8 ТБ/с через NVLink 5.0, требуя надежных межсоединений, таких как 800G/1600G DAC/ACC, для эффективной обработки передачи данных.
• Эффективность затрат и энергопотребления: кабели DAC и ACC на основе меди потребляют меньше энергии (обычно менее 16 Вт по сравнению с оптическими модулями) и более экономичны, экономя до 20 кВт на шкаф. Это критически важно для энергосберегающих фабрик ИИ.
• Надежность на малых расстояниях: в одном шкафу GB200 NVL72 медные кабели заменяют оптические модули для внутренних соединений, что сокращает задержку и упрощает инфраструктуру на расстояниях до 3 метров.
• Масштабируемость для больших кластеров: в то время как медные кабели отлично подходят для использования внутри шкафов, оптические модули 800G/1600G поддерживают соединения между шкафами, обеспечивая масштабируемость для кластеров, содержащих до 576 графических процессоров.

Благодаря балансу медных и оптических решений GB200 оптимизирует производительность и стоимость, что делает его идеальным для развертываний облачных ИИ-решений.

NVIDIA GB200 NVL72 представляет собой скачок вперед в суперкомпьютерах ИИ, объединяя передовые графические процессоры с передовыми сетевыми решениями. Чтобы лучше понять его архитектуру и преобразующий потенциал, в следующем видео подробно рассматривается конструкция и возможности системы.

Инновационная конструкция GB200 NVL72 обеспечивает непревзойденную производительность для рабочих нагрузок ИИ. Имея это в виду, давайте рассмотрим, как его высокоскоростное подключение, в частности, через кабели DAC/ACC 800G и 1600G, повышает его эффективность.

Снижает ли GB200 важность оптической связи?

На основе GH200 целевой сценарий для системы GB200 NVL72 больше ориентирован на крупные кластеры, облака и клиентов платформенного типа – то, что NVIDIA определяет как «AI Cloud/AI Factory». Ожидаемая форма — многошкафный кластер, в котором межкабинетные сети 800G или более, приведет к огромным электрическим потерям, что сделает оптическую связь необходимой.

Однако для клиентов малого и среднего бизнеса, которые могут использовать только одну систему GB200, осуществимость сомнительна, и традиционные серверы или облачные решения могут быть лучшими вариантами (также часть стратегии дифференциации NVIDIA).

Целью разработки GB200 является: один шкаф может обрабатывать выводы искусственного интеллекта, что полезно для развертывания облачной виртуализации.

Минимальной единицей системы GB200 является шкаф, а производительность вывода была значительно улучшена, что позволяет лучше обрабатывать массивные параметры, кросс-модальные, массивные токены и сценарии многопараллельного вывода, избегая крупномасштабных распределенных систем с одним графическим процессором. . В сценарии облачного IDC он может лучше справиться с будущим массовым спросом на логические выводы (см. оценки AWS и MSFT).

Понимание рынка увеличения количества медных межсоединений обусловлено:

Раньше кластеры серии H100 не имели внутришкафных межсоединений, а имели отдельный сетевой шкаф, а скорость чипа была относительно высокой, поэтому медных проводов на короткие расстояния почти не было.

В то время как для серии GB200, хотя внутри шкафа много медных проводов, спрос на оптические межсоединения в больших кластерах, таких как домен NVLink и расширение оптических межсоединений IB, очень велик, и будущий путь кремниевой фотоники и Оптический ввод-вывод между чипами уже очень понятен.

Вопрос: Насколько презентация продукта NVIDIA на конференции GTC отличалась от ожиданий?

Ответ: На конференции GTC GB200 стал основным продуктом, в то время как первоначально ожидаемые продукты B100 и B200 не были выпущены, как ожидалось. Чип GB200 содержит 2 графических процессора и 1 процессор, а основной представленный продукт представляет собой единый шкаф, состоящий из 36 чипов GB200, предназначенный для использования на сервере. По сравнению с GB200, выпущенным в прошлом году, этот GB200 представлял собой не стандартный кластерный продукт, а только один шкаф на 36 карт.

Вопрос: Какова роль IP-архитектуры в серии GB200?

О: Для некоторых крупных клиентов, которым необходимы соединения между шкафами, архитектура IP используется для внешних подключений. Однако разница между GB200 и GB200 заключается во внутренних соединениях. GB200 использует электрические соединения m link (т. е. медные соединения между графическим процессором и коммутатором), а не прошлогодний метод подключения объединительной платы. На конференции Хуанг особо подчеркнул преимущества медных межсоединений в плане снижения затрат и демонстрации производительности.

Вопрос: На конференции GTC Дженсен Хуанг дал специальное объяснение решения медного межсоединения, каковы его преимущества?

Ответ: Впервые на такой важной конференции было подробно объяснено решение медного межсоединения, что также вызывает у всех серьезную озабоченность. Графические процессоры подключаются через mlink, что подтверждает использование медных межсоединений, а их решение может быть похоже на прошлогодний метод подключения к объединительной плате. Хуанг подчеркнул преимущества медных межсоединений в плане снижения затрат и демонстрации производительности.

Вопрос: Каково влияние на рынок выхода серии GB200?

О: Поскольку серия GB200 представляет собой новое поколение графических процессоров серверного уровня, повышение производительности и эффективности серии GB200 окажет значительное влияние на рынок. В частности, внедрение медного межсоединения может изменить метод внутреннего соединения кластеров графических процессоров, снизив затраты и повысив производительность. Кроме того, GBXNUMX может изменить дизайн и развертывание центров обработки данных, что будет способствовать дальнейшему развитию искусственного интеллекта и облачных вычислений.

Помимо технических характеристик GB200 NVL72, его влияние распространяется на более широкий ландшафт центров обработки данных ИИ. Чтобы изучить, как инновации NVIDIA, включая GB200, формируют будущее инфраструктуры ИИ, следующее видео предлагает всесторонний обзор этих достижений.

Как показывает видео, достижения NVIDIA, включая GB200 NVL72, переопределяют возможности центров обработки данных ИИ. В заключение мы подведем итоги того, как эти технологии выводят NVIDIA на передовые позиции в области инноваций ИИ.

Вопрос: Каковы преимущества медного межсоединения GB200?

Ответ: Основные моменты запуска GB200: Один чип GB200 содержит 2 графических процессора и 1 процессор, а основной выпущенный продукт представляет собой однокорпусный продукт, состоящий из 36 чипов GB200. Это показывает, что NVIDIA фокусируется на электрических соединениях (mlink), а не на технологии оптических соединений. Продвижение рынка и ожидания: GB200 будет широко применяться, в отличие от GH200, который не получил широкого распространения. Согласно речи Хуанга на конференции, многие потенциальные крупные клиенты предполагают, что GB200 ожидает больших объемов продаж. На рынке в целом полагают, что продвижение GB200 может привести к постепенному увеличению соотношения оптических модулей к графическим процессорам с 1:2.5 до 1:9, а объем продаж GB200 в следующем году может иметь большой потенциал роста.

Вопрос: Какова отраслевая тенденция в области разъемов объединительной платы?

Ответ: Использование разъемов объединительной платы постепенно увеличивается на серверах AI, крупных коммутаторах и маршрутизаторах. Технология также развивается в направлении ортогональных режимов нулевой объединительной платы и кабельной объединительной платы. Кабели объединительной платы имеют преимущества, заключающиеся в большей дальности передачи и более гибкой проводке, но их стоимость относительно выше.

Вопрос: Каковы тенденции спроса и цен на разъемы объединительной платы?

Ответ: Растущий спрос на серверы искусственного интеллекта стимулирует спрос на разъемы объединительной платы. Переход на режим кабельной объединительной платы также увеличил стоимость: общая стоимость составляет 3–5% от стоимости одного сервера. Таким образом, в отрасли наблюдается тенденция роста как объемов, так и цен.

Вопрос: Как запуск GB200 повлияет на индустрию оптических модулей?

Ответ: Запуск GB200 является положительным моментом для индустрии оптических модулей, поскольку он удовлетворяет спрос на межшкафные соединения, который существует у большинства клиентов. Текущий GB200 имеет двунаправленную полосу пропускания 1800G, а при коэффициенте конфигурации 1.6T соотношение оптических модулей составляет примерно 1:9. При использовании решения 800G соотношение может достигать 1:18. Разница в стоимости незначительна, но поскольку Оптические модули 1.6T OSFP-XD Ожидается, что массовое производство начнется в четвертом квартале, клиенты более склонны использовать более экономичное решение 4T. Поэтому оптические модули будут модернизированы, что приведет к переходу от текущего соотношения 1.6:1 к 2.5:1.

Вопрос: Каковы основные различия между GB200 и GH200?

О: Основное отличие состоит в том, что серия GH не является крупносерийным продуктом, в то время как GB200 имеет широкий круг потенциальных клиентов, включая Google, Meta, OpenAI, Microsoft, Oracle и Tesla. Это означает, что GB200 получит широкое распространение и массовое внедрение.

Вопрос: Каковы ожидания рынка относительно спроса на оптические модули 1.6T OSFP-XD в следующем году?

Ответ: Ожидаемый рынком спрос на оптические модули 1.6T OSFP-XD в следующем году составит 2–3 миллиона единиц, а наша модель прогнозирует 2.5 миллиона. При этом еще не учитывается растущий спрос со стороны отдельных серий B100 или B200.

Вопрос: Какой тип межсетевого решения был принят GB200?

О: GB200 использует медное межсетевое соединение, которое снижает затраты. Особенно с учетом массового внедрения GB200, это станет важным фактором, способствующим увеличению спроса на оптические модули.

Вопрос: Какую отраслевую тенденцию отразила презентация Хуана на конференции?

Ответ: Его выступление на конференции можно рассматривать как отражение отраслевой тенденции, а не просто краткосрочную горячую тему. Со временем отрасль будет наблюдать за работой соответствующих компаний. Раньше на рынке велись дебаты по поводу медных и оптических межсоединений, но теперь подтверждено, что GB200 принял решение для медных межсоединений.

Вопрос: Каковы основные цели инвестиций в индустрию оптических модулей?

Ответ: В связи с массовым внедрением GB200 и растущим спросом на оптические модули 1.6T OSFP-XD, FiberMall получит больше внимания.

Вопрос: Каковы рыночные перспективы решения для медных межсоединений?

Ответ: Отношение рынка к медным межсетевым решениям меняется. Тот факт, что GB200 принял решение по медному соединению, указывает на то, что это решение может найти более широкое применение в будущем. Учитывая производительность соответствующих компаний, стоит с нетерпением ждать рыночных перспектив решения для медных межсоединений.

Вопрос: Каковы основные различия в конструкции и применении между GB200 и GH200?

О: Конструкция GB200 объединяет коммутатор, сервер и графический процессор в одном шкафу с использованием метода подключения, подобного блейд-серверу. Интерфейсы ввода-вывода коммутатора видны спереди, а соединение между коммутатором и графическим процессором, скорее всего, осуществляется через медный кабель объединительной платы. Для сравнения, в GH200 используется отдельная конструкция подключения с DAC (кабель прямого подключения).

Вопрос: Какую роль играет медный кабель объединительной платы в конструкции GB200?

О: Медный кабель объединительной платы играет решающую роль в конструкции GB200, соединяя разъемы объединительной платы и поддерживая соединение между коммутатором и платами графического процессора. Такая конструкция делает передачу сигнала между сервером и коммутатором более удобной.

Вопрос: Каковы основные области применения разъемов объединительной платы?

Ответ: Разъемы объединительной платы в основном используются в крупных коммутаторах, маршрутизаторах и серверах AI. Такая архитектура подплат и объединительных плат будет более распространенной, особенно в серверах с модульной конструкцией и крупных коммутаторах/маршрутизаторах.

Вопрос: Какова тенденция развития отрасли разъемов объединительной платы?

Ответ: Ожидается, что с развитием разработки серверов и коммутаторов спрос на разъемы объединительной платы будет продолжать расти. Перспективы применения этих разъемов широки, особенно в области крупных коммутаторов, маршрутизаторов и серверов искусственного интеллекта.

Вопрос: Какова конкурентная среда со стороны предложения?

Ответ: Конкурентная ситуация со стороны поставок разъемов объединительной платы относительно стабильна. FiberMall, обладающий богатым производственным опытом и мощными возможностями управления цепочками поставок, обеспечивает рынок стабильными и высококачественными разъемами для объединительных плат.

Вопрос: Как конструкция GB200 влияет на спрос на разъемы объединительной платы?

Ответ: Конструкция GB200 привела к росту спроса на серверы AI и крупные коммутаторы/маршрутизаторы, что, в свою очередь, привело к увеличению спроса на разъемы объединительной платы. В этой парадигме проектирования серверов и коммутаторов спрос на разъемы объединительной платы значительно увеличится.

Вопрос: Как развиваются технологии разъемов объединительной платы?

Ответ: Разъемы объединительной платы развиваются в двух направлениях: одно — это ортогональная нулевая объединительная плата, а другое — объединительная плата для кабеля. GB200 использует режим кабельной объединительной платы, преимущества которого включают лучшее рассеивание тепла, меньшие потери при передаче, большее расстояние передачи и более гибкую проводку. Но минусом является более высокая стоимость.

Кабели DAC/ACC 800G и 1600G играют ключевую роль в высокоскоростном подключении GB200 NVL72, предлагая низкую задержку и высокую пропускную способность для рабочих нагрузок, управляемых ИИ. Чтобы глубже погрузиться в то, как работают эти кабели, и их технические преимущества, следующее видео предлагает четкое и краткое объяснение.

С более четким пониманием технологий DAC и ACC мы теперь можем оценить их роль в оптимизации производительности GB200 NVL72. Далее мы рассмотрим, как эти кабели интегрируются с общей архитектурой системы для поддержки масштабных вычислений ИИ.

Вопрос: Какова логика на стороне спроса для разъемов объединительной платы?

Ответ: Спрос на разъемы объединительной платы в основном обусловлен серверами искусственного интеллекта, а режим кабельной объединительной платы имеет значительно более высокое значение, чем традиционный режим объединительной платы. В настоящее время стоимость разъемов объединительной платы составляет около 3-5% стоимости одного сервера.

Вопрос: Каковы будущие перспективы рынка разъемов объединительной платы?

Ответ: С быстрым развитием таких технологий, как искусственный интеллект и большие данные, рыночный спрос на разъемы объединительной платы будет продолжать расти. В будущем рынок разъемов объединительной платы столкнется с большим количеством возможностей и проблем, и отечественным и зарубежным компаниям необходимо постоянно укреплять свои технологические исследования и разработки, а также инновационные продукты, чтобы удовлетворить рыночный спрос и поддерживать конкурентоспособность.

Вопрос: Станет ли режим кабельной объединительной платы, используемый в серверах искусственного интеллекта, основной тенденцией?

Ответ: Да, ожидается, что режим кабельной объединительной платы, используемый в серверах искусственного интеллекта, станет основной тенденцией.