IBTA запускает спецификацию XDR InfiniBand, обеспечивающую беспрецедентную скорость подключения к серверам и хранилищам со скоростью 800 Гбит/с для следующего поколения искусственного интеллекта и научных вычислений, а также дальнейшее расширение возможностей инфраструктуры искусственного интеллекта и высокопроизводительных вычислений.

Источник: Дорожная карта InfiniBand – Развитие InfiniBand (infinibandta.org).
В InfiniBand Дорожная карта является результатом постоянного совершенствования многочисленных рабочих групп внутри IBTA, в состав которых входят ведущие поставщики корпоративных ИТ, активно вносящие вклад в развитие технологии InfiniBand. В дорожной карте подробно описано направление развития портов шириной 1x, 2x, 4x и 12x. Его основная цель — обеспечить, чтобы улучшение производительности InfiniBand соответствовало росту производительности на уровне системы.
Торговая ассоциация InfiniBand (IBTA) — это глобальная организация, занимающаяся разработкой и дальнейшим внедрением технологии RDMA. Недавно компания объявила о выпуске спецификации IBTA, том 1, версия 1.7 и том 2, версия 1.5. Том 1 версии 1.7 включает первоначальную спецификацию XDR и закладывает основу для следующего поколения скоростей в дорожной карте IBTA, обеспечивая вдвое большую пропускную способность по сравнению с предыдущим поколением для удовлетворения требований высокоскоростной производительности и масштабируемости центров обработки данных AI и HPC.
SerDes поддерживает скорость 200 Гбит/с на канал, а сетевые карты и коммутаторы с поддержкой XDR обеспечат беспрецедентную скорость 800 Гбит/с на порт и поддержат соединения XDR между коммутаторами со скоростью 1.6 Тбит/с.
Другие функции спецификаций Volume 1 Release 1.7 и Volume 2 Release 1.5 включают улучшенную поддержку крупномасштабных коммутаторов высокого порядка; улучшенные механизмы контроля перегрузки в архитектурах InfiniBand и RoCE с использованием сетевых зондов, а также окончательная физическая спецификация для NDR 400 Гбит/с InfiniBand.
«Соединения с высокой пропускной способностью, низкой задержкой и энергоэффективностью необходимы для приложений искусственного интеллекта и высокопроизводительных вычислений, которые включают крупномасштабную обработку и анализ данных, таких как научное моделирование, глубокое обучение и обучение нейронных сетей на больших наборах данных». «XDR InfiniBand закладывает основу для следующего поколения искусственного интеллекта и научных вычислений с беспрецедентной скоростью 800 Гбит/с, расширяет возможности приложений искусственного интеллекта и еще больше расширяет границы знаний и открытий».
Том 1 спецификации InfiniBand включает в себя ядро архитектуры InfiniBand, определяющее требования к коммутаторам, маршрутизаторам и адаптерам InfiniBand. Он также определяет полную архитектуру для управления структурами InfiniBand. Сопутствующий документ, том 2, определяет физические аспекты архитектуры и многое другое.
Основные обновления Тома 1 Выпуска 1.7:

Обзор обновления спецификации

Поддержка больших поразрядных переключателей.

Обновление DR для больших коммутаторов по счислению

Скорость следующего поколения
Введение в проблему сетевого зонда:
Сетевые зонды — это универсальный механизм проверки состояния сети.
Зонды передаются от одной конечной точки к другой и по пути могут взаимодействовать с сетевыми объектами.
Сетевые зонды можно использовать для сбора информации о сети, не требуя запуска определенных процессов на удаленных узлах.
Сетевые зонды используют базовый формат MAD и отображаются в сети как стандартные пакеты MAD.

РДМА

Рекомендации по проектированию сетевых пробников

Архитектура сетевого зондирования
Сопутствующие товары:
-
Плата адаптера NVIDIA Mellanox MCX653105A-HDAT-SP ConnectX-6 InfiniBand/VPI, HDR/200GbE, однопортовый QSFP56, PCIe3.0/4.0 x16, высокий кронштейн $1400.00
-
Плата адаптера NVIDIA Mellanox MCX75510AAS-NEAT ConnectX-7 InfiniBand/VPI, NDR/400G, однопортовый OSFP, PCIe 5.0x 16, высокий кронштейн $1650.00
-
Совместимый с NVIDIA MMA4Z00-NS400 400G OSFP SR4 Flat Top PAM4 850 нм 30 м на OM3/50 м на OM4 MTP/MPO-12 Многомодовый модуль оптического трансивера FEC $650.00
-
NVIDIA MMS4X00-NM Совместимый двухпортовый OSFP 800 Гбит/с 2x400G PAM4 1310nm 500m DOM Dual MTP/MPO-12 SMF Модуль оптического трансивера $1100.00
-
NVIDIA MMA4Z00-NS Совместимый двухпортовый OSFP 800 Гбит/с 2x400G SR8 PAM4 850 нм 100 м DOM Двойной модуль оптического трансивера MPO-12 MMF $750.00
-
NVIDIA MMA4Z00-NS-FLT Совместимый двухпортовый OSFP 800 Гбит/с 2x400G SR8 PAM4 850 нм 100 м DOM Двойной модуль оптического трансивера MPO-12 MMF $850.00
-
Совместимый с NVIDIA MMS4X00-NM-FLT 800G Twin-port OSFP 2x400G Flat Top PAM4 1310nm 500m DOM Dual MTP/MPO-12 SMF Модуль оптического трансивера $1200.00
-
Полярность магистрального кабеля MPO длиной 10 м (33 фута), 12 волокон, между гнездом и гнездом B LSZH OS2 9/125, одномодовый $32.00
-
Совместимость с NVIDIA MFP7E10-N015, 15 волокон, длина 49 м (8 футов), низкие вносимые потери, гнездо-мама Магистральный кабель MPO, полярность B, APC-APC, LSZH, многомодовый OM3 50/125 $54.00
-
NVIDIA MCP4Y10-N00A Совместимый 0.5-метровый (1.6 футов) двухпортовый кабель 800G OSFP от 2x400G OSFP до 2x400G OSFP InfiniBand NDR Пассивный медный кабель прямого подключения $105.00
-
NVIDIA MFA7U10-H015 Совместимый 15-метровый (49 футов) 400G OSFP до 2x200G QSFP56 двухпортовый активный оптический кабель HDR Breakout $835.00
-
NVIDIA MCP7Y60-H001 Совместимый пассивный кабель прямого подключения длиной 1 м (3 футов) 400G OSFP и 2x200G QSFP56 $99.00
-
NVIDIA MCP4Y10-N00A-FLT Совместимый 0.5 м (1.6 фута) 800G Twin-port 2x400G OSFP до 2x400G OSFP InfiniBand NDR Пассивный ЦАП, плоский верх на одном конце и оребрение на другом $105.00
-
NVIDIA MCA4J80-N003-FTF, совместимый с двумя портами 3G, 10 м (800 футов), 2x400G OSFP на 2x400G OSFP, активный медный кабель InfiniBand NDR, плоская верхняя часть на одном конце и ребристая верхняя часть на другом $600.00
-
NVIDIA MCA7J60-N004 Совместимый кабель длиной 4 м (13 футов) 800G с двумя портами OSFP для 2x400G OSFP InfiniBand NDR Breakout Active Copper Cable $800.00
-
NVIDIA MCA7J70-N004 Совместимость 4 м (13 футов) 800G InfiniBand NDR Двухпортовый OSFP на 4x200G OSFP Breakout ACC $1100.00
-
Совместимый с NVIDIA MCP7Y00-N001-FLT 1 м (3 фута) 800G OSFP с двумя портами до 2x400G Flat Top OSFP InfiniBand NDR Breakout DAC $175.00
-
NVIDIA MCP7Y50-N001-FLT Совместимый 1-метровый (3 футов) 800G InfiniBand NDR Двухпортовый OSFP до 4x200G Flat Top OSFP Breakout DAC $275.00