Что такое сеть InfiniBand и чем отличается от Ethernet?

История и стандарты

InfiniBand, разработанный в конце 1990-х годов, был разработан для высокоскоростных соединений с низкой задержкой в ​​средах HPC. Он работает в соответствии со стандартами, установленными Ассоциацией торговли InfiniBand (IBTA), а современные версии, такие как HDR и NDR, поддерживают скорость до 400 Гбит/с. Ethernet, появившийся в 1970-х годах, регулируется стандартами IEEE 802.3 и развивался с 10 Мбит/с до 400 Гбит/с и далее, что делает его гибким выбором для различных приложений. Понимание их исторического контекста и стандартов помогает прояснить их роль в современных сетях.

Что такое сеть InfiniBand?

Архитектура InfiniBand обеспечивает консолидацию фабрик в центре обработки данных. Сети хранения могут одновременно работать с фабриками кластеризации, связи и управления в одной и той же инфраструктуре, сохраняя поведение нескольких фабрик.

InfiniBand - это технология сетевого взаимодействия открытого стандарта с высокой пропускной способностью, малой задержкой и высокой надежностью. Эта технология определена IBTA (торговый альянс InfiniBand). Эта технология широко используется в области суперкомпьютерных кластеров. В то же время, с развитием искусственного интеллекта, это также предпочтительная технология сетевого взаимодействия для серверов GPU.

Высокоскоростное соединение (HSI) стало ключом к разработке высокопроизводительных компьютеров, поскольку вычислительная мощность центрального процессора (ЦП) увеличивается очень быстрыми темпами. HSI — это новая технология, предложенная для повышения производительности интерфейса периферийных компонентов (PCI). После многих лет разработки HSI, поддерживающие высокопроизводительные вычисления (HPC), теперь в основном представляют собой Gigabit Ethernet и InfiniBand, из которых InfiniBand является самым быстрорастущим HSI. InfiniBand — это высокопроизводительная технология с малой задержкой, разработанная под руководством Торговой ассоциации InfiniBand (IBTA).

IBTA была основана в 1999 году в результате слияния двух отраслевых организаций: Future I/O Developers Forum и NGI/O Forum. Он работает под руководством комитета по планированию и эксплуатации, состоящего из HP, IBM, Intel, Mellanox, Oracle, QLogic, Dell, Bull и других. IBTA специализируется на тестировании продуктов на соответствие и функциональной совместимости, и ее члены работают над созданием и обновлением спецификации InfiniBand.

Стандарт InfiniBand поддерживает сигнализацию с одной скоростью передачи данных (SDR) с базовой скоростью 2.5 Гбит / с на полосу, чтобы обеспечить скорость исходных данных 10 Гбит / с по кабелям 4X (наиболее распространенный тип используемого кабеля InfiniBand). Двойная скорость передачи данных (DDR) и четырехкратная скорость передачи данных (QDR) позволяют масштабировать отдельные полосы до 5 Гбит / с и 10 Гбит / с на полосу, соответственно, для потенциальной максимальной скорости передачи данных 40 Гбит / с при 4X и 120 Гбит / с более 12X кабелей.

Сравнение сетевых технологий

В настоящее время новейшим продуктом InfiniBand является HDR производства Mellanox, который может обеспечить сквозную пропускную способность до 200 Гбит/с для сети, обеспечить беспрецедентный сетевой опыт для высокопроизводительных вычислений, искусственного интеллекта и других областей, а также максимизировать вычислительный потенциал кластера.

Как технология соединения компьютерных кластеров, InfiniBand имеет значительные преимущества по сравнению с Ethernet/Fibre Channel и устаревшей технологией Omni-Path и является основной технологией сетевой связи, рекомендованной Торговой ассоциацией InfiniBand (IBTA). С 2014 года большинство суперкомпьютеров из списка TOP500 используют сетевую технологию InfiniBand. В последние годы приложения, связанные с ИИ/большими данными, также широко применяли сети IB для развертывания высокопроизводительных кластеров, при этом 62% суперкомпьютерных центров из 100 лучших используют технологию InfiniBand (данные за июнь 2022 г.).

Обзор InfiniBand

InfiniBand — это канал связи для потока данных между процессорами и устройствами ввода-вывода, поддерживающий до 64,000 XNUMX адресных устройств. Архитектура InfiniBand (IBA) — это спецификация отраслевого стандарта, определяющая структуру двухточечного коммутируемого ввода-вывода для соединения серверов, коммуникационной инфраструктуры, устройств хранения и встроенных систем.

InfiniBand идеально подходит для соединения нескольких потоков данных (кластеризация, связь, хранение, управление) в одном соединении с тысячами взаимосвязанных узлов благодаря своей повсеместной доступности, малой задержке, высокой пропускной способности и низкой стоимости управления. Наименьшая полная единица IBA — это подсеть, а несколько подсетей соединяются маршрутизаторами, образуя большую сеть IBA.

Системы InfiniBand состоят из адаптеров каналов, коммутаторов, маршрутизаторов, кабелей и разъемов. CA делится на адаптер хост-канала (HCA) и адаптер целевого канала (TCA). Коммутаторы IBA в принципе аналогичны другим стандартным сетевым коммутаторам, но должны соответствовать требованиям InfiniBand к высокой производительности и низкой стоимости. HCA — это точка устройства, через которую конечный узел IB, такой как сервер или устройство хранения, подключается к сети IB. TCA — это особая форма адаптеров каналов, которые в основном используются во встроенных средах, таких как устройства хранения данных.

Архитектура InfiniBand показана на рисунке.

Что такое 200G InfiniBand HDR?

InfiniBand поддерживает передачу SDR/DDR/QDR/FDR/EDR для увеличения пропускной способности канала. Недавно Mellanox выпустила 200G InfiniBand с поддержкой HDR. Мелланокс недавно выпущен InfiniBand 200 Гбит / с с поддержкой HDR. Мелланокс 200Gb / s Сети HDR InfiniBand поддерживают сверхмалую задержку, высокую пропускную способность и интеллектуальные механизмы ускорения сетевых вычислений. Пользователи могут использовать стандартные программные драйверы Mellanox в облаке так же, как в среде Bare Metal. Благодаря поддержке глаголов RDMA можно использовать все программное обеспечение MPI на основе InfiniBand, такое как Mellanox HPC-X, MVAPICH2, Platform MPI, Intel MPI и другие.

Кроме того, пользователи могут воспользоваться функцией аппаратной разгрузки кластерной связи MPI для дополнительного повышения производительности, что также повышает эффективность бизнес-приложений. 200G InfiniBand имеет широкий спектр приложений, включая сетевые ускоренные вычислительные механизмы, адаптеры HDR InfiniBand, коммутаторы HDR InfiniBand Quantum и кабели 200G.

Приложения InfiniBand

Что касается кабелей 200G InfiniBand, последней частью решения Mellanox 200Gbs является линейка Кабели LinkX. Mellanox предлагает медные кабели прямого подключения 200G длиной до 3 метров и кабели-разветвители 2 x 100G для обеспечения соединений HDR100, а также активные оптические кабели 200G длиной до 100 метров. Все кабели LinkX в линейке 200 Гбит/с поставляются в стандартном QSFP56 пакеты.

Каковы преимущества сети InfiniBand?

• Последовательные каналы с высокой пропускной способностью

- SDR: 10 Гбит / с

- DDR: 20 Гбит / с

- QDR: 40 Гбит / с

- FDR: 56 Гбит / с

- EDR: 100 Гбит / с

- HDR: 200 Гбит / с

– NDR: 400 Гбит/с

• Сверхнизкая задержка

- Под 1 нас приложение к приложению

• Надежная, без потерь, самоуправляемая ткань

- Управление потоком на уровне ссылок

- Контроль перегрузки для предотвращения блокировки HOL

• Полная разгрузка ЦП

- Аппаратный надежный транспортный протокол

- Обход ядра (приложения уровня пользователя получают прямой доступ к оборудованию)

• Память, доступная для доступа к удаленному узлу - RDMA-чтение и RDMA-запись

- Атомарные операции

• Качество обслуживания

- Независимые каналы ввода / вывода на уровне адаптера

- Виртуальные полосы на уровне ссылок

• Масштабируемость / гибкость кластера

- До 48К узлов в подсети, до 2 ^ 128 в сети

- Параллельные маршруты между конечными узлами

- Возможность использования нескольких кластерных топологий

• Упрощенное управление кластером

- Централизованный диспетчер маршрутов

- Внутриполосная диагностика и обновления

Что такое сеть Ethernet?

Ethernet относится к стандарту спецификации основной полосы частот локальной сети, созданному компанией Xerox и совместно разработанному компаниями Xerox, Intel и DEC. Общий стандарт Ethernet был выпущен 30 сентября 1980 года. Это наиболее общий стандарт протокола связи, принятый в существующих локальных сетях. Он передает и получает данные по кабелям. Сеть Ethernet используется для создания локальных сетей и подключения нескольких компьютеров или других устройств, таких как принтеры, сканеры и т. д. В проводной сети это осуществляется с помощью оптоволоконных кабелей, а в беспроводной сети — с помощью технологии беспроводной сети. Основными типами сетей Ethernet являются Fast Ethernet, Gigabit Ethernet, 10-Gigabit Ethernet и Switch Ethernet.

В настоящее время Организация по стандартизации IEEE 802.3, организованная IEEE, выпустила стандарты интерфейса Ethernet 100GE, 200GE и 400GE. Сеть Ethernet - это технология передачи с самой высокой скоростью в настоящее время.

InfiniBand против Ethernet: Какая разница?

Как технологии межсетевого взаимодействия InfiniBand и Ethernet имеют свои особенности и отличия. Они развиваются и развиваются в своих различных областях применения и стали двумя незаменимыми технологиями взаимодействия в нашем сетевом мире.

Типы сетей Ethernet

С точки зрения сети Ethernet, наряду с технологией IP, они составляют краеугольный камень всего интернет-строительства в мире. Все люди и интеллектуальные устройства полагаются на Ethernet для реализации взаимосвязи всех вещей, что связано с первоначальным замыслом его дизайна для достижения лучшей совместимости. Это может сделать различные системы более взаимосвязанными, что делает Ethernet очень адаптируемым с момента его появления. После десятилетий развития он стал стандартом Интернета.

Что касается сети InfiniBand, это стандарт межсетевого взаимодействия, позволяющий устранить узкое место при передаче данных в сценариях высокопроизводительных вычислений. С момента своего создания он позиционировался как высококлассное приложение. Взаимосвязь не является основным противоречием, а высокопроизводительная связь является основной точкой входа. Infiniband — это новый тип соединения, который был выпущен недавно. Самое замечательное в этом — скорость, которую предоставляют пользователям. Хотя скорость вашего соединения в конечном итоге будет зависеть от того, какой провод вы выберете, скорость для них может достигать 40 Гбит / с или даже больше.

Таким образом, по сравнению с технологией Ethernet, InfiniBand по своей сути отличается от Ethernet из-за другого позиционирования, в основном по полосе пропускания, задержке, надежности сети и сетевому режиму. InfiniBand напрямую создает частный и защищенный канал между узлами через коммутаторы для передачи данных и сообщений без участия ЦП в удаленном прямом доступе к памяти (RDMA). Один конец адаптера подключен к ЦП через интерфейс PCI Express, а другой конец подключен к подсети InfiniBand через сетевой порт InfiniBand. По сравнению с другими сетевыми коммуникационными протоколами это дает очевидные преимущества, включая более высокую пропускную способность, более низкую задержку и улучшенную масштабируемость.

Техническое сравнение InfiniBand и Ethernet

Базовая архитектура и топология

InfiniBand использует коммутируемую архитектуру, что позволяет устанавливать соединения точка-точка с минимальной задержкой. Его топология, часто толстая древовидная структура или тор, оптимизирована для кластеров HPC и AI, поддерживая удаленный прямой доступ к памяти (RDMA) для эффективной передачи данных. Ethernet, построенный на многоуровневой архитектуре (например, TCP/IP), поддерживает различные топологии, такие как звезда или сетка, что делает его адаптивным, но потенциально менее эффективным для задач, специфичных для AI. Оптимизированная конструкция InfiniBand дает ему преимущество в средах, чувствительных к задержкам, в то время как гибкость Ethernet подходит для более широких приложений.

Ключевые технические характеристики

InfiniBand использует такие протоколы, как RDMA over Converged Ethernet (RoCE), и поддерживает как медные, так и оптоволоконные кабели с такими опциями высокой пропускной способности, как NDR (400 Гбит/с). Ethernet с такими стандартами, как 100GbE и 400GbE, поддерживает аналогичные кабели, но использует TCP/IP или UDP для передачи данных, что может привести к накладным расходам. Аппаратное обеспечение InfiniBand, такое как адаптеры каналов хоста (HCA), оптимизировано для определенных рабочих нагрузок, в то время как коммутаторы и сетевые карты Ethernet более обобщены, что влияет на производительность в нишевых сценариях.

Сравнение задержки и скорости

InfiniBand отличается задержкой, часто достигая задержек в пределах микросекунды, что критически важно для обучения ИИ, где графические процессоры или TPU обмениваются массивными наборами данных. Ethernet, хотя и быстрый (например, 100GbE с задержкой ~1-2 мкс), обычно отстает из-за накладных расходов протокола. С точки зрения скорости обе технологии предлагают сопоставимые основные скорости (например, 400 Гбит/с), но RDMA и управление перегрузками InfiniBand обеспечивают более стабильную производительность при высоких рабочих нагрузках ИИ.

Пропускная способность и скорость передачи данных

Высокая пропускная способность InfiniBand (до 400 Гбит/с на порт в NDR) поддерживает огромные потребности в передаче данных для обучения моделей ИИ и крупномасштабных симуляций. Ethernet соответствует этим скоростям в высокопроизводительных конфигурациях, но может столкнуться с узкими местами в перегруженных сетях из-за своей зависимости от TCP/IP. Для центров обработки данных, обрабатывающих петабайты данных, предсказуемая пропускная способность InfiniBand является ключевым преимуществом.

Масштабируемость при расширении сетей

InfiniBand эффективно масштабируется в больших кластерах, а его архитектура структуры минимизирует задержку по мере увеличения узлов. Его встроенная поддержка разбиения на разделы и качества обслуживания (QoS) обеспечивает производительность в сложных средах ИИ. Ethernet хорошо масштабируется в корпоративных настройках, но может потребовать расширенных конфигураций (например, архитектуры позвоночника и листьев) для соответствия эффективности InfiniBand в кластерах HPC или ИИ.

Производительность и масштабируемость

Для рабочих нагрузок ИИ низкая задержка и высокая пропускная способность InfiniBand обеспечивают превосходную производительность, особенно для распределенного обучения по кластерам GPU. Ethernet хорошо работает в центрах обработки данных общего назначения, но может испытывать трудности с экстремальными требованиями синхронизации моделей ИИ. Обе технологии масштабируются, но конструкция InfiniBand лучше подходит для массивных, тесно связанных сетей, в то время как Ethernet отлично работает в гетерогенных средах.

Сценарии применения и варианты использования

InfiniBand доминирует в центрах обработки данных и облачных развертываниях для ИИ, HPC и аналитики больших данных, питая такие системы, как платформы NVIDIA DGX. Он также распространен в научных и исследовательских учреждениях, поддерживая моделирование в физике или геномике. Ethernet предпочитают в корпоративных центрах обработки данных, облачных провайдерах, таких как AWS, и приложениях, требующих широкой совместимости, таких как веб-хостинг или сети хранения данных. Для потребностей, специфических для ИИ, преимущество производительности InfiniBand делает его выбором номер один.

InfiniBand против Omni-Path: преимущества InfiniBand перед Omni-Path

Хотя NVIDIA запустила решение InfiniBand 400G NDR, некоторые клиенты все еще используют решение 100G. Для высокопроизводительных сетей 100G есть два распространенных решения, Omni-Path и InfiniBand, которые имеют одинаковую скорость и одинаковую производительность, но структура сети сильно различается. Например, для кластера из 400 узлов для InfiniBand требуется всего 15 коммутаторов серии NVIDIA Quantum 8000 и 200 ответвительных кабелей 200G, а также 200 прямых кабелей 200G, а для Omni-Path требуется 24 коммутатора и 876 прямых кабелей 100G (384 узла). InfiniBand очень выгоден с точки зрения ранней стоимости оборудования и более поздних затрат на эксплуатацию и техническое обслуживание, а общее энергопотребление намного ниже, чем у Omni-Path, который более безопасен для окружающей среды.

Знакомство с продуктом InfiniBand HDR

EDR постепенно выводится из рынка с точки зрения клиентского спроса, показатель NDR слишком высок, и его пытаются использовать только основные клиенты. HDR широко используется благодаря гибкости HDR 100G и HDR 200G.

Переключатель HDR

Существует два типа переключателей HDR. Один из них — HDR CS8500. Коммутатор 29U обеспечивает до 800 портов HDR 200 Гбит/с, а каждый порт 200 ГБ можно разделить на 2 порта по 100 Гбит/с для поддержки 1600 портов HDR100 100 Гбит/с.

Другой тип — серия QM8000. Панель высотой 1U имеет 40 портов 200G QSFP56, которые можно разделить максимум на 80 портов HDR 100G для подключения сетевых карт 100G HDR. В то же время каждый порт также поддерживает EDR и напрямую соединяется с сетевой картой EDR. Следует отметить, что порт 200G HDR можно замедлить только до 100G и подключить к сетевому адаптеру EDR, и его нельзя разделить на 2X100G для подключения двух сетевых адаптеров EDR.

Существует два варианта коммутатора 200G HDR: QM8700 и QM8790. Единственная разница между двумя моделями заключается в режиме управления. QM8700 предоставляет интерфейс управления для внеполосного управления, в то время как QM8790 требует для управления платформу NVIDIA Unified Fabric Manager (UFM®).

Для QM8700 и QM8790 существует два варианта воздушного потока для каждой модели коммутатора. Один из них — 8790-HS2F для воздушного потока P2C (передний и задний поток воздуха). Модуль вентилятора отмечен синим цветом. Если вы не узнаете маркировку, вы также можете определить ее, проведя рукой над входом и выходом воздуха переключателя.

8790-HS2R — это красная метка на модуле вентилятора воздушного потока C2P (задний передний воздуховод). Здесь P2C и C2P P означает мощность, C означает кабель (линейный интерфейс), P2C (питание к кабелю), C2P (кабель к питанию), здесь эталонной системой является сторона питания для передней части, сторона интерфейса кабельной линии для задней.

На практике QM8700 и QM8790 обычно используются двумя способами, один из которых заключается в соединении с сетевыми адаптерами 200G HDR путем прямого использования 200G для 200G AOC/ЦАП; другое распространенное использование — соединение с сетевыми адаптерами 100G HDR с помощью кабелей 200G — 2X100G, в которых один физический порт 200G (4X50G) QSFP56 коммутатора разделен на 2 виртуальных порта 100G (2X50G). 4X50G) Порт QSFP56 коммутатора разделен на два виртуальных порта 100G (2X50G), и после разделения символ порта меняется с x/y на x/Y/z, где «x/Y» указывает на предыдущий символ порта перед разделением, а «z» обозначает номер результирующего однополосного порта (1,2), и тогда каждый субфизический порт рассматривается как один порт.

Сетевой адаптер HDR

Сетевые адаптеры HDR гораздо более разнообразны, чем коммутаторы. Сетевой адаптер HDR100 поддерживает скорость передачи 100G. Два порта HDR100 можно подключить к коммутатору HDR с помощью кабелей от 200G до 2x100G. В отличие от сетевой карты 100G EDR, порт 100G сетевой карты HDR100 поддерживает передачу как 4X25G NRZ, так и 2X50G PAM4. Сетевая карта HDR поддерживает скорость передачи 200G и может быть подключена к коммутатору через прямой кабель 200G. В дополнение к двум скоростям интерфейса вы можете выбрать однопортовые, двухпортовые и сетевые адаптеры PCIe каждой скорости в зависимости от требований к обслуживанию. Общие модели сетевых адаптеров InfiniBand HDR, предоставляемые FiberMall, следующие:

Сетевая архитектура InfiniBand проста, но выбор решений разнообразен. Скорость 100G имеет как решение 100G EDR, так и решение 100G HDR; Скорость 200 также имеет два варианта HDR и 200G NDR. Сетевые адаптеры, разъемы и коммутаторы, используемые в разных решениях, сильно различаются.

Пакеты InfiniBand и передача данных

Пакет — это основная единица передачи данных InfiniBand. Для эффективного распространения информации в сети InfiniBand адаптер канала разделяет ее на несколько пакетов. Полный пакет IBA состоит из полей заголовка локального маршрута, заголовка глобального маршрута, базового транспортного заголовка, расширенного транспортного заголовка, полезной нагрузки (PYLD), инвариантного CRC (ICRC) и вариантного CRC (VCRC), как показано на рисунке ниже.

ЛРХ: 8 байтов, используемых коммутатором для определения локальных портов источника и получателя при пересылке пакетов, а также для регулирования класса обслуживания и виртуального канала (VL) для передачи пакетов.

ГРХ: 40 байт, используемых для маршрутизации пакетов между подсетями и обеспечения правильной передачи пакетов между подсетями. Он определяется полем Link Next Header (LNH) в LRH с использованием спецификации заголовка IPv6, определенной в RFC 2460.

ВТН: 12 байтов, указывающих пару очереди назначения (QP), указание кода операции, серийный номер пакета и сегментацию.

ETH: 4-28 байт, обеспечивающий надежную службу дейтаграмм. Полезная нагрузка (PYLD): 0–4096 байт, отправляемые сквозные данные приложения.

МККК: 4 байта, инкапсулирует данные, которые остаются неизменными в пакете, когда он отправляется с адреса источника на адрес назначения.

ВКЦ: 2 байта, инкапсулирует переменную IBA и необработанные (raw) пакеты во время соединения.

VCRC можно перенастроить в фабрике.

Многоуровневая архитектура InfiniBand

Согласно определению IBTA, архитектура InfiniBand состоит из физического уровня, канального уровня, сетевого уровня и транспортного уровня, и ее многоуровневая архитектура показана на рисунке.

Физический слой: физический уровень обслуживает канальный уровень и обеспечивает логический интерфейс между этими двумя уровнями. Физический уровень состоит из таких модулей, как сигнальные соединители портов, физические соединения (электрические и оптические), аппаратное управление, управление питанием и линии кодирования, основные функции которых заключаются в следующем:

(1) Установление физических соединений;

(2) Уведомление канального уровня о том, действительно ли физическое соединение;

(3) Мониторинг состояния физического соединения, передача управляющих сигналов и данных на канальный уровень, когда физическое соединение допустимо, и передача управляющей информации и данных, поступающих с канального уровня.

Слой связи: канальный уровень отвечает за обработку отправки и получения данных канала в пакетах, предоставляя такие услуги, как адресация, буферизация, управление потоком, обнаружение ошибок и обмен данными. Качество обслуживания (QoS) в основном отражается на этом уровне. Конечный автомат используется для определения логических операций канального уровня как операций, доступных извне, и не определяет внутренние операции.

Сетевой уровень: сетевой уровень отвечает за маршрутизацию пакетов между подсетями IBA, включая одноадресные и многоадресные операции. Сетевой уровень не определяет многопротокольную маршрутизацию (например, маршрутизацию IBA по типам, отличным от IBA), а также не указывает, как исходные пакеты маршрутизируются между подсетями IBA.

Транспортный слой: все данные IBA содержат транспортный заголовок. Транспортный заголовок содержит информацию, необходимую конечному узлу для выполнения указанной операции. Управляя QP, клиенты связи адаптера канала IBA на транспортном уровне формируют рабочую очередь «отправки» и рабочую очередь «получения».

Механизм переключения InfiniBand

Switched Fabric, используемая в InfiniBand, представляет собой двухточечную архитектуру межсоединений на основе коммутаторов, ориентированную на отказоустойчивость и масштабируемость системы.

Коммутаторы IBA являются основными структурными элементами маршрутизации для внутренней маршрутизации подсети (функции маршрутизации между подсетями обеспечиваются маршрутизаторами IBA). Взаимосвязь коммутаторов осуществляется путем ретрансляции пакетов между ссылками.

Коммутаторы InfiniBand реализуют такие функции, как агент диспетчера подсети (SMA), агент диспетчера производительности (PMA) и агент диспетчера основной платы (BMA). SMA предоставляет интерфейс для менеджеров подсетей для получения данных записей и таблиц внутри коммутатора с помощью пакетов управления подсетями, реализуя такие функции, как уведомление о сообщениях, отображение уровня обслуживания (SL) на виртуальную полосу (VL), арбитраж VL, многоадресную переадресацию и характеристики поставщиков. . PMA предоставляет интерфейс для менеджеров по производительности для мониторинга информации о производительности, такой как пропускная способность данных и накопление ошибок коммутатора. BMA обеспечивает канал связи между менеджером основной платы и менеджером нижней полки.

Основные функции пересылки данных в коммутаторах InfiniBand:

(1) Выбор выходного порта: На основе локального идентификатора пункта назначения (DLID) пакета коммутатор определяет номер порта вывода из таблицы переадресации.

(2) Выберите выход VL: Поддерживаются SL и VL, и коммутатор определяет VL выходного порта, используемого пакетами с разными уровнями приоритета, на основе таблицы сопоставления SL-VL.

(3) Управление потоком данных: используется механизм управления потоком на уровне канала на основе кредита.

(4) Поддержка одноадресной, многоадресной и широковещательной передачи: Коммутатор может преобразовывать многоадресные или широковещательные пакеты в несколько одноадресных пакетов для обмена.

(5) Разделение: только хосты в одном разделе могут общаться друг с другом. Каждый раздел имеет уникальный ключ раздела, и коммутатор проверяет, находится ли DLID пакета в разделе, соответствующем ключу.

(6) Проверка ошибок: включая проверку ошибок несоответствия, проверку ошибок кодирования, проверку ошибок кадрирования, проверку длины пакета, проверку версии заголовка пакета, проверку достоверности уровня обслуживания, соответствие управлению потоком и проверку максимального количества единиц передачи.

(7) Арбитраж ВЛ: Поддержка подсети VL (включая управление VL15 и данные VL). Коммутатор использует арбитраж VL, чтобы обеспечить лучшее обслуживание высокоприоритетных пакетов.

В настоящее время основными производителями коммутаторов InfiniBand являются Mallanox, QLogic, Cisco, IBM и др.

Для хостов клиентская сторона транспортного уровня представляет собой программный уровень Verbs, где клиент передает буферы или команды в эти очереди и из них, а аппаратное обеспечение передает буферные данные в них и из них. Когда QP установлен, он включает один из четырех типов транспортных услуг IBA (надежное соединение, достоверная информация о самоадресации, ненадежная информация о самоадресации, ненадежное соединение) или услугу, инкапсулированную не в протоколе IBA. Транспортный сервис описывает, как работают транспортные данные надежности и QP и что передается.

Как партнер уровня NVIDIA Elite, FiberMall может предоставить полный Решения InfiniBand в соответствии с потребностями различных клиентов, а наши старшие технические инженеры имеют богатый опыт проектирования высокопроизводительных сетевых решений InfiniBand и услуг по реализации проектов и могут предоставить оптимальные решения в соответствии с различными сценариями применения. Мы можем предоставить коммутаторы QM8700/QM8790, сетевые адаптеры HDR, AOC/DAC/оптические модули для достижения высочайшей производительности и масштабируемости, а также повышения рентабельности инвестиций для высокопроизводительных вычислений, искусственного интеллекта и других приложений с меньшими затратами и отличной производительностью.

Стоимость и эксплуатационные соображения

Стоимость InfiniBand и Ethernet

Первоначальные инвестиции InfiniBand выше из-за специализированного оборудования (например, HCA, коммутаторы InfiniBand) и расходов на лицензирование. Ethernet выигрывает от широкого внедрения с недорогими коммутаторами и сетевыми картами. Однако для крупномасштабных развертываний ИИ прирост производительности InfiniBand может компенсировать первоначальные затраты за счет сокращения времени обучения. Долгосрочные затраты зависят от масштаба, при этом Ethernet часто оказывается более экономичным для небольших установок.

Расходы на техническое обслуживание и эксплуатацию

InfiniBand требует специализированных знаний для настройки и обслуживания, что увеличивает эксплуатационные расходы. Знакомство с Ethernet среди ИТ-персонала снижает потребность в обучении, но сложные настройки Ethernet (например, для RDMA через Ethernet) все еще могут требовать знаний. Оба требуют регулярного обслуживания, например, проверки кабелей и обновления прошивки, но фирменная природа InfiniBand может усложнить устранение неполадок.

Потребление энергии и повышение эффективности

Оптимизированная конструкция InfiniBand часто приводит к снижению энергопотребления на единицу переданных данных, особенно в сценариях с высокой пропускной способностью. Энергопотребление Ethernet зависит от оборудования, но коммутаторы высокого класса могут потреблять больше энергии при высоких нагрузках. Для центров обработки данных, которые ставят во главу угла устойчивость, эффективность InfiniBand является убедительным фактором.

Выбор правильной технологии

Лучшие способы оптимизации инфраструктуры для рабочих нагрузок ИИ

Чтобы оптимизировать инфраструктуру ИИ, согласуйте межсоединение с требованиями рабочей нагрузки. InfiniBand подходит для задач с интенсивным использованием графического процессора, таких как глубокое обучение, где критически важна низкая задержка. Ethernet идеально подходит для смешанных рабочих нагрузок или сред, требующих интеграции с существующими сетями. Ключевые стратегии включают использование RDMA (для обеих технологий), оптимизацию топологии и обеспечение высококачественной кабельной разводки.

Инфраструктура ИИ: облако против периферии против локальной среды

В облачных средах Ethernet доминирует из-за своей стандартизации и совместимости с поставщиками гипермасштабирования. Локальные кластеры ИИ часто используют InfiniBand для задач, критически важных для производительности. Периферийные среды предпочитают Ethernet из-за его гибкости и низкой стоимости, хотя InfiniBand появляется в периферийных HPC. Гибридные установки могут сочетать оба варианта, используя Ethernet для внешнего подключения и InfiniBand для внутренних кластеров.

Выбор правильной технологии для ваших потребностей в сетях ИИ

Выбор между InfiniBand и Ethernet зависит от:

• Требования к производительности: InfiniBand для задач ИИ с малой задержкой и высокой пропускной способностью; Ethernet для сетей общего назначения.
• Бюджет: Ethernet для экономически чувствительных развертываний; InfiniBand для проектов, ориентированных на производительность.
• Масштаб: InfiniBand для крупных кластеров ИИ; Ethernet для небольших или смешанных сред.
• Опыт: Ethernet, если сотрудники знакомы с TCP/IP; InfiniBand, если имеются специальные навыки.

FAQ

Ethernet лучше InfiniBand?

Ethernet лучше подходит для сетей общего назначения, чувствительных к стоимости или широко совместимых сетей. InfiniBand отлично подходит для приложений AI, HPC и приложений, критичных к задержкам, благодаря своим преимуществам в производительности.

InfiniBand — это медь или оптоволокно?

InfiniBand поддерживает как медные кабели (для коротких расстояний, например, 5–10 метров), так и оптоволоконные кабели (для больших расстояний, до километров), в зависимости от развертывания.

InfiniBand принадлежит NVIDIA?

InfiniBand — открытый стандарт, управляемый IBTA. NVIDIA разрабатывает оборудование InfiniBand (например, адаптеры ConnectX), но не владеет технологией.

Насколько быстр InfiniBand?

Современный InfiniBand (например, NDR) достигает скорости 400 Гбит/с на порт с задержкой менее микросекунды, что делает его одним из самых быстрых доступных соединений.

Почему InfiniBand такой быстрый?

Скорость InfiniBand обусловлена ​​архитектурой коммутируемой матрицы, поддержкой RDMA и оптимизированными протоколами, что сводит к минимуму накладные расходы и максимизирует пропускную способность.

Кто использует InfiniBand?

InfiniBand используется центрами высокопроизводительных вычислений, исследовательскими лабораториями искусственного интеллекта (например, Meta AI, Google DeepMind), поставщиками облачных услуг и научными институтами для высокопроизводительных задач.

Как оптимизировать сеть для рабочих нагрузок ИИ?

Используйте InfiniBand для кластеров графических процессоров, оптимизируйте топологию (например, Fat-Tree), обеспечьте высококачественную кабельную разводку и используйте RDMA для передачи данных с малой задержкой.