Что такое сеть InfiniBand и чем отличается от Ethernet?

Что такое сеть InfiniBand?

Архитектура InfiniBand обеспечивает консолидацию фабрик в центре обработки данных. Сети хранения могут одновременно работать с фабриками кластеризации, связи и управления в одной и той же инфраструктуре, сохраняя поведение нескольких фабрик.

InfiniBand - это технология сетевого взаимодействия открытого стандарта с высокой пропускной способностью, малой задержкой и высокой надежностью. Эта технология определена IBTA (торговый альянс InfiniBand). Эта технология широко используется в области суперкомпьютерных кластеров. В то же время, с развитием искусственного интеллекта, это также предпочтительная технология сетевого взаимодействия для серверов GPU.

Высокоскоростное соединение (HSI) стало ключом к разработке высокопроизводительных компьютеров, поскольку вычислительная мощность центрального процессора (ЦП) увеличивается очень быстрыми темпами. HSI — это новая технология, предложенная для повышения производительности интерфейса периферийных компонентов (PCI). После многих лет разработки HSI, поддерживающие высокопроизводительные вычисления (HPC), теперь в основном представляют собой Gigabit Ethernet и InfiniBand, из которых InfiniBand является самым быстрорастущим HSI. InfiniBand — это высокопроизводительная технология с малой задержкой, разработанная под руководством Торговой ассоциации InfiniBand (IBTA).

IBTA была основана в 1999 году в результате слияния двух отраслевых организаций: Future I/O Developers Forum и NGI/O Forum. Он работает под руководством комитета по планированию и эксплуатации, состоящего из HP, IBM, Intel, Mellanox, Oracle, QLogic, Dell, Bull и других. IBTA специализируется на тестировании продуктов на соответствие и функциональной совместимости, и ее члены работают над созданием и обновлением спецификации InfiniBand.

Стандарт InfiniBand поддерживает сигнализацию с одной скоростью передачи данных (SDR) с базовой скоростью 2.5 Гбит / с на полосу, чтобы обеспечить скорость исходных данных 10 Гбит / с по кабелям 4X (наиболее распространенный тип используемого кабеля InfiniBand). Двойная скорость передачи данных (DDR) и четырехкратная скорость передачи данных (QDR) позволяют масштабировать отдельные полосы до 5 Гбит / с и 10 Гбит / с на полосу, соответственно, для потенциальной максимальной скорости передачи данных 40 Гбит / с при 4X и 120 Гбит / с более 12X кабелей.

Сравнение сетевых технологий

В настоящее время новейшим продуктом InfiniBand является HDR производства Mellanox, который может обеспечить сквозную пропускную способность до 200 Гбит/с для сети, обеспечить беспрецедентный сетевой опыт для высокопроизводительных вычислений, искусственного интеллекта и других областей, а также максимизировать вычислительный потенциал кластера.

Как технология соединения компьютерных кластеров, InfiniBand имеет значительные преимущества по сравнению с Ethernet/Fibre Channel и устаревшей технологией Omni-Path и является основной технологией сетевой связи, рекомендованной Торговой ассоциацией InfiniBand (IBTA). С 2014 года большинство суперкомпьютеров из списка TOP500 используют сетевую технологию InfiniBand. В последние годы приложения, связанные с ИИ/большими данными, также широко применяли сети IB для развертывания высокопроизводительных кластеров, при этом 62% суперкомпьютерных центров из 100 лучших используют технологию InfiniBand (данные за июнь 2022 г.).

Обзор InfiniBand

InfiniBand — это канал связи для потока данных между процессорами и устройствами ввода-вывода, поддерживающий до 64,000 XNUMX адресных устройств. Архитектура InfiniBand (IBA) — это спецификация отраслевого стандарта, определяющая структуру двухточечного коммутируемого ввода-вывода для соединения серверов, коммуникационной инфраструктуры, устройств хранения и встроенных систем.

InfiniBand идеально подходит для соединения нескольких потоков данных (кластеризация, связь, хранение, управление) в одном соединении с тысячами взаимосвязанных узлов благодаря своей повсеместной доступности, малой задержке, высокой пропускной способности и низкой стоимости управления. Наименьшая полная единица IBA — это подсеть, а несколько подсетей соединяются маршрутизаторами, образуя большую сеть IBA.

Системы InfiniBand состоят из адаптеров каналов, коммутаторов, маршрутизаторов, кабелей и разъемов. CA делится на адаптер хост-канала (HCA) и адаптер целевого канала (TCA). Коммутаторы IBA в принципе аналогичны другим стандартным сетевым коммутаторам, но должны соответствовать требованиям InfiniBand к высокой производительности и низкой стоимости. HCA — это точка устройства, через которую конечный узел IB, такой как сервер или устройство хранения, подключается к сети IB. TCA — это особая форма адаптеров каналов, которые в основном используются во встроенных средах, таких как устройства хранения данных.

Архитектура InfiniBand показана на рисунке.

Что такое 200G InfiniBand HDR?

InfiniBand поддерживает передачу SDR/DDR/QDR/FDR/EDR для увеличения пропускной способности канала. Недавно Mellanox выпустила 200G InfiniBand с поддержкой HDR. Мелланокс недавно выпущен InfiniBand 200 Гбит / с с поддержкой HDR. Мелланокс 200Gb / s Сети HDR InfiniBand поддерживают сверхмалую задержку, высокую пропускную способность и интеллектуальные механизмы ускорения сетевых вычислений. Пользователи могут использовать стандартные программные драйверы Mellanox в облаке так же, как в среде Bare Metal. Благодаря поддержке глаголов RDMA можно использовать все программное обеспечение MPI на основе InfiniBand, такое как Mellanox HPC-X, MVAPICH2, Platform MPI, Intel MPI и другие.

Кроме того, пользователи могут воспользоваться функцией аппаратной разгрузки кластерной связи MPI для дополнительного повышения производительности, что также повышает эффективность бизнес-приложений. 200G InfiniBand имеет широкий спектр приложений, включая сетевые ускоренные вычислительные механизмы, адаптеры HDR InfiniBand, коммутаторы HDR InfiniBand Quantum и кабели 200G.

Приложения InfiniBand

Что касается кабелей 200G InfiniBand, последней частью решения Mellanox 200Gbs является линейка Кабели LinkX. Mellanox предлагает медные кабели прямого подключения 200G длиной до 3 метров и кабели-разветвители 2 x 100G для обеспечения соединений HDR100, а также активные оптические кабели 200G длиной до 100 метров. Все кабели LinkX в линейке 200 Гбит/с поставляются в стандартном QSFP56 пакеты.

Каковы преимущества сети InfiniBand?

• Последовательные каналы с высокой пропускной способностью

- SDR: 10 Гбит / с

- DDR: 20 Гбит / с

- QDR: 40 Гбит / с

- FDR: 56 Гбит / с

- EDR: 100 Гбит / с

- HDR: 200 Гбит / с

– NDR: 400 Гбит/с

• Сверхнизкая задержка

- Под 1 нас приложение к приложению

• Надежная, без потерь, самоуправляемая ткань

- Управление потоком на уровне ссылок

- Контроль перегрузки для предотвращения блокировки HOL

• Полная разгрузка ЦП

- Аппаратный надежный транспортный протокол

- Обход ядра (приложения уровня пользователя получают прямой доступ к оборудованию)

• Память, доступная для доступа к удаленному узлу - RDMA-чтение и RDMA-запись

- Атомарные операции

• Качество обслуживания

- Независимые каналы ввода / вывода на уровне адаптера

- Виртуальные полосы на уровне ссылок

• Масштабируемость / гибкость кластера

- До 48К узлов в подсети, до 2 ^ 128 в сети

- Параллельные маршруты между конечными узлами

- Возможность использования нескольких кластерных топологий

• Упрощенное управление кластером

- Централизованный диспетчер маршрутов

- Внутриполосная диагностика и обновления

Что такое сеть Ethernet?

Ethernet относится к стандарту спецификации основной полосы частот локальной сети, созданному компанией Xerox и совместно разработанному компаниями Xerox, Intel и DEC. Общий стандарт Ethernet был выпущен 30 сентября 1980 года. Это наиболее общий стандарт протокола связи, принятый в существующих локальных сетях. Он передает и получает данные по кабелям. Сеть Ethernet используется для создания локальных сетей и подключения нескольких компьютеров или других устройств, таких как принтеры, сканеры и т. д. В проводной сети это осуществляется с помощью оптоволоконных кабелей, а в беспроводной сети — с помощью технологии беспроводной сети. Основными типами сетей Ethernet являются Fast Ethernet, Gigabit Ethernet, 10-Gigabit Ethernet и Switch Ethernet.

В настоящее время Организация по стандартизации IEEE 802.3, организованная IEEE, выпустила стандарты интерфейса Ethernet 100GE, 200GE и 400GE. Сеть Ethernet - это технология передачи с самой высокой скоростью в настоящее время.

InfiniBand против Ethernet: Какая разница?

Как технологии межсетевого взаимодействия InfiniBand и Ethernet имеют свои особенности и отличия. Они развиваются и развиваются в своих различных областях применения и стали двумя незаменимыми технологиями взаимодействия в нашем сетевом мире.

Типы сетей Ethernet

С точки зрения сети Ethernet, наряду с технологией IP, они составляют краеугольный камень всего интернет-строительства в мире. Все люди и интеллектуальные устройства полагаются на Ethernet для реализации взаимосвязи всех вещей, что связано с первоначальным замыслом его дизайна для достижения лучшей совместимости. Это может сделать различные системы более взаимосвязанными, что делает Ethernet очень адаптируемым с момента его появления. После десятилетий развития он стал стандартом Интернета.

Что касается сети InfiniBand, это стандарт межсетевого взаимодействия, позволяющий устранить узкое место при передаче данных в сценариях высокопроизводительных вычислений. С момента своего создания он позиционировался как высококлассное приложение. Взаимосвязь не является основным противоречием, а высокопроизводительная связь является основной точкой входа. Infiniband — это новый тип соединения, который был выпущен недавно. Самое замечательное в этом — скорость, которую предоставляют пользователям. Хотя скорость вашего соединения в конечном итоге будет зависеть от того, какой провод вы выберете, скорость для них может достигать 40 Гбит / с или даже больше.

Таким образом, по сравнению с технологией Ethernet, InfiniBand по своей сути отличается от Ethernet из-за другого позиционирования, в основном по полосе пропускания, задержке, надежности сети и сетевому режиму. InfiniBand напрямую создает частный и защищенный канал между узлами через коммутаторы для передачи данных и сообщений без участия ЦП в удаленном прямом доступе к памяти (RDMA). Один конец адаптера подключен к ЦП через интерфейс PCI Express, а другой конец подключен к подсети InfiniBand через сетевой порт InfiniBand. По сравнению с другими сетевыми коммуникационными протоколами это дает очевидные преимущества, включая более высокую пропускную способность, более низкую задержку и улучшенную масштабируемость.

InfiniBand против Omni-Path: преимущества InfiniBand перед Omni-Path

Хотя NVIDIA запустила решение InfiniBand 400G NDR, некоторые клиенты все еще используют решение 100G. Для высокопроизводительных сетей 100G есть два распространенных решения, Omni-Path и InfiniBand, которые имеют одинаковую скорость и одинаковую производительность, но структура сети сильно различается. Например, для кластера из 400 узлов для InfiniBand требуется всего 15 коммутаторов серии NVIDIA Quantum 8000 и 200 ответвительных кабелей 200G, а также 200 прямых кабелей 200G, а для Omni-Path требуется 24 коммутатора и 876 прямых кабелей 100G (384 узла). InfiniBand очень выгоден с точки зрения ранней стоимости оборудования и более поздних затрат на эксплуатацию и техническое обслуживание, а общее энергопотребление намного ниже, чем у Omni-Path, который более безопасен для окружающей среды.

Знакомство с продуктом InfiniBand HDR

EDR постепенно выводится из рынка с точки зрения клиентского спроса, показатель NDR слишком высок, и его пытаются использовать только основные клиенты. HDR широко используется благодаря гибкости HDR 100G и HDR 200G.

Переключатель HDR

Существует два типа переключателей HDR. Один из них — HDR CS8500. Коммутатор 29U обеспечивает до 800 портов HDR 200 Гбит/с, а каждый порт 200 ГБ можно разделить на 2 порта по 100 Гбит/с для поддержки 1600 портов HDR100 100 Гбит/с.

Другой тип — серия QM8000. Панель высотой 1U имеет 40 портов 200G QSFP56, которые можно разделить максимум на 80 портов HDR 100G для подключения сетевых карт 100G HDR. В то же время каждый порт также поддерживает EDR и напрямую соединяется с сетевой картой EDR. Следует отметить, что порт 200G HDR можно замедлить только до 100G и подключить к сетевому адаптеру EDR, и его нельзя разделить на 2X100G для подключения двух сетевых адаптеров EDR.

Существует два варианта коммутатора 200G HDR: QM8700 и QM8790. Единственная разница между двумя моделями заключается в режиме управления. QM8700 предоставляет интерфейс управления для внеполосного управления, в то время как QM8790 требует для управления платформу NVIDIA Unified Fabric Manager (UFM®).

Для QM8700 и QM8790 существует два варианта воздушного потока для каждой модели коммутатора. Один из них — 8790-HS2F для воздушного потока P2C (передний и задний поток воздуха). Модуль вентилятора отмечен синим цветом. Если вы не узнаете маркировку, вы также можете определить ее, проведя рукой над входом и выходом воздуха переключателя.

8790-HS2R — это красная метка на модуле вентилятора воздушного потока C2P (задний передний воздуховод). Здесь P2C и C2P P означает мощность, C означает кабель (линейный интерфейс), P2C (питание к кабелю), C2P (кабель к питанию), здесь эталонной системой является сторона питания для передней части, сторона интерфейса кабельной линии для задней.

На практике QM8700 и QM8790 обычно используются двумя способами, один из которых заключается в соединении с сетевыми адаптерами 200G HDR путем прямого использования 200G для 200G AOC/ЦАП; другое распространенное использование — соединение с сетевыми адаптерами 100G HDR с помощью кабелей 200G — 2X100G, в которых один физический порт 200G (4X50G) QSFP56 коммутатора разделен на 2 виртуальных порта 100G (2X50G). 4X50G) Порт QSFP56 коммутатора разделен на два виртуальных порта 100G (2X50G), и после разделения символ порта меняется с x/y на x/Y/z, где «x/Y» указывает на предыдущий символ порта перед разделением, а «z» обозначает номер результирующего однополосного порта (1,2), и тогда каждый субфизический порт рассматривается как один порт.

Сетевой адаптер HDR

Сетевые адаптеры HDR гораздо более разнообразны, чем коммутаторы. Сетевой адаптер HDR100 поддерживает скорость передачи 100G. Два порта HDR100 можно подключить к коммутатору HDR с помощью кабелей от 200G до 2x100G. В отличие от сетевой карты 100G EDR, порт 100G сетевой карты HDR100 поддерживает передачу как 4X25G NRZ, так и 2X50G PAM4. Сетевая карта HDR поддерживает скорость передачи 200G и может быть подключена к коммутатору через прямой кабель 200G. В дополнение к двум скоростям интерфейса вы можете выбрать однопортовые, двухпортовые и сетевые адаптеры PCIe каждой скорости в зависимости от требований к обслуживанию. Общие модели сетевых адаптеров InfiniBand HDR, предоставляемые FiberMall, следующие:

Сетевая архитектура InfiniBand проста, но выбор решений разнообразен. Скорость 100G имеет как решение 100G EDR, так и решение 100G HDR; Скорость 200 также имеет два варианта HDR и 200G NDR. Сетевые адаптеры, разъемы и коммутаторы, используемые в разных решениях, сильно различаются.

Пакеты InfiniBand и передача данных

Пакет — это основная единица передачи данных InfiniBand. Для эффективного распространения информации в сети InfiniBand адаптер канала разделяет ее на несколько пакетов. Полный пакет IBA состоит из полей заголовка локального маршрута, заголовка глобального маршрута, базового транспортного заголовка, расширенного транспортного заголовка, полезной нагрузки (PYLD), инвариантного CRC (ICRC) и вариантного CRC (VCRC), как показано на рисунке ниже.

ЛРХ: 8 байтов, используемых коммутатором для определения локальных портов источника и получателя при пересылке пакетов, а также для регулирования класса обслуживания и виртуального канала (VL) для передачи пакетов.

ГРХ: 40 байт, используемых для маршрутизации пакетов между подсетями и обеспечения правильной передачи пакетов между подсетями. Он определяется полем Link Next Header (LNH) в LRH с использованием спецификации заголовка IPv6, определенной в RFC 2460.

ВТН: 12 байтов, указывающих пару очереди назначения (QP), указание кода операции, серийный номер пакета и сегментацию.

ETH: 4-28 байт, обеспечивающий надежную службу дейтаграмм. Полезная нагрузка (PYLD): 0–4096 байт, отправляемые сквозные данные приложения.

МККК: 4 байта, инкапсулирует данные, которые остаются неизменными в пакете, когда он отправляется с адреса источника на адрес назначения.

ВКЦ: 2 байта, инкапсулирует переменную IBA и необработанные (raw) пакеты во время соединения.

VCRC можно перенастроить в фабрике.

Многоуровневая архитектура InfiniBand

Согласно определению IBTA, архитектура InfiniBand состоит из физического уровня, канального уровня, сетевого уровня и транспортного уровня, и ее многоуровневая архитектура показана на рисунке.

Физический слой: физический уровень обслуживает канальный уровень и обеспечивает логический интерфейс между этими двумя уровнями. Физический уровень состоит из таких модулей, как сигнальные соединители портов, физические соединения (электрические и оптические), аппаратное управление, управление питанием и линии кодирования, основные функции которых заключаются в следующем:

(1) Установление физических соединений;

(2) Уведомление канального уровня о том, действительно ли физическое соединение;

(3) Мониторинг состояния физического соединения, передача управляющих сигналов и данных на канальный уровень, когда физическое соединение допустимо, и передача управляющей информации и данных, поступающих с канального уровня.

Слой связи: канальный уровень отвечает за обработку отправки и получения данных канала в пакетах, предоставляя такие услуги, как адресация, буферизация, управление потоком, обнаружение ошибок и обмен данными. Качество обслуживания (QoS) в основном отражается на этом уровне. Конечный автомат используется для определения логических операций канального уровня как операций, доступных извне, и не определяет внутренние операции.

Сетевой уровень: сетевой уровень отвечает за маршрутизацию пакетов между подсетями IBA, включая одноадресные и многоадресные операции. Сетевой уровень не определяет многопротокольную маршрутизацию (например, маршрутизацию IBA по типам, отличным от IBA), а также не указывает, как исходные пакеты маршрутизируются между подсетями IBA.

Транспортный слой: все данные IBA содержат транспортный заголовок. Транспортный заголовок содержит информацию, необходимую конечному узлу для выполнения указанной операции. Управляя QP, клиенты связи адаптера канала IBA на транспортном уровне формируют рабочую очередь «отправки» и рабочую очередь «получения».

Механизм переключения InfiniBand

Switched Fabric, используемая в InfiniBand, представляет собой двухточечную архитектуру межсоединений на основе коммутаторов, ориентированную на отказоустойчивость и масштабируемость системы.

Коммутаторы IBA являются основными структурными элементами маршрутизации для внутренней маршрутизации подсети (функции маршрутизации между подсетями обеспечиваются маршрутизаторами IBA). Взаимосвязь коммутаторов осуществляется путем ретрансляции пакетов между ссылками.

Коммутаторы InfiniBand реализуют такие функции, как агент диспетчера подсети (SMA), агент диспетчера производительности (PMA) и агент диспетчера основной платы (BMA). SMA предоставляет интерфейс для менеджеров подсетей для получения данных записей и таблиц внутри коммутатора с помощью пакетов управления подсетями, реализуя такие функции, как уведомление о сообщениях, отображение уровня обслуживания (SL) на виртуальную полосу (VL), арбитраж VL, многоадресную переадресацию и характеристики поставщиков. . PMA предоставляет интерфейс для менеджеров по производительности для мониторинга информации о производительности, такой как пропускная способность данных и накопление ошибок коммутатора. BMA обеспечивает канал связи между менеджером основной платы и менеджером нижней полки.

Основные функции пересылки данных в коммутаторах InfiniBand:

(1) Выбор выходного порта: На основе локального идентификатора пункта назначения (DLID) пакета коммутатор определяет номер порта вывода из таблицы переадресации.

(2) Выберите выход VL: Поддерживаются SL и VL, и коммутатор определяет VL выходного порта, используемого пакетами с разными уровнями приоритета, на основе таблицы сопоставления SL-VL.

(3) Управление потоком данных: используется механизм управления потоком на уровне канала на основе кредита.

(4) Поддержка одноадресной, многоадресной и широковещательной передачи: Коммутатор может преобразовывать многоадресные или широковещательные пакеты в несколько одноадресных пакетов для обмена.

(5) Разделение: только хосты в одном разделе могут общаться друг с другом. Каждый раздел имеет уникальный ключ раздела, и коммутатор проверяет, находится ли DLID пакета в разделе, соответствующем ключу.

(6) Проверка ошибок: включая проверку ошибок несоответствия, проверку ошибок кодирования, проверку ошибок кадрирования, проверку длины пакета, проверку версии заголовка пакета, проверку достоверности уровня обслуживания, соответствие управлению потоком и проверку максимального количества единиц передачи.

(7) Арбитраж ВЛ: Поддержка подсети VL (включая управление VL15 и данные VL). Коммутатор использует арбитраж VL, чтобы обеспечить лучшее обслуживание высокоприоритетных пакетов.

В настоящее время основными производителями коммутаторов InfiniBand являются Mallanox, QLogic, Cisco, IBM и др.

Для хостов клиентская сторона транспортного уровня представляет собой программный уровень Verbs, где клиент передает буферы или команды в эти очереди и из них, а аппаратное обеспечение передает буферные данные в них и из них. Когда QP установлен, он включает один из четырех типов транспортных услуг IBA (надежное соединение, достоверная информация о самоадресации, ненадежная информация о самоадресации, ненадежное соединение) или услугу, инкапсулированную не в протоколе IBA. Транспортный сервис описывает, как работают транспортные данные надежности и QP и что передается.

Как партнер уровня NVIDIA Elite, FiberMall может предоставить полный Решения InfiniBand в соответствии с потребностями различных клиентов, а наши старшие технические инженеры имеют богатый опыт проектирования высокопроизводительных сетевых решений InfiniBand и услуг по реализации проектов и могут предоставить оптимальные решения в соответствии с различными сценариями применения. Мы можем предоставить коммутаторы QM8700/QM8790, сетевые адаптеры HDR, AOC/DAC/оптические модули для достижения высочайшей производительности и масштабируемости, а также повышения рентабельности инвестиций для высокопроизводительных вычислений, искусственного интеллекта и других приложений с меньшими затратами и отличной производительностью.