Infiniband: идеальное сетевое решение для высокоскоростных кластеров и графических процессоров

В высокопроизводительных вычислениях (HPC) нет ничего важнее эффективной и надежной передачи данных. Infiniband Технология известна своей большой пропускной способностью и низким временем задержки, что делает ее идеальной для быстрых кластеров и систем, использующих графические процессоры. В этом сообщении блога рассказывается о том, что такое Infiniband, чем он может быть полезен и где его можно использовать. Узнав о том, что может делать Infiniband и как он работает, компании смогут сделать лучший выбор в отношении настройки своих сред HPC, что, в свою очередь, приведет к более быстрой обработке данных без каких-либо перебоев.

Что такое Infiniband и как он работает?

Понимание технологии Infiniband

Infiniband — это сверхбыстрая сетевая технология, отвечающая потребностям сред высокопроизводительных вычислений. Он работает на топологии коммутируемой структуры, что помогает создавать эффективные пути связи между узлами. Архитектура Infiniband включает коммутаторы, которые маршрутизируют пакеты данных, и адаптеры хост-канала (HCA) для подключения конечных устройств. Благодаря удаленному прямому доступу к памяти (RDMA) Infiniband обеспечивает прямую передачу памяти между системами, тем самым сводя к минимуму задержку и уменьшая нагрузку на процессор. Он может достигать скорости передачи данных до 200 Гбит/с и иметь задержку всего 500 наносекунд, что делает его идеальным для таких приложений, как параллельные вычисления или рабочие нагрузки машинного обучения, где требуется быстрый обмен информацией.

Архитектура и характеристики Infiniband

Архитектура Infiniband специально разработана для удовлетворения требований к передаче данных в тяжелых условиях в средах HPC. В основе лежат два основных компонента: адаптеры хост-каналов (HCA) и коммутаторы. HCA действуют как интерфейс между конечными устройствами (например, серверами, системами хранения) и структурой InfiniBand. Эти адаптеры обладают возможностями RDMA, которые обеспечивают прямой доступ к памяти между устройствами без задействования ЦП, что значительно снижает задержку.

С другой стороны, коммутаторы маршрутизируют пакеты данных через сеть, обеспечивая эффективные пути связи с минимальной задержкой между узлами. InfiniBand поддерживает различные скорости и конфигурации соединения, например, 1 полосу, которую можно объединить для достижения более высокой пропускной способности, например, 4 или даже 12 полос. Используемая в настоящее время реализация поддерживает скорости до 200 Гбит/с на порт, т.е. EDR (повышенная скорость передачи данных) или HDR (высокая скорость передачи данных); это обеспечивает достаточную пропускную способность для приложений, требующих больших затрат, таких как моделирование молекулярной динамики, моделирование погоды или крупномасштабное машинное обучение.

Кроме того, в InfiniBand были включены механизмы QoS (качество обслуживания), которые определяют приоритетность критического трафика данных при сохранении предсказуемого уровня производительности. Более того, масштабируемость обеспечивает неблокирующие соединения между тысячами узлов, что позволяет сетям расти вместе с вычислительными возможностями. Именно благодаря этому строгому принципу проектирования InfiniBand может служить магистральной инфраструктурой для современных суперкомпьютеров.

Ключевые особенности Infiniband

1. Очень быстро и очень быстро: Infiniband обеспечивает сверхвысокую скорость передачи данных, в настоящее время 200 Гбит/с на порт с HDR, и стабильно низкую задержку связи. Вот почему он идеально подходит для приложений HPC, которым необходим быстрый обмен данными, например, для анализа в реальном времени или научного моделирования.
2. RDMA (Удаленный прямой доступ к памяти): одна из наиболее ярких особенностей Infiniband Это возможность RDMA, которая обеспечивает прямую передачу данных между ячейками памяти различных устройств без вмешательства ЦП. Это значительно снижает задержку и оставляет больше ресурсов ЦП для других задач, тем самым улучшая общую производительность системы.
3. Масштабируемость: Infiniband был разработан с учетом хорошей масштабируемости — он может объединять тысячи узлов в большие кластеры HPC. Неблокирующая архитектура гарантирует, что сеть не станет узким местом при ее увеличении, что позволяет одновременно выполнять вычисления в больших масштабах и запускать приложения с интенсивным использованием данных.
4. Качество обслуживания (QoS): в Infiniband интегрированы механизмы QoS для контроля и определения приоритетов сетевого трафика. Эта функция становится важной, когда существуют критические потоки, которым следует отдавать приоритет над другими, что обеспечивает устойчивый уровень производительности в таких средах.
5. Гибкие топологии и конфигурации. Фабрика поддерживает различные топологии, такие как Fat Tree, Mesh или Torus, что позволяет адаптировать сети к конкретным требованиям к производительности, а также потребностям в масштабируемости. Более того, поддержка различных конфигураций линий (1x, 4x, 12x) обеспечивает гибкость в достижении желаемой пропускной способности.
6. Надежность и отказоустойчивость: в Infiniband используются усовершенствованные механизмы обнаружения/исправления ошибок, позволяющие поддерживать целостность данных во время передачи, обеспечивая при этом надежную связь внутри системы постоянно, т. е. управление потоком на уровне канала в сочетании с адаптивной маршрутизацией. в большей степени в сторону высокой надежности, следовательно, применимых для критически важных приложений.

Чем Infiniband отличается от Ethernet?

Infiniband против Ethernet: Битва за низкую задержку

Когда Infiniband сравнивают с Ethernet с точки зрения низкой задержки, обычно наблюдается, что Infiniband работает лучше, чем Ethernet, благодаря своей конструкции и дизайну. Среди ключевых особенностей Infiniband — меньшие затраты на связь, что приводит к уменьшению задержек. Кроме того, эта технология поддерживает удаленный прямой доступ к памяти (RDMA), что позволяет передавать данные между компьютерами непосредственно из памяти без задействования ЦП, что снижает задержки и высвобождает вычислительную мощность.

Напротив, известно, что Ethernet имеет более широкое покрытие и дешевле, чем другие сети, особенно теперь с мостом центра обработки данных (DCB), а также RDMA через конвергентный Ethernet (RoCE). Тем не менее, даже после того, как в него были внесены эти улучшения, Ethernet всегда показывает более высокие задержки, чем Infiniband.

Таким образом, для приложений, которым требуется сверхнизкая задержка в сочетании с высокой пропускной способностью, таких как сложное моделирование или высокопроизводительные вычисления (HPC), InfiniBand в большинстве случаев будет предпочтительнее.

Infiniband обеспечивает высокую пропускную способность: сравнение скоростей и пропускной способности

Infiniband превосходит Ethernet по пропускной способности и производительности. Фактически, Infiniband HDR (High Data Rate) обеспечивает скорость до 200 Гбит/с на порт, что намного быстрее самых современных 400 Гбит/с или даже обычных 100 Гбит/с в Ethernet. Более того, многие полосы могут быть объединены вместе с Infiniband, так что эффективность передачи данных становится высокой из-за масштабируемости в соответствии с потребностями приложений в пропускной способности. Архитектура этой технологии была разработана с нуля с большим объемом встроенной обработки с низкой задержкой, что делает InfiniBand хорошо подходящим для случаев использования, включающих огромные объемы информации, такие как те, которые встречаются в кластерах HPC и гипермасштабируемых центрах обработки данных.

Надежность и масштабируемость: преимущества Infiniband перед Ethernet

По сравнению с Ethernet Infiniband более надежен и масштабируем, что необходимо для поддержки работы больших систем. Даже на больших расстояниях у них есть методы обнаружения и исправления ошибок, которые достаточно эффективны, чтобы поддерживать целостность данных, что снижает скорость повторной передачи и обеспечивает единообразную производительность. Кроме того, он имеет детерминированный характер работы, гарантирующий предсказуемость с точки зрения задержки; эта функция становится важной при работе с приложениями, требующими тесно скоординированных процессов.

В то же время возможности QoS (качество обслуживания), имеющиеся в Infiniband, обеспечивают детерминированное распределение полосы пропускания, тем самым гарантируя поддержание производительности при различных рабочих нагрузках с различными требованиями. Чтобы иметь возможность хорошо масштабироваться, InfiniBand может эффективно поддерживать большое количество узлов, тем самым позволяя увеличивать вычислительные ресурсы без какого-либо заметного снижения производительности. Таким образом, это делает их наиболее подходящим выбором для таких сред, как суперкомпьютерные кластеры или центры обработки данных корпоративного уровня, где необходимо часто передавать и обрабатывать огромные объемы информации на больших территориях.

Каковы преимущества сетей Infiniband?

Низкая задержка и высокая производительность

Сети InfiniBand имеют репутацию очень быстрых сетей, поэтому их называют высокопроизводительными сетями с малой задержкой. По словам осведомленных людей, сообщалось, что InfiniBand может снизить задержку до 100 нс, что намного меньше, чем когда-либо мог сделать Ethernet. Этот сверхмалый период времени гарантирует быстрое поступление пакетов, что позволяет прикладным программам, чувствительным к задержке, работать лучше.

Более того, InfiniBand может похвастаться поддержкой очень высокой пропускной способности: современные системы предлагают до 200 гигабит в секунду (Гбит/с) на соединение. Такая высокая пропускная способность необходима при работе с массивными передачами данных в кластерах HPC или между центрами обработки данных. Сравнивая ее с Ethernet, который иногда испытывает более высокие задержки и более низкие скорости передачи данных; это делает InfiniBand эффективным и надежным решением для высокопроизводительных вычислений среди других требовательных приложений.

Удаленный прямой доступ к памяти (RDMA)

Согласно надежным источникам, удаленный прямой доступ к памяти (RDMA) является основной функцией сетей Infiniband, которая позволяет передавать данные между памятью двух компьютеров без использования их операционных систем. Это создает прямой путь для данных, что приводит к уменьшению задержек и снижению нагрузки на процессор. RDMA повышает производительность за счет включения сети с нулевым копированием, т. е. когда информация перемещается напрямую из буфера приложения в сеть, а не сначала проходит через буфер операционной системы, как это происходит с традиционными сетевыми протоколами.

Как сообщается, эта технология может обеспечить задержку всего в одну микросекунду и поддерживать передачу данных со скоростью несколько сотен гигабит в секунду. При таких скоростях становится понятно, почему RDMA будет наиболее полезен в приложениях, которым требуется вычислительная мощность в реальном времени в сочетании с высокой пропускной способностью; например, финансовые торговые системы или распределенные базы данных, используемые в крупномасштабном анализе данных. Обход ядра также поддерживается RDMA, который позволяет приложениям напрямую взаимодействовать с сетевым оборудованием, что еще больше снижает задержку и повышает эффективность передачи данных.

Подводя итог, можно сказать, что удаленный прямой доступ к памяти (RDMA) обеспечивает высокую пропускную способность, низкие задержки и эффективное использование ЦП, тем самым доказывая себя незаменимой технологией везде, где требуется быстрый доступ к информации или повышение производительности.

HDR Infiniband и перспективы на будущее

Следующим шагом в сетевых технологиях является технология HDR (высокая скорость передачи данных) Infiniband, которая была разработана для удовлетворения потребностей центров обработки данных и высокопроизводительных вычислительных сред. Эта система может достичь скорости 200 Гбит/с, когда дело доходит до передачи информации из одной точки в другую, что позволяет удовлетворить требования к более высокой скорости передачи данных с меньшей задержкой.

Многие функции отличают HDR Infiniband от его предшественников. Один из них заключается в том, что он использует кремниевую технологию переключателей последнего поколения, которая улучшает целостность сигнала и возможности исправления ошибок. Это делает передачу данных более надежной даже на большие расстояния, что делает ее подходящей для крупномасштабных распределенных систем.

Еще одним важным аспектом HDR Infiniband является его будущая роль как EDR (экстремальная скорость передачи данных) и не только, способствующая созданию сложных симуляций, крупномасштабной аналитики и приложений реального времени, которые требуют сверхнизкой задержки. Более того, учитывая развитие рабочих нагрузок AI/ML, будет возрастать потребность в таких сетях, имеющих высокую пропускную способность, но низкие задержки, подобные тем, которые обеспечивают HDR Infiniband.

Быстро обрабатывая огромные объемы информации, развертывание этих сетей может ускорить научные прорывы в различных областях, таких как автономные транспортные средства или виртуальная реальность и т. д. В заключение следует сказать, что это означает, что HDR InfiniBand не только предлагает решение для текущих потребностей в высокопроизводительных сетях, но и указывает на перспективный подход к поддержке вычислительных приложений следующего поколения, а также приложений с интенсивным использованием данных.

Как Infiniband используется в центрах обработки данных и высокопроизводительных вычислениях?

Infiniband в сфере высокопроизводительных вычислений (HPC)

Самые быстрые суперкомпьютеры в мире полагаются на Infiniband, обеспечивающий высокоскоростную передачу данных между узлами. Это необходимо, в частности, для крупномасштабного моделирования, научных исследований и аналитики. Что еще более важно, это позволяет кластерам обрабатывать эти приложения быстрее, чем когда-либо прежде, путем прямого соединения вычислительных устройств в системе HPC друг с другом путем создания параллельной компьютерной архитектуры с поддержкой сети, которая избавляет от традиционных узких мест, связанных с общим хранилищем или доступом к памяти. методы, тем самым позволяя каждому узлу получать доступ к своим собственным ресурсам независимо от других.

Интеграция Infiniband в дата-центры

В современных центрах обработки данных интеграция Infiniband повышает производительность и масштабируемость, обеспечивая высокоскоростное соединение, необходимое для задач с интенсивным использованием данных. С этой целью он развертывается, в частности, для быстрой связи между серверами, системами хранения и другими сетевыми устройствами, что делает работу центра обработки данных более эффективной. Он имеет расширенные функции, такие как удаленный прямой доступ к памяти (RDMA), который снижает нагрузку на процессор и, следовательно, повышает скорость передачи информации. Кроме того, его собственная расширяемая конструкция позволяет постепенно увеличивать мощность, обеспечивая при этом непрерывную производительность в течение длительного периода, когда спрос на таком объекте мог бы вырасти больше, чем раньше. Таким образом, благодаря использованию технологии InfiniBand можно достичь более высокой пропускной способности в центрах обработки данных в сочетании с более низкими задержками, тем самым повышая эффективность, необходимую для поддержки различных приложений, начиная от облачных вычислений и заканчивая аналитикой больших данных и машинным обучением.

Infiniband для кластеров графических процессоров и искусственного интеллекта

Кластеры GPU и приложения AI зависят от Infiniband, поскольку он может хорошо справляться с требованиями высокой пропускной способности и низкой задержки. Поскольку модели AI становятся более сложными, а рабочие нагрузки GPU больше, соединения Infiniband обеспечивают быстрый обмен данными между GPU, что в свою очередь ускоряет время обучения и вывода. Такие улучшения производительности стали возможными благодаря таким функциям, как поддержка RDMA или аппаратная разгрузка, которая снижает использование CPU, а также повышает эффективность передачи данных. Благодаря масштабному развертыванию InfiniBand для систем AI минимизируются узкие места, так что ресурсы GPU могут использоваться оптимально, что приводит к более быстрым вычислениям, а также повышает эффективность масштабирования моделей искусственного интеллекта, в то же время позволяя быстро обрабатывать огромные объемы данных с более высокими уровнями точности с помощью этой технологии. Тем самым позволяя обрабатывать большие наборы данных быстрее и с большей точностью. Таким образом, использование Infiniband в кластерах GPU значительно расширяет возможности исследований AI, начиная от алгоритмов глубокого обучения и заканчивая предиктивной аналитикой, применимой в различных областях жизни.

Каковы компоненты сети Infiniband?

Коммутаторы и адаптеры Infiniband

Коммутаторы и адаптеры InfiniBand являются важными компонентами сетей InfiniBand. Коммутаторы Fabric, также известные как коммутаторы Infiniband, отвечают за пересылку пакетов данных по сети. Эти коммутаторы связывают несколько устройств вместе, обеспечивая быструю связь и передачу данных между ними. У них разные номера портов, которые могут варьироваться от 8 до 648 портов; они соединяют различные топологии, такие как Fat-Tree и Clos, необходимые для эффективного масштабирования сетевой инфраструктуры.

С другой стороны, адаптеры хост-канала (HCA), также называемые адаптерами Infiniband, устанавливаются на сетевых устройствах, таких как серверы или системы хранения, что позволяет им подключаться к фабрике InfiniBand. HCA облегчают прямой доступ к памяти (RDMA) через Infiniband, что снижает нагрузку на процессор и тем самым повышает скорость передачи информации. Они поддерживают такие важные функции, как QDR (четверенная скорость передачи данных) и FDR (четырнадцатая скорость передачи данных), необходимые для удовлетворения требований к высокой пропускной способности и низкой задержке в современных центрах обработки данных, обслуживающих приложения.

Вместе эти два типа устройств составляют основную часть любой сети InfiniBand — они служат разным целям, но работают над достижением эффективной и надежной связи в широком спектре высокопроизводительных вычислительных приложений.

Кабели и разъемы Infiniband

Чтобы создать сеть InfiniBand, вам потребуются кабели и разъемы. Эти два компонента подключают коммутаторы, адаптеры и другие устройства сети. Обычно эти кабели бывают двух типов: медные и оптоволоконные. Медные кабели используются на более коротких расстояниях, поскольку они дешевле и проще в установке, чем оптоволоконные; SDR (одиночная скорость передачи данных), DDR (двойная скорость передачи данных) и QDR (четверенная скорость передачи данных) — это некоторые из поддерживаемых скоростей, с которыми могут работать медные кабели. Для больших расстояний или более высоких требований к производительности предпочтительнее использовать оптоволоконный кабель, поскольку он обеспечивает большую полосу пропускания с меньшими потерями сигнала.

Разъемы InfiniBand имеют ряд стандартизированных форматов, таких как КСФП (Quad Small Form-factor Pluggable), который может поддерживать скорость передачи данных QDR, FDR, а также EDR благодаря своей конструкции с высокой плотностью; этот разъем достаточно универсален, поэтому его можно использовать как с медными, так и с оптоволоконными кабелями, что делает планирование сети гибким и масштабируемым.

В заключение отметим, что кабели Infiniband вместе с их разъемами служат важнейшими элементами в создании мощной и адаптируемой высокопроизводительной сетевой инфраструктуры, где для эффективной связи внутри сети могут потребоваться различные комбинации скорости и расстояния.

Конфигурация портов и узлов

В сети InfiniBand настройка портов и узлов — это процесс настройки и управления сетевыми портами, а также узлами с целью оптимизации производительности и надежности. Порт в данном случае относится к интерфейсу, через который устройство подключается к сети; коммутаторы или адаптеры могут иметь множество портов для поддержки нескольких соединений. И наоборот, узлы — это отдельные устройства или системы, подключенные к сети, например, серверы и устройства хранения данных.

Настройка портов включает в себя присвоение им адресов, а также обеспечение правильного их распределения, чтобы нагрузка на сети была сбалансирована. Коммутаторы InfiniBand используют усовершенствованные алгоритмы сопоставления портов и оптимизации путей передачи данных. Это обеспечивает динамическое распределение, которое максимизирует пропускную способность во всех точках и минимизирует задержки в любом заданном разделе системы.

С другой стороны, при настройке узла необходимо указать некоторые сетевые параметры, такие как GUID узла (глобальные уникальные идентификаторы), а также политики для менеджеров подсети. Менеджер подсети обнаруживает все узлы в описании топологии структуры, а затем настраивает каждый из них вместе с его соединениями. Помимо других задач, таких как мониторинг производительности и управление сбоями, он выполняет разрешение путей, что обеспечивает эффективную работу сетей за счет быстрого устранения потенциальных проблем, где бы они ни возникли.

Конфигурация портов и узлов должна выполняться эффективно, если вообще необходимо обеспечить высокоскоростную связь с низкой задержкой в ​​сетях InfiniBand. Поэтому администраторам следует тщательно планировать эти компоненты и управлять ими, чтобы обеспечить бесперебойную передачу данных, гарантируя тем самым надежную работу таких сред, используемых для высокопроизводительных вычислительных целей.

Часто задаваемые вопросы (FAQ)

Вопрос: Что такое Infiniband и чем он отличается от других сетевых технологий?

О: InfiniBand представляет собой высокоскоростную сетевую технологию с малой задержкой, которая в основном используется в высокопроизводительных вычислительных средах. Он имеет скорость передачи данных, которая намного выше, чем у традиционных сетей Ethernet, а также более низкие задержки, что делает его полезным для соединения серверов, устройств хранения данных и графических процессоров. Суперкомпьютеры также используют эту технологию, поскольку она эффективно обрабатывает большие объемы данных.

Вопрос: Кто управляет спецификацией Infiniband?

Ответ: Торговая ассоциация InfiniBand (IBTA) поддерживает и развивает спецификацию InfiniBand. IBTA гарантирует, что продукты различных поставщиков могут работать вместе, создавая широкий спектр решений.

Вопрос: Каковы основные преимущества использования Infiniband для передачи данных?

Ответ: По сравнению с Gigabit Ethernet или Fibre Channel, которые считаются традиционными сетевыми технологиями, меньшая задержка, повышенная пропускная способность и лучшая масштабируемость являются одними из многих преимуществ использования Infiniband для передачи данных. Это делает его подходящим для сценариев, где требуется быстрое и надежное перемещение информации, например, в центрах обработки данных или кластерах HPC.

Вопрос: Можно ли использовать Infiniband в сочетании с сетями Ethernet?

A: Да; с помощью подходящих шлюзов или адаптеров, которые обеспечивают интеграцию между ними, организации по-прежнему могут пользоваться более высокими скоростями, предлагаемыми Infiniband, сохраняя при этом совместимость с существующими инфраструктурами Ethernet.

Вопрос: Какие скорости передачи данных поддерживает Infiniband?

Ответ: Благодаря NDR (следующая скорость передачи данных) на скорости 400 Гбит/с (Гигабит в секунду) InfiniBand может обрабатывать даже очень ресурсоемкие приложения, такие как рабочие нагрузки искусственного интеллекта или научное моделирование, которые требуют чрезвычайно высокой пропускной способности.

Вопрос: Каким образом Infiniband обеспечивает качество обслуживания (QoS) для критически важных приложений?

О: Трафику можно приоритезировать, а полосу пропускания можно распределять с помощью Infiniband, чтобы поддерживать QoS. Это гарантирует, что важные программы получат достаточно сетевых ресурсов для максимальной работы. Виртуальные линии и уровни обслуживания входят в число функций, которые помогают обеспечить последовательную и надежную передачу данных.

Вопрос: Каковы некоторые компоненты сетевой архитектуры InfiniBand?

Ответ: Некоторые компоненты, входящие в архитектуру сети InfiniBand, включают адаптеры хост-канала (HCA), адаптеры целевого канала (TCA), коммутаторы InfiniBand и сетевые адаптеры, которые вместе образуют коммутируемую структуру, используемую для соединения серверов и устройств хранения данных, тем самым обеспечивая высокоскоростную связь. между ними.

Вопрос: Как Infiniband обеспечивает более низкую задержку по сравнению с другими сетевыми технологиями?

A: В отличие от традиционных сетей Ethernet, эта технология достигает меньшей задержки за счет использования оптимизированного стека протоколов, а также эффективной конструкции оборудования. Для этого она использует HCA, которые разгружают задачи обработки с ЦП, тем самым сокращая время, необходимое для перемещения данных по сети; следовательно, это приводит к гораздо меньшим задержкам.

Вопрос: Какие компании предоставляют продукты и решения Infiniband?

A: Основными поставщиками этих типов товаров являются NVIDIA (ранее Mellanox), Intel, а также другие фирмы, специализирующиеся на высокопроизводительных вычислениях и технологиях центров обработки данных. Они предлагают кластеры с различной скоростью через различные модели, такие как адаптеры или коммутаторы, среди других компонентов, необходимых для построения высокоскоростных кластеров/соединений.

Вопрос: Хорошо ли Infiniband работает с подключением графических процессоров в высокопроизводительных вычислениях?

О: Да, он делает это эффективно, поскольку его низкие задержки в сочетании с высокой скоростью передачи данных обеспечивают оптимальное соединение между этими двумя устройствами, что делает связь эффективной при выполнении вычислительных задач, таких как глубокое обучение или научное моделирование, требующих такой функциональности.