Адаптер Mellanox® InfiniBand: полное руководство по высокопроизводительным сетевым решениям

Адаптер Mellanox® InfiniBand необходим для высокопроизводительных сетевых решений, поскольку он обеспечивает сверхбыструю задержку и высокую пропускную способность, необходимые средам центров обработки данных. ИТ-специалисты и сетевые архитекторы получат пользу от этой статьи, в которой представлен подробный обзор технических характеристик, функциональных преимуществ и сценариев развертывания адаптера InfiniBand. Мы надеемся, что благодаря ускорению скорости передачи данных и повышению вычислительной эффективности при поддержке расширяемых архитектур эта статья даст читателям достаточно знаний об их сетях, чтобы они могли принимать более обоснованные решения по ним. Поэтому, независимо от того, хотите ли вы улучшить текущие системы или внедрить самые современные, это руководство поможет вам разобраться в тонкостях высокоскоростной сети на основе адаптера Mellanox® InfiniBand.

Что такое адаптер Mellanox® InfiniBand?

Понимание технологии адаптера InfiniBand

Высокоскоростной интерфейс связи — адаптер InfiniBand. Он помогает перемещать данные между серверами и системами хранения данных в центре обработки данных. Он имеет включается Топология структуры, которая позволяет подключать несколько устройств, что, в свою очередь, обеспечивает более высокую пропускную способность и меньшую задержку, чем могут предложить традиционные сети Ethernet. InfiniBand поддерживает надежную связь с установлением и без установления соединения, что делает ее применимой для различных целей. Адаптер был разработан для скорости передачи данных от 10 Гбит/с до более чем 200 Гбит/с для удовлетворения потребностей в высокопроизводительных вычислениях (HPC) и значительных потребностей в обработке данных. Кроме того, этот набор функций аппаратной разгрузки повышает вычислительную эффективность, позволяя системе разгружать ЦП при работе с тяжелыми задачами по обработке данных.

Основные характеристики адаптеров Mellanox®

Различные особенности делают адаптеры Mellanox®, доступные как в однопортовом, так и в двухпортовом исполнении, очень динамичными и сложными для понимания:

1. Пропускная способность: они поддерживают скорость от 10 Гбит/с до 200 Гбит/с, что позволяет работать с приложениями, требующими передачи данных.
2. Задержка: структура коммутаторов сводит к минимуму задержки при передаче информации, тем самым значительно сокращая время отклика, особенно при настройке FDR или EDR.
3. Масштабируемость: они позволяют создавать сети, состоящие из тысяч узлов, поэтому хорошо подходят для крупномасштабных проектов. центров обработки данных.
4. Аппаратная разгрузка: сложные механизмы разгрузки, интегрированные в адаптеры Mellanox®, облегчают обработку данных, снижают нагрузку на ЦП и максимально используют системные ресурсы.
5. Универсальность подключения: эти адаптеры обеспечивают гибкость развертывания за счет поддержки протоколов InfiniBand или Ethernet и интеграции существующих сетевых инфраструктур.
6. Улучшенные меры надежности: надежные алгоритмы обнаружения ошибок вместе с методами исправления ошибок гарантируют, что критически важная информация достигнет своего назначения без каких-либо потерь. Это очень важно для критически важных приложений, где данные не должны теряться по пути из-за сбоев оборудования и т. д.
7. Расширенные инструменты управления: программные средства мониторинга и управления производительностью сети, входящие в комплект этих устройств, позволяют проводить профилактические мероприятия по техническому обслуживанию для оптимизации уровней эксплуатационной эффективности в таких системах.

Такие характеристики устанавливают адаптеры Mellanox®, которые необходимы, среди прочего, для достижения высокопроизводительные сетевые решения подходит для текущих и будущих нужд.

Различия между Mellanox® и другими брендами

Несколько функций делают адаптеры Mellanox® уникальными среди других брендов для высокопроизводительных вычислительных приложений. Во-первых, пропускная способность данных составляет до 200 Гбит/с с Mellanox®, что выше, чем у большинства конкурентов, и, следовательно, больше подходит для сред с интенсивным использованием данных. Во-вторых, ни одна альтернатива не может превзойти архитектуру коммутируемой матрицы с низкой задержкой, которая обеспечивает более быстрый поиск и обработку данных. В-третьих, масштабируемость решений Mellanox® позволяет им легко вписываться в крупные реализации центров обработки данных, поддерживающие тысячи узлов, без ущерба для производительности. Кроме того, эти адаптеры отличаются возможностями аппаратной разгрузки, что значительно снижает нагрузку на ЦП и оптимизирует общую эффективность системы. Кроме того, двойная поддержка протоколов InfiniBand и Ethernet обеспечивает большую гибкость развертывания, тогда как многие концентрируются только на одном протоколе. Наконец, расширенные инструменты управления, такие как те, которые используются Mellanox®, в сочетании с функциями надежности обеспечивают лучший мониторинг производительности в установках высокопроизводительных сетей.

Как установить и настроить адаптеры Mellanox® InfiniBand?

Пошаговое руководство по установке

1. Подготовка: Выключите и отсоедините сервер от сети перед установкой. Возьмите отвертку и антистатический браслет.
2. Установка адаптера: Откройте корпус сервера и найдите слоты PCIe. При необходимости извлеките все карты, которые уже установлены, чтобы освободить место для нового однопортового адаптера OSFP. Совместите адаптер Mellanox® InfiniBand со слотом PCIe, убедившись, что выемка на карте плотно прилегает. Мягко нажмите, чтобы карта плотно встала на место.
3. Закрепление адаптера: надежно закрепите этот компонент на шасси с помощью винтов — это гарантирует устойчивость во время работы.
4. Сборка корпуса: Когда серверы перезапускаются и все остальное подключается заново так, чтобы все было правильно подключено друг к другу, проблемы во время загрузки или последующей работы исключаются.
5. Повторное включение серверов: снова подключите блок питания к системному блоку и включите его, затем следите за любыми признаками ошибок в процессе загрузки.
6. Установка драйверов: После запуска сервера вам следует загрузить последнюю версию драйвера для Mellanox® с их авторизованного веб-сайта и выполнить установку, следуя инструкциям для вашей операционной системы, чтобы включить все функции на карте адаптера Ethernet.
7. Конфигурация: При необходимости откройте сетевые настройки и отключите любые конфликтующие интерфейсы. Настройте адаптер Mellanox® в соответствии с требованиями схемы IP-адресации, включая подсети, где это применимо, на основе сетевых потребностей.
8. Тестирование: Проведите тесты, чтобы доказать, функционирует ли это устройство так, как ожидалось, проверив его подключение. Проверьте производительность сети с помощью утилит командной строки, а также проверьте показатели задержки.

Выполнив эти шаги, вы правильно установите и настроите адаптеры Mellanox® InfiniBand, тем самым оптимизировав свою среду для высокопроизводительных вычислений с помощью сети.

Советы по настройке для оптимальной производительности

Чтобы максимально повысить производительность адаптера Mellanox® InfiniBand, следуйте этим рекомендациям по настройке:

1. Активировать Jumbo Frames: Измените размер максимального блока передачи (MTU), чтобы включить jumbo frames. Это позволяет отправлять более крупные пакеты данных, тем самым значительно увеличивая пропускную способность и снижая нагрузку на процессор.
2. Оптимизация пар очередей: настройте достаточное количество пар очередей в зависимости от нагрузки. Это улучшит эффективность управления данными и расширит возможности параллельной обработки.
3. Используйте последнюю прошивку: всегда проверяйте, что вы установили самое последнее обновление прошивки, доступное для вашего адаптера Infiniband. Эти обновления включают исправления ошибок, поддержку функций и улучшения производительности.
4. Настройте параметры сети: рекомендуется настроить общесистемные параметры сети, такие как настройки буфера и размер окна TCP, в соответствии с тем, что лучше всего подходит для вашего приложения. Это может сократить задержку, что приведет к повышению общей пропускной способности.
5. Используйте RDMA: включите удаленный прямой доступ к памяти (RDMA) там, где это применимо, чтобы данные могли перемещаться между хостами без участия ЦП, что ускоряет передачу данных, а следовательно, снижает задержку и обеспечивает большую пропускную способность.

Эти тактики позволят вам оптимизировать производительность адаптера Mellanox® InfiniBand и повысить эффективность вашей высокопроизводительной вычислительной среды.

Устранение распространенных проблем

1. Адаптер не обнаружен: Если адаптер Mellanox® InfiniBand не распознается системой, убедитесь, что он правильно вставлен в слот PCIe и все соединения питания надежны. Также проверьте, установлены ли соответствующие драйверы и их обновления. Для получения дополнительной информации о драйверах посетите страницу поддержки Mellanox.
2. Проблемы с задержкой: настройки двух портов могут вызывать большие задержки из-за неправильных сетевых настроек или недостаточного количества пар очередей. Проверьте значения MTU и включите большие кадры, где это необходимо. Кроме того, потенциальные узкие места в сетевых буферах могут потребовать настройки при мониторинге нагрузки трафика.
3. Снижение производительности: для устранения неполадок, связанных со снижением пропускной способности, убедитесь, что версия прошивки обновлена, и оптимизируйте сетевые параметры хост-системы. Проблемы производительности оборудования можно отличить от проблем конфигурации программного обеспечения с помощью инструментов мониторинга производительности, что позволяет своевременно вносить коррективы.

Эти общие рекомендации по настройке и обновлению, если их выполнять поэтапно, помогут повысить надежность адаптера Mellanox® InfiniBand при интенсивных рабочих нагрузках.

Каковы основные преимущества использования адаптеров Mellanox® InfiniBand?

Высокая пропускная способность и низкая задержка

Адаптеры Mellanox® InfiniBand хорошо известны своей способностью обеспечивать высокую пропускную способность и низкую задержку, что необходимо в средах высокопроизводительных вычислений (HPC) с двухпортовыми конфигурациями. Адаптеры были разработаны для поддержки скорости передачи данных до 200 Гбит/с — показатель, намного превышающий тот, который может быть достигнут традиционными решениями Ethernet. Это означает, что они могут быстро обрабатывать большие объемы данных, используя такие функции, как поддержка выгрузки и удаленного прямого доступа к памяти (RDMA), что сокращает задержки, вызванные тем, что ЦП обрабатывает все передачи, тем самым повышая общую производительность системы. Внутренняя архитектура InfiniBand позволяет системам масштабироваться без ущерба для скорости или надежности, поскольку она легко интегрируется с существующими структурами. Организации должны использовать эти возможности для повышения своей эффективности при работе с интенсивными операциями, что приводит к более быстрым вычислениям в любой момент времени.

Масштабируемость для растущих сетевых потребностей

Адаптеры Mellanox® InfiniBand обладают превосходной масштабируемостью, чтобы соответствовать изменяющимся требованиям более обширных сетей. Конструкция позволяет легко распределять полосу пропускания и добавлять дополнительные карты. Организации могут расширять свои сети, не испытывая длительных простоев или снижения производительности. Такие адаптеры также позволяют создавать обширные, высоко взаимосвязанные системы, что упрощает управление более тяжелыми рабочими нагрузками и трафиком, гарантируя сохранение уровней производительности по мере увеличения требований к ним. Кроме того, они поддерживают многоадресные топологии, которые повышают эффективность маршрутизации данных на больших территориях, тем самым решительно реагируя на текущие и ожидаемые будущие проблемы сети. Предприятия могут использовать новые технологии, не внося слишком много корректировок, если они используют технологию Mellanox® InfiniBand, поскольку это поможет им защитить свою инфраструктуру от устаревания.

Улучшенная совместимость с различными системами

Адаптеры Mellanox® InfiniBand созданы с учетом широкого спектра вычислительных сред и, таким образом, могут работать с различными операционными системами и прикладными фреймворками. Эта универсальность достигается с помощью драйверов и программных библиотек, которые хорошо интегрируются с другими системами, такими как серверы корпоративного уровня, будь то высокопроизводительные вычислительные кластеры. Эти адаптеры также поддерживают открытый MPI среди других популярных программных экосистем, позволяя различным устройствам взаимодействовать в гетерогенных настройках. Кроме того, поддерживаемые ими стандартные отраслевые протоколы позволят организациям подключать аппаратные компоненты с разнородными конфигурациями, не внося слишком много изменений. Такая совместимость ускоряет развертывание, минимизируя риски, связанные с системной интеграцией, тем самым облегчая для предприятий переход на сетевые решения с высокой пропускной способностью. С Mellanox® InfiniBand компании могут повысить операционную эффективность, сохраняя необходимую адаптивность среди меняющихся технологических ландшафтов.

Какие продукты часто просматриваются вместе с адаптерами Mellanox® InfiniBand?

Трансиверы и кабели

Чтобы получить наилучшие результаты в сетевых средах, большую часть времени адаптеры Mellanox® InfiniBand сочетаются с высококачественными трансиверами и кабелями. Трансивер, такой как Mellanox® QSFP, действует как интерфейс между адаптером и коммутатором, гарантируя передачу данных на расстояния, соответствующие требовательному характеру центров обработки данных. Правильный выбор кабеля имеет важное значение для сохранения целостности сигнала и сокращения задержки, особенно в высокоскоростных приложениях; поэтому пассивные медные и активные оптические кабели, среди прочих типов, следует выбирать тщательно. Кроме того, эти элементы производятся в соответствии со строгими отраслевыми стандартами, что делает их совместимыми с другими устройствами в сетевой системе InfiniBand и повышает эффективность. Эти две вещи позволяют организациям закладывать прочные основы, способные выдерживать возросшие сложности рабочих нагрузок в соответствии с текущими тенденциями.

Дополнительные сетевые адаптеры

Обычно, когда организации ищут дополнительные сетевые адаптеры для решений Mellanox® InfiniBand, они рассматривают множество высокоскоростных вариантов, которые улучшают их сети. Например, RDMA (удаленный прямой доступ к памяти) и возможности разгрузки поддерживаются серией Mellanox ConnectX®, которая имеет другие расширенные функции, которые могут оптимизировать передачу данных в средах с высокой пропускной способностью. Более того, портфель Ethernet от Intel включает различные адаптеры, которые могут быть интегрированы в любую необходимую сетевую архитектуру. Другим вариантом является внедрение сетевых решений HP, которые хорошо работают с системами Mellanox®, тем самым создавая консолидированную инфраструктуру, способную удовлетворять различным эксплуатационным требованиям. Эти адаптеры обеспечивают масштабируемость и эффективность в сетевых средах, где необходимо одновременно обрабатывать множество приложений с интенсивным использованием данных.

Другие высокопроизводительные вычислительные компоненты

Интеграция различных частей имеет важное значение для сред высокопроизводительных вычислений (HPC) для получения максимально возможной производительности. Некоторые из наиболее важных строительных блоков включают высокоскоростные системы хранения данных, такие как NVMe (Non-Volatile Memory Express) SSD, которые обеспечивают более быстрое время доступа к данным, чем традиционные носители данных. Кроме того, передовые методы охлаждения, такие как жидкостное или иммерсионное, могут эффективно справляться с тепловыделением, обеспечивая стабильную производительность во время тяжелых вычислительных нагрузок. Кроме того, развертывание современных архитектур процессоров, включающих, среди прочего, GPU (графические процессоры) и TPU (тензорные процессоры), ускорит возможности параллельной обработки, что делает их очень полезными в задачах глубокого обучения или выполнения сложных симуляций. При объединении эти компоненты образуют автоматизированную среду, которая увеличивает пропускную способность и скорость реагирования систем HPC, предназначенных для работы с высокоинтенсивными вычислениями.

Совместимы ли адаптеры Mellanox® InfiniBand с технологиями NVIDIA?

Интеграция с графическими процессорами NVIDIA для повышения производительности вычислений

Графические процессоры NVIDIA могут хорошо работать с адаптерами Mellanox InfiniBand в высокопроизводительных вычислительных средах. Они увеличивают вычислительную мощность, реализуя ускорение передачи данных между графическими процессорами через систему, интегрированную с функциями высокой пропускной способности и низкой задержки технологии Infiniband, полезной для задач, требующих большой вычислительной мощности, таких как машинное обучение или моделирование. Если бы NVLink использовался вместе с Mellanox InfiniBand, пропускная способность была бы увеличена, а узкие места были бы сокращены, так что можно было бы сэкономить много времени при параллельных вычислениях в разных системах. ИИ и наука о данных постоянно развиваются; поэтому крупномасштабные приложения должны работать максимально эффективно. Таким образом, эти объединенные возможности должны обеспечивать оптимальную производительность и масштабируемость в отношении требований к большим данным.

Оптимизация производительности с помощью программного обеспечения NVIDIA

Чтобы получить максимально возможную производительность при использовании технологий NVIDIA, вам необходимо использовать набор программного обеспечения, предлагаемый NVIDIA. Они создали программные фреймворки, такие как NVIDIA CUDA, cuDNN и TensorRT, для оптимизации задач, выполняемых с помощью параллельных вычислений на графических процессорах. С помощью CUDA (Compute Unified Device Architecture) разработчики могут в полной мере использовать графические процессоры NVIDIA для универсальной обработки, что значительно ускоряет рабочие нагрузки, связанные с данными. cuDNN — это библиотека для глубоких нейронных сетей, использующих графические процессоры для ускорения; она оптимизирует обучение и вывод, что делает ее неотъемлемой частью любого приложения машинного обучения. TensorRT улучшает это, предлагая более высокую скорость выполнения в моделях глубокого обучения, где многие слои должны быть объединены или откалиброваны точнее, чем раньше. Используя их правильно вместе с принципами проектирования надежной инфраструктуры, такие организации смогут максимально использовать свои инвестиции в NVIDIA, а также обеспечивать высокий уровень вычислительной эффективности во всех различных приложениях в них.

Справочные источники

InfiniBand

PCI Express

Mellanox Technologies

Часто задаваемые вопросы (FAQ)

В: Что такое адаптер Mellanox® InfiniBand?

A: Адаптер Mellanox® InfiniBand — это технология, которая обеспечивает самую высокую скорость и гибкость сети на рынке. Она позволяет центрам обработки данных, HPC и облачным инфраструктурам повышать пропускную способность сети и эффективность работы приложений.

В: Где я могу найти руководство по моему адаптеру Mellanox® InfiniBand?

A: Руководства для этих адаптеров доступны на официальных сайтах производителей или в их разделах поддержки. Кроме того, вы можете связаться с нами для получения более конкретной документации по моделям.

В: Каковы преимущества использования карты адаптера ConnectX-6 VPI?

A: Адаптерная карта ConnectX-6 VPI устанавливает отраслевые рекорды благодаря наличию двух портов. QSFP56, который поддерживает Ethernet и InfiniBand соединения, будучи совместимым со слотами PCI Express 4.0 x16. Эти особенности делают его идеальным для приложений HPC и центров обработки данных.

В: Может ли адаптер Mellanox® InfiniBand подключаться как к сетям Ethernet, так и к сетям InfiniBand?

A: Да, это так. Это связано с тем, что адаптеры виртуального протокола взаимодействия (VPI) поддерживают различные типы сетей, такие как Ethernet или Fibre Channel over Ethernet (FCoE) и другие, при этом обеспечивая высокие уровни производительности, необходимые для различных приложений, включая те, которые основаны на Infiniband fabrics.

В: Какие основные функции предлагают адаптеры ConnectX-7 VPI?

A: К примечательным особенностям этого адаптера относятся поддержка сетевых возможностей HDR100, NDR и 200GbE, возможность подключения через два порта и высокая пропускная способность, что делает его пригодным для использования в высокопроизводительных вычислительных средах, где требовательным центрам обработки данных требуются надежные решения.

В: Какие преимущества имеют карты адаптеров Mellanox® при подключении к слоту PCIe4.0 x16?

A: Слот PCIe4.0 x16 обеспечивает большую скорость и меньшую задержку, значительно повышая производительность адаптерных карт Mellanox®, позволяя использовать их для интенсивной обработки данных и высокоскоростных сетей.

В: Что можно сделать с подключением к адаптерным картам Mellanox®?

A: Адаптерные карты Mellanox® предлагают интерфейсы подключения, такие как однопортовый QSFP56, двухпортовый QSFP56, оптические и медные соединения, и они могут работать с протоколами Ethernet и InfiniBand.

В: Могу ли я использовать операционную систему Linux с адаптерными картами Mellanox®?

A: Да, дистрибутивы Linux можно запускать на машинах, на которых установлены карты адаптеров Mellanox®. Эти карты имеют хорошие драйверы и поддержку программного обеспечения, что позволяет им работать с максимальной производительностью.

В: Что означают «однопортовый» и «двухпортовый» в названиях адаптерных карт Mellanox®?

A: Термины «однопортовый» или «двухпортовый» описывают, сколько сетевых интерфейсов доступно на карте адаптера. Карты с одним портом имеют только один порт, в то время как двухпортовые карты имеют два порта, что обеспечивает большую избыточность и более высокую пропускную способность.

В: Как узнать, какая конкретная модель адаптерной карты Mellanox® соответствует моим требованиям?

A: Чтобы определить наиболее подходящую карту адаптера Melon для ваших нужд, вы должны учитывать такие факторы, как желаемая пропускная способность, тип сети (Ethernet или InfiniBand), совместимые слоты (например, PCI Express x16) и наличие одного или двух портов. Вы также можете проверить описания продуктов вместе с руководствами, которые содержат подробные спецификации и рекомендации.