Поскольку достижения в области высокопроизводительных вычислений (HPC) и приложений, ориентированных на данные, быстро развиваются, потребность в надежных и эффективных межсетевых решениях, таких как Infiniband и Gigabit Ethernet, имеет решающее значение. Технология Infiniband стала одним из лучших вариантов для организаций, которые хотят улучшить производительность сети за счет обеспечения высокой пропускной способности и низкой задержки связи. В этой статье представлено пошаговое руководство по настройке моста Infiniband для максимизации производительности многоузловой сети. Конечная цель — дать читателям понять фундаментальные принципы работы с современными инструментами, такими как мосты Infiniband. Это поможет им достичь непревзойденных результатов. скорость передачи данных одновременно улучшая использование ресурсов и создавая тем самым более мощные масштабируемые сетевые инфраструктуры.
Что такое мост Infiniband?
Понимание технологии Infiniband
Infiniband — это коммуникационная технология, используемая в высокопроизводительных вычислениях (HPC) и на предприятиях. центров обработки данных, Оно использует включается Архитектура коммутационной сети, позволяющая использовать несколько путей передачи данных, что увеличивает пропускную способность и одновременно снижает задержку. Infiniband поддерживает различные скорости передачи данных от 2.5 Гбит/с до 200 Гбит/с и выше, что делает его подходящим для приложений, требовательных к производительности. Протокол имеет расширенные функции, такие как качество обслуживания (QoS), надежный обмен сообщениями и удаленный прямой доступ к памяти (RDMA). RDMA позволяет передавать память двух компьютеров напрямую, не задействуя ЦП, что сокращает накладные расходы. Таким образом, Infiniband лучше всего подходит для сред, которым требуется высокая пропускная способность с низкой задержкой и эффективным использованием ресурсов.
Сравнение Infiniband и Ethernet
Infiniband и Ethernet — две разные сетевые технологии, имеющие свои сильные стороны. Infiniband создан для высокопроизводительных вычислений, отличается меньшей задержкой и более высокой пропускной способностью — от 40 до 200 Гбит/с. Он использует такие функции, как RDMA, которые обеспечивают эффективную передачу данных, что делает его идеальным для приложений с большим объемом данных. С другой стороны, Ethernet более гибок и широко используется в общих сетях со скоростями от 10 Мбит/с до 400 Гбит/с. Несмотря на то, что в области Ethernet были разработаны такие разработки, как Ethernet с низкой задержкой (LLE), Infiniband по-прежнему превосходит других, когда производительность и пропускная способность имеют наибольшее значение, в то время как Ethernet остается подходящим для стандартных ситуаций. Они могут работать вместе, когда для управления трафиком в домашней сети часто используется Ethernet, но Infiniband обслуживает приложения с высокой пропускной способностью в одной и той же среде.
Ключевые компоненты моста Infiniband
- Физический уровень: его роль заключается в передаче необработанных данных по физическим соединениям. Он устанавливает электрические и оптические характеристики кабелей и разъемов.
- Канальный уровень: обеспечивает надежную связь путем обнаружения и исправления ошибок, которые необходимы в любой работе подсети Infiniband. Этот уровень также отвечает за функции управления ссылками, такие как инициализация ссылок и управление переходами их состояний.
- Сетевой уровень. Основная цель этого уровня — маршрутизация пакетов между устройствами в сети Infiniband. Здесь также обрабатываются разрешение адресов и некоторые функции управления сетью.
- Транспортный уровень: для обеспечения точной передачи сообщений он включает в себя управление потоком, в том числе предлагая как услуги с установлением соединения, так и услуги без установления соединения, что гарантирует надежную передачу данных.
- Интерфейс управления: используется для мониторинга операций моста, а также позволяет их настраивать. Администраторы могут использовать его в дополнение к диагностике или поддержке показателей производительности.
Как настроить мост Infiniband?
Настройка коммутатора Infiniband
Ниже приведены простые шаги по настройке коммутатора Infiniband.
- Подключение к интерфейсу управления: используйте выделенный порт управления для доступа к графическому интерфейсу или интерфейсу командной строки коммутатора.
- Назначить IP-адрес: настройте соответствующий IP-адрес для интерфейса управления, убедившись, что он находится в подсети сети.
- Настройте параметры порта: установите нужные параметры для каждого порта, включая скорость, тип канала и размер MTU.
- Включить службы: активируйте необходимые службы, такие как протоколы маршрутизации, VLAN или QoS, необходимые для настройки сети.
- Проверка подключения. Проверьте свою конфигурацию, проверив подключение устройства и отслеживая ошибки с помощью инструментов диагностики.
Настройка сетевого интерфейса в Linux
Ниже приведены простые шаги по настройке коммутатора Infiniband.
- Подключение к интерфейсу управления: используйте выделенный порт управления для доступа к графическому интерфейсу или интерфейсу командной строки коммутатора.
- Назначить IP-адрес: настройте соответствующий IP-адрес для интерфейса управления, убедившись, что он находится в подсети сети.
- Настройте параметры порта: установите нужные параметры для каждого порта, включая скорость, тип канала и размер MTU.
- Включить службы: активируйте необходимые службы, такие как протоколы маршрутизации, VLAN или QoS, необходимые для настройки сети.
- Проверка подключения. Проверьте свою конфигурацию, проверив подключение устройства и отслеживая ошибки с помощью инструментов диагностики.
Интеграция с сетью Ethernet
Чтобы добавить устройство в сеть Ethernet, выполните следующие действия:
- Подключение к Ethernet: используйте подходящий кабель для физического подключения устройства к сети Ethernet. Убедитесь, что кабель соответствует стандартам скорости (например, Cat5e для 1 Гбит/с).
- Конфигурация сети: сопоставьте настройки вашего устройства с настройками сети, назначив статический IP-адрес или включив DHCP. Вы можете сделать это, используя графический интерфейс или интерфейс командной строки.
- Проверка подключения. Используйте команды ping и другие инструменты, чтобы проверить правильность подключения устройств, а также следить за светодиодными индикаторами состояния соединения на устройствах.
- Настройка VLAN: настройте параметры VLAN на вашем устройстве, если оно должно быть частью одной из них.
- Мониторинг производительности сети. Проверьте производительность соединения с помощью инструментов мониторинга, таких как системы обнаружения задержек и потери пакетов, которые помогут вам обнаружить любые проблемы с ней.
Каковы преимущества использования Ethernet через Infiniband?
Расширенные возможности пересылки пакетов
Ethernet расширяет возможности пересылки пакетов за счет поддержки стандартных протоколов, таких как протокол разрешения адресов (ARP), протокол управляющих сообщений Интернета (ICMP) и технологию Gigabit Ethernet. Эти протоколы делают возможной эффективную маршрутизацию и доставку пакетов данных по сети. Кроме того, Ethernet может работать с несколькими технологиями второго уровня, такими как протокол связующего дерева (STP) и протокол быстрого связующего дерева (RSTP), создавая топологии без петель, которые повышают надежность и производительность сети. По мере развития скоростей Ethernet — особенно технологий Ethernet 10G, 40G и 100G — его способность обрабатывать большие объемы трафика при одновременном снижении задержек стала даже более эффективной, чем Infiniband, для определенных сетевых сценариев.
Улучшенная производительность IP через Infiniband
IP через Infiniband может выиграть от гораздо более высокой производительности за счет использования характеристик Infiniband с высокой пропускной способностью и малой задержкой. Удаленный прямой доступ к памяти (RDMA) — это одна из расширенных функций, поддерживаемых Infiniband, которая обеспечивает прямой доступ к памяти между двумя компьютерами без участия процессора, тем самым снижая задержку и одновременно увеличивая использование полосы пропускания. Более того, способность Infiniband поддерживать несколько параллельных соединений повышает эффективность и надежность передачи данных в условиях высокопроизводительных вычислений. Таким образом, приложения, которым требуется быстрая передача данных с минимальными задержками, могут быть оптимизированы с помощью этих функций, что делает их хорошим вариантом для определенных типов сетей, где очень большие объемы данных передаются быстро за короткие периоды времени.
Уменьшение задержки в сети и увеличение пропускной способности
Задержка в сети существенно влияет на производительность передачи данных и эффективность приложений. Приоритизируя важность различных пакетов данных, механизмы качества обслуживания (QoS) могут помочь уменьшить эту задержку. Во времена высокого спроса на услуги QoS обеспечивает удобство работы пользователей, позволяя отправлять важную информацию в первую очередь.
Пропускную способность также можно увеличить с помощью методов оптимизации полосы пропускания, таких как сжатие данных и формирование трафика. Сжатие данных приводит к уменьшению размера файлов, что приводит к увеличению скорости отправки. Предотвращение перегрузок путем контроля потока информации обеспечивает постоянную пропускную способность в сетях.
Усовершенствованные протоколы маршрутизации в сочетании с более мощными сетевыми устройствами могут привести к еще большему повышению общей производительности. Следует использовать MPLS (многопротокольную коммутацию по меткам), которая упрощает принятие сложных решений по маршрутизации на каждом прыжке, поскольку она увеличивает скорость во время пересылки пакетов, тем самым улучшая как задержку, так и пропускную способность в любой конкретной системе.
Распространенные проблемы и устранение неполадок мостов Infiniband
Решение проблем с MTU
В сети Infiniband первым шагом к устранению проблем с MTU является определение наилучшего размера MTU для вашей конкретной среды. Тестирование различных MTU поможет вам определить, какой из них имеет наименьшую задержку и самую высокую пропускную способность. Обычно сети Infiniband работают с MTU 65520, но это может варьироваться в зависимости от используемого оборудования или топологии сети.
- Тестирование Ping: команда ping с опцией «Не фрагментировать» проверяет настройки MTU. Постепенно уменьшайте размер полезных данных, пока не достигнете максимума, который можно отправить без фрагментации. Это дает ориентир для идеального размера MTU.
- Конфигурация сети: все устройства на пути, включая маршрутизаторы, коммутаторы и серверы, должны иметь одинаковые настроенные значения относительно их соответствующих mtus; в противном случае произойдет потеря пакетов, что в целом приведет к снижению производительности.
- Мониторинг и диагностика: используйте инструменты мониторинга для отслеживания моделей трафика в вашей сетевой инфраструктуре, чтобы выявить любые аномалии, которые могут указывать на наличие проблем, связанных конкретно с mtu в указанных системах, таких как Wireshark, где анализ захвата пакетов становится важным во время процессов устранения неполадок, связанных с ними.
Эффективное управление конфигурацией этих параметров помогает сократить потери и одновременно повысить производительность всех узлов, подключенных через используемые здесь межсоединения InfiniBand.
Устранение неполадок конфигурации IP
В сети Infiniband описанные ниже шаги могут помочь систематически решать проблемы с конфигурацией IP.
- Пожалуйста, подтвердите свой IP-адрес: проверьте уникальные и перекрывающиеся адреса среди устройств в вашей сети. Для Windows используйте ipconfig, а пользователям Linux следует использовать ifconfig или ip a для проверки текущих настроек IP.
- Проверьте маски подсети. Несовпадающие маски подсети могут затруднить связь между устройствами в одном сегменте сети, что приведет к проблемам с подключением. Убедитесь, что все устройства настроены с использованием правильных масок подсети в подсети Infiniband.
- Конфигурация шлюза: убедитесь, что для каждого устройства правильно настроен шлюз по умолчанию. Адрес этого шлюза должен соответствовать активному маршрутизатору, расположенному в том же участке более широкой сети, что позволяет ему взаимодействовать с внешними сетями.
- Настройки DNS: если требуется разрешение имен, убедитесь, что здесь применены точные настройки DNS, поскольку несовпадающие/неправильные записи могут привести к неспособности устройств разрешить имена хостов, что приведет к проблемам с доступом.
- Используйте инструменты диагностики. Используйте инструменты диагностики, такие как ping, который проверяет соединение между двумя компьютерами, а также Traceroute (или Tracert для Windows), который помогает выявить проблемы с маршрутизацией. Инструменты сетевого сканирования также можно использовать там, где необходимо обнаружение не отвечающих устройств.
Тщательное изучение этих элементов конфигурации позволит вам обнаружить и устранить большинство проблем, связанных с IP, в сети InfiniBand, тем самым способствуя улучшению связи и производительности.
Решение проблем потери пакетов и пересылки пакетов
Чтобы эффективно решить проблемы потери пакетов и пересылки в сети Infiniband, следуйте следующим рекомендациям:
- Определите источник потери пакетов. Используйте инструменты управления сетями, чтобы наблюдать за тем, как данные перемещаются по системе, и выяснять, где теряются пакеты. Причиной этой проблемы могут быть ссылки, которые несут слишком большой трафик, сломанные устройства или неправильно настроенные конфигурации.
- Оптимизация конфигурации сети: проверьте, правильно ли применены настройки качества обслуживания (QoS), чтобы отдать приоритет важной информации. Также убедитесь, что буферы на коммутаторах и маршрутизаторах достаточно велики, чтобы выдерживать максимальные нагрузки, что уменьшит потерю пакетов.
- Обновление встроенного ПО и драйверов. Регулярно обновляйте программное обеспечение, установленное на сетевых коммутаторах, а также драйверы, используемые сетевыми интерфейсными картами (NIC). Эти обновления включают в себя улучшенные функции производительности, направленные, среди прочего, на устранение основных причин потери пакетов.
- Оцените топологию сети. Посмотрите на структуру сети и найдите места, где может быть перегрузка из-за неэффективных путей, возможно соединенных через Ethernet. Добавление избыточности и различных вариантов маршрутизации должно уменьшить последствия, вызванные сбоями каналов и областями интенсивного использования внутри системы.
- Проведите тестирование производительности: между устройствами используйте инструменты, подобные iperf, для тестирования пропускной способности. Целью здесь является проверка того, может ли ваша сеть выдержать требуемую нагрузку, а также определение областей, которые могут выйти из строя под нагрузкой.
Систематически решая каждый фактор, вы повысите надежность и эффективность пересылки пакетов через Infiniband, что приведет к уменьшению общих потерь во всей инфраструктуре, что в конечном итоге повысит уровень производительности во всех странах.
Как мосты Infiniband могут повысить производительность виртуальных машин?
Оптимизация передачи данных для виртуальных машин
Существуют различные способы оптимизации передачи данных с целью повышения производительности виртуальных машин (ВМ). Во-первых, вы можете использовать мост Ethernet, который повысит эффективность вашей домашней сети. Мосты Infiniband значительно увеличивают пропускную способность данных и уменьшают задержку благодаря высокоскоростным возможностям сетей Infiniband с низкой задержкой. Это важно для связи между виртуальными машинами и хостами, которые задействованы в приложениях с интенсивным использованием данных.
Другой способ — использование технологий виртуальных сетей, таких как оверлейные сети или виртуальные локальные сети (VLAN). Эти методы обеспечивают более эффективное управление и сегментацию трафика, что позволяет более эффективно распределять ресурсы и одновременно уменьшать перегрузку сетевой инфраструктуры.
Наконец, внедрение технологий дедупликации и сжатия может помочь еще больше оптимизировать передачу данных между виртуальными машинами, тем самым сводя к минимуму объем передаваемых по сети данных и, таким образом, постоянно оптимизируя использование полосы пропускания. Используя эти методы, организации смогут сделать свои виртуализированные среды намного быстрее, увеличив скорость доступа и, как следствие, повысив общий уровень эффективности системы!
Настройка KVM с помощью Infiniband
Чтобы настроить KVM (виртуальную машину на основе ядра) с Infiniband, вам необходимо выполнить несколько шагов, которые улучшат взаимодействие и производительность. Операционная система хоста должна сначала установить необходимые драйверы Infiniband, чтобы обеспечить связь между экземплярами KVM и оборудованием Infiniband. Обычно это означает установку OpenFabrics Enterprise Distribution (OFED), который содержит необходимые библиотеки и утилиты.
Затем вам следует настроить виртуальные сетевые интерфейсы для ваших виртуальных машин. Обычно это делается путем создания мостового интерфейса, который соединяет виртуальные машины KVM с сетью Infiniband. Чтобы создать мост, используйте такие инструменты, как brctl, и убедитесь, что виртуальные машины настроены с сетевыми интерфейсами, которые используют этот мост для эффективного перемещения данных.
Также подумайте об изменении некоторых параметров KVM, таких как распределение памяти или использование ЦП, чтобы они могли лучше соответствовать высокопроизводительным возможностям InfiniBand. Наконец, хорошей практикой будет включение требуемых оптимизаций, таких как большая отправка-выгрузка (LSO) или масштабирование на стороне приема (RSS), что еще больше увеличит скорость передачи, одновременно снижая уровни задержки.
Если эти шаги будут выполнены, KVM воспользуется преимуществом использования InfiniBand, что приведет к повышению производительности виртуальной машины и снижению эксплуатационных расходов.
Преимущества Proxmox и других виртуальных машин
Когда дело доходит до Proxmox и других сред виртуальных машин, есть много преимуществ интеграции технологии Infiniband. Прежде всего, Infiniband предлагает очень высокую пропускную способность и низкую задержку, что значительно повышает скорость передачи данных между виртуальными машинами, что приводит к повышению производительности приложений, а также отзывчивости. Он также поддерживает удаленный прямой доступ к памяти (RDMA), что позволяет эффективно перемещать данные без задействования ЦП, тем самым освобождая ресурсы для других задач и повышая общую эффективность системы.
Кроме того, использование Infiniband с виртуализацией может помочь улучшить масштабируемость сети. Это особенно важно в высокоплотных виртуальных средах, где потребность в ресурсах возрастает, поскольку больше одновременных подключений может обрабатываться без какого-либо снижения качества обслуживания, предоставляемого инфраструктурой. Пользователи Proxmox могут получить много пользы от простых интерфейсов управления и инструментов, которые используют эти возможности, предлагаемые InfiniBand, для оптимизации хранения в сетевых производительностях их виртуальных машин. В общем, внедрение этой технологии в виртуализацию не только упрощает операции, но и повышает возможности и эффективность виртуальных экосистем больше, чем они были до ее внедрения.
Справочные источники
Часто задаваемые вопросы (FAQ)
Вопрос: Какова цель настройки моста InfiniBand для повышения производительности сети?
О: Основной причиной настройки моста Infiniband является объединение высокоскоростной передачи данных по сети с целью повышения производительности и связности между различными узлами и подсетями внутри сети. Такая схема лучше всего работает в вычислительных кластерах, а также в центрах обработки данных.
Вопрос: Как настроить мост Infiniband с помощью устройств Mellanox?
О: Чтобы настроить мост Infiniband с устройствами Mellanox, вам необходимо установить подходящие драйверы, изменить настройки сети и использовать инструменты управления, предоставляемые Mellanox, для создания моста InfiniBand и управления им. Убедитесь, что каждый узел правильно подключен к фабрике InfiniBand, обеспечив при этом соответствующую конфигурацию вашего коммутатора IB.
Вопрос: Какова роль точечного интерфейса в сети Infiniband?
О: Точечный интерфейс (IP через Infiniband) позволяет традиционным IP-приложениям работать поверх сети InfiniBand. Этот интерфейс также позволяет подключать сети Ethernet через мост между InfiniBand, обеспечивая тем самым связь по более разнообразным типам сетей.
Вопрос: Как использование шлюза Infiniband повышает производительность?
О: Шлюз Infiniband может снять с ЦП обязанности по управлению трафиком, что снижает задержку и тем самым повышает уровень пропускной способности. Кроме того, он обеспечивает бесшовное соединение между сетями Infinband и Ethernet, позволяя эффективно использовать несколько сетевых протоколов.
Вопрос: Могу ли я использовать один порт в качестве IB и один порт в качестве Ethernet на карте Infiniband?
О: Да, действительно; некоторые двухпортовые карты с бесконечным диапазоном поддерживают гибридные конфигурации, в которых один порт можно настроить для бесконечных диапазонов (IB), а другой предназначен только для целей связи Ethernet. Эта функция пригодится, если вы хотите использовать оба типа одновременно, не имея отдельных аппаратных компонентов, предназначенных исключительно для каждого из вариантов.
Вопрос: Какова цель протокола RDMA over Converged Ethernet (RoCE)?
О: Протокол обеспечивает высокоскоростную передачу данных с очень низкими задержками и незначительными нагрузками на ЦП между серверными узлами, подключенными к общей структуре Ethernet, которая поддерживает функции RDMA Infiniband.
Вопрос: Как узнать, совместим ли мой сетевой адаптер с устройствами InfiniBand?
О: Чтобы обеспечить правильную работу вашего сетевого адаптера с устройством Infiniband, оба устройства должны находиться в одной подсети и соответствовать одинаковым стандартам, таким как 4X или pcie. Вы можете проверить спецификации производителя на совместимость и использовать соответствующие драйверы/прошивку, чтобы устранить проблемы с конфигурацией сети.
Вопрос: Что имеется в виду, когда мы говорим о наличии виртуального моста в нашей настройке InfiniBand?
О: Виртуальный мост создает виртуальные сети поверх физической магистрали, состоящей из InfiniBand. Это приводит к лучшему использованию ресурсов внутри сетей и изоляции различных типов потоков трафика между несколькими арендаторами, использующими одну инфраструктуру, что упрощает задачи управления, связанные с этими средами.
В: Какие соображения следует учитывать при построении кластера Infiniband относительно возможностей разгрузки ЦП?
A: Возможности разгрузки имеют решающее значение, поскольку они сокращают время обработки путем переноса рабочих нагрузок с хост-процессоров на сетевые карты. Это приводит к уменьшению времени задержки при одновременном повышении уровней пропускной способности, критически важных для производительности систем HPC.
Вопрос: Зачем кому-то добавлять порты Ethernet 10GBE в существующую инфраструктуру, включающую сеть InfiniBand?
Ответ: Добавление портов 10 GbE Ethernet обеспечивает гибкие соединения между старыми сетями Ethernet и новыми, более быстрыми инфраструктурами InfiniBand, обеспечивая плавное перемещение данных в гибридных средах.