Раскрывая потенциал Infiniband: глубокий анализ медных кабелей и решений с прямым подключением

В последние десятилетия эффективные технологии передачи и передачи данных стали более зрелыми, и Infiniband выделяется как эффективная среда. Эта эволюция позволяет широко распространять производительность с высокой пропускной способностью и низкой задержкой открытия. Infiniband облегчает соединение процессоров и устройств ввода-вывода в условиях, где жизненно необходимы высокоскоростные передачи данных. В этом блоге рассматривается медный кабель и аспекты прямого подключения к приложениям использования Infiniband. Мы попытаемся найти способы оптимизации этих компонентов для использования в современных «вычислительных инфраструктурах», которые всегда были агрессивными. Тщательно и подробно мы объясняем работу Infiniband по медной витой паре, ее преимущества, а также экономические и промышленные факторы, которые необходимо учитывать, прежде чем приступать к ее внедрению. В целом, эта статья предлагает полное понимание использования и преимуществ кабельной разводки Infiniband, учитывая другие актуальные отраслевые стандарты и передовой опыт, так что в конечном итоге читатель будет достаточно подготовлен для применения этой технологии в своей работе, что приведет к повышению производительности.

Что такое Infiniband и как он работает?

Технология Infiniband выделяется благодаря своей ожидаемой роли в скорость передачи данных ориентирована на низкую задержку и высокую пропускную способность, несмотря на подключение только двух устройств. Обычно используется в компьютерных системах и архитектурах корпоративных решений, которые испытывают высокие рабочие нагрузки. Для достижения этой возможности технология использует сеть маршрутизаторов, соединенных с помощью кабелей и оптоволокна. Она перемещает пакеты данных между многими каналами, эффективно резервируя пропускную способность и сокращая время, затрачиваемое на связь через RDMA, перемещая данные. Это позволяет данным перемещаться между памятью системы, а не проходить через ЦП, что сохраняет производительность системы и снижает ограничения в конфигурациях вычислений, таких как DDR.

Понимание основ технологии Infiniband

Чтобы понять технологию Infiniband в ее полном контексте, уместно упомянуть ее основные элементы и концепции проектирования. Как технология, Infiniband была разработана с многоуровневой архитектурой, которая включает в себя физический, канальный и сетевой уровни и, следовательно, обеспечивает простоту передачи информации по всей инфраструктуре. Физические уровни состоят из экранированных кабелей высокой емкости, как водяных, так и оптоволоконных, которые передают сигнал данных. Канальный уровень управляет потоком и обнаружением/исправлением ошибок. Напротив, сетевой уровень отвечает за доставку пакетов данных в конечные пункты назначения, гарантируя, что управление напрямую подключенными медными твинаксиальными кабелями работает бесперебойно. Среди факторов Infiniband — функция RDMA, которая позволяет передавать данные напрямую из одного места памяти в другое, но на другом узле, без прохождения через ЦП, что означает меньшую задержку. Infiniband — это тип внутренней связи, подходящее средство для центров обработки данных и высокорасширяемых вычислительных кластерных сред, которые требуют быстрого извлечения и передачи данных.

Чем Infiniband отличается от Ethernet?

Infiniband и Ethernet — популярные технологии передачи данных, но они удовлетворяют различным требованиям и стандартам. Infiniband является исключительным из-за своей высокой пропускной способности и низкой задержки, что делает его подходящим для высокопроизводительных вычислений (HPC) и центров обработки данных, которые фокусируются на высокоскоростной обработке данных. Он может работать на скорости 100 Гбит/с и кратной ей. Он имеет функцию RDMA, которая позволяет передавать данные, не нагружая ЦП.

Напротив, Ethernet, поскольку он более доступен и дешев, доминирует в развертывании общих сетей. Хотя скорость Ethernet увеличилась за эти годы, а последние достижения достигли 400 Гбит/с, он отстает от задержки, предлагаемой Infiniband. Текущая разработка Ethernet RDMA через Converged Ethernet (RoCE) преследует эту цель, но Infiniband предпочтительнее в областях, где каждая микросекунда имеет решающее значение. Таким образом, требования к производительности сетевой инфраструктуры и соображения стоимости, по-видимому, определяют выбор между двумя типами сетей.

Изучение роли кабеля Infiniband в высокоскоростной передаче данных

Система Infiniband обеспечивает высокоскоростное соединение между вычислительными узлами сетевой инфраструктуры, что может быть достигнуто с помощью Кабели Infiniband. Кабель Infiniband может поддерживать архитектуру высокой передачи данных, которая известна технологией Infaiband благодаря требуемой пропускной способности и низкой задержке связи. Эти кабели поддерживают пакетные системы Infiniband, распространяя пакетную передачу для узлов и наоборот. Они значительно сокращают накладные расходы, которые в противном случае были бы вызваны стандартными сетевыми подходами благодаря своей функции RDMA (удаленный прямой доступ к памяти). Благодаря этой возможности приложения могут напрямую получать доступ к удаленной памяти, не проходя через ЦП. Это имеет большое значение для повышения эффективности извлечения данных в кластере. В контексте системы HPC, где производительность имеет первостепенное значение, выбор кабелей Infiniband, таких как пассивный медный твинаксиальный кабель прямого подключения 30AWG, оптимизирует все преимущества внедрения технологии в центрах обработки данных и кластерах HPC.

Почему стоит выбрать медный кабель прямого подключения для своей сети?

Преимущества использования медных кабелей прямого подключения

Кабели Direct Attach Copper (DAC) становятся все более популярными из-за их низкой стоимости и производительности в средах центров обработки данных. Во-первых, эти кабели более энергоэффективны и имеют меньшую задержку в миллисекундах, чем оптические альтернативы, что делает их подходящими для стоечного интерфейса, где скорость и энергопотребление имеют решающее значение. Во-вторых, кабели DAC более надежны и служат дольше, поскольку они изготовлены из более прочных материалов, устойчивых к износу из-за частого подключения и отключения, что увеличивает жизненный цикл. В-третьих, развертывание экономически эффективно, поскольку им не нужны дополнительные трансиверы, поэтому установка более проста, особенно при использовании пассивных медных твинаксиальных кабелей прямого подключения. Эти характеристики делают кабели DAC разумным и подходящим решением для плотно упакованных сетей и сред HPC.

Сравнение прямого подключения медного кабеля с активным оптическим кабелем

Когда мы начинаем анализировать кабели Direct Attached Copper (DAC) с активными оптическими кабелями (AOC), выявляется несколько ключевых отличий, которые позволяют человеку выбирать любой из них в зависимости от требований к сети. Учитывая версию 30AWG, подходящую для соединений, которые часто находятся внутри или между стойками в центре обработки данных, кабели DAC обычно обслуживают соединения на короткие расстояния и являются более надежными и разумно недорогими, потребляя при этом меньше энергии. Благодаря своей прочной конструкции, которая выдерживает усилие от частого подключения и отключения, результирующая задержка значительно ниже, а подключение очень надежно.

С другой стороны, в то время как кабели DAC обеспечивают хорошую пропускную способность, кабели AOC имеют преимущество в том, что они могут подключаться на больших расстояниях и, таким образом, обычно требуются вместе с DAC, когда стремятся общаться на больших расстояниях. Из-за этой проблемы или отсутствия проблемных областей можно было бы найти AOC более простым в использовании и менее тяжелым, что выигрывает от активного использования AOC. Это вызывает беспокойство по поводу доступности, поскольку они дороже по сравнению с AOC, учитывая, что для них требуются дополнительные компоненты, такие как приемопередатчики. Каждое решение в рамках двух вариантов имеет ограничения: расстояние, конструкция установки, сложность, энергопотребление и бюджет.

Выбор подходящего медного кабеля прямого подключения для ваших нужд

Выбор кабеля Direct Attach Copper (DAC), подходящего для вашего сервиса, определяется особенностями вашей сети. Во-первых, важно определиться со скоростью передачи данных, требуемой приложением; кабели DAC доступны для покупки со скоростью передачи данных от 1 Гбит/с до 400 Гбит/с. Затем приступайте к оценке расстояния между концами разъема. Поскольку кабели DAC оптимизированы для соединений на короткие расстояния (обычно менее 10 м), их предпочтительно использовать в приложениях внутри стойки. Кроме того, необходимо поддерживать совместимость с уже используемым оборудованием для получения наилучших результатов. Экономически чувствительные области, которые также стремятся к низкому энергопотреблению, найдут кабели DAC лучше оптических кабелей. Наконец, рассмотрите вашу среду и то, как часто подключаются и отключаются шнуры, поскольку кабели DAC могут выдерживать значительный износ. Это означает, что кабели прослужат дольше и будут более надежными в постоянно меняющихся сетевых ситуациях.

Как выбрать правильный медный кабель для неограниченной пропускной способности EDR?

Основные характеристики, на которые следует обратить внимание при выборе медного кабеля

Необходимо изучить несколько ключевых характеристик для сборки медного кабеля, разработанного для соответствия стандартной пропускной способности EDR (Enhanced Data Rate). Во-первых, необходимо рассмотреть рассматриваемую пропускную способность, чтобы убедиться, что она может способствовать безопасной передаче больших объемов данных в дополнение к низкой задержке. Также изучите достижения в материалах и конструкции проводников, которые должны улучшить экранирование от электромагнитных помех или улучшить сетевое подключение. Интеграция с этими протоколами для подключения является важным требованием для будущего улучшения существующих систем. Другие характеристики включают долговечность, надежность и гибкость, поскольку толстые конструкции, способные к хорошей оболочке, выдерживают гибкость в активных рабочих условиях. Пожалуйста, также рассмотрите тепловые характеристики и энергоэффективность, поскольку они будут полезны для надежности и долгосрочной устойчивости сетевого решения.

Понимание возможностей скорости передачи данных и пропускной способности

При оценке бесконечной полосы пропускания EDR основными характеристиками скорости передачи данных и полосы пропускания являются частота сигнала, модуляция и пропускная способность канала. Более высокие частоты имеют более значительный потенциал передачи данных, тогда как EDR QSFP28 имеет более высокую скорость передачи данных. Амплитудная и частотная модуляции одинаково важны для более эффективной передачи данных на единицу герца полосы пропускания. Словарное слово можно определить как пропускную способность канала, которая, согласно теореме Шеннона-Хартли, включает максимально возможную скорость передачи данных в определенной полосе пропускания при определенном уровне шума. Адекватное использование полосы пропускания должно учитывать эти элементы, если медные кабели должны оптимально работать в требуемой сети, сокращая при этом требуемое время.

Обеспечение совместимости с системами Infiniband EDR

Аппаратные и программные компоненты должны быть направлены на расширение взаимодействия с системами скорости передачи данных InfiniBand. Включение адаптеров Prefined, коммутаторов и кабелей с функциями, поддерживающими функциональность InfiniBand EDR, имеет первостепенное значение. Внедрение конвергентных сетевых адаптеров еще больше расширяет сети по существующей инфраструктуре центров обработки данных. Более того, одобрение спецификаций, установленных профессиональными компаниями, такими как InfiniBand Trade Association, гарантирует согласованность сетевых компонентов. Регулярные обновления драйверов и встроенного ПО также имеют решающее значение для поддержания уровня производительности и безопасности функционирования программного обеспечения. Не пренебрегая требованиями к взаимодействию, вы защищаете себя от существенных помех и обеспечиваете эффективную передачу данных между сетевыми системами.

Чем выделяются кабели NVIDIA Infiniband?

Изучение преимуществ решений NVIDIA Infiniband

Решения NVIDIA имеют множество преимуществ, что делает их жизнеспособными для высокопроизводительных компьютерных сетей. Например, они превосходны в обеспечении высокой пропускной способности. Это повышает производительность приложений, поскольку обеспечивает высокую скорость передачи данных, что означает, что даже приложения для больших данных работают гладко. В то время как традиционные сети или коммуникационные технологии могут вносить задержку, InfiniBand, реализованный на системах MicroTCA с низкой задержкой, имеет преимущества в записи этих данных на протяжении всего цикла анализа. 

Более того, требования к сети растут, особенно для Nvidia InfiniBand, которая продолжает обеспечивать лучшую производительность сети. Это необходимо для увеличения числа центров обработки данных, что обеспечивает бесшовную интеграцию со средами, которые представляют собой более крупные кластеры.

Кроме того, ресурсы, которые попадают под NVIDIA InfiniBand, имеют расширенные возможности сетевого управления, которые помогают эффективно выполнять задачи. Такие функции включают интеллектуальную маршрутизацию, контроль перенапряжения и другие расширенные механизмы обнаружения и исправления ошибок. Такие функции были необходимы изначально, особенно учитывая цель решений InfiniBand, которые обеспечивают большую эффективность и стабильность на сервере, помогая серверу справляться с трудными задачами без снижения производительности.

Сравнение предложений Mellanox и NVIDIA Infiniband

Первое, что следует помнить, говоря о сетевых технологиях NVIDIA и Mellanox, это то, что они купили Mellanox Technologies в 2020 году, то есть теперь они являются частью одной организационной экосистемы. Такого унисона раньше не было, поэтому исторический отчет отличается. Они также известны своими инновациями, которые зажгли отрасль. Их продукты имели решающее значение для создания массивных инфраструктур серверов и хранилищ без перегрузки.

InfiniBand от NVIDIA продолжает совершенствоваться благодаря богатому наследию Mellanox. Эти решения также были интегрированы в более надежные инфраструктуры Nvidia, например, те, которые помогают требованиям рабочей нагрузки и оптимизации ИИ. Сочетание базовой технологии Mellanox и разработок NVIDIA помогает Mellanox и другим предоставлять услуги бесперебойной передачи данных, гарантируя максимальную доступность передачи данных по нескольким сетям. NVIDIA сегодня продает решения InfiniBand, поскольку компания накопила богатый опыт в области сетевых технологий за десятилетия.

Как эффективно устанавливать и обслуживать медные кабели?

Лучшие практики по установке медных кабельных сборок

Чтобы свести к минимуму помехи и ограничения будущего обслуживания, подробно проанализируйте ход и оконечности, чтобы обеспечить находчивую установку медных кабельных сборок. Используйте материалы высокого качества, как указано в соответствующих стандартах, чтобы гарантировать долговечность и удовлетворительную производительность. Установите радиус изгиба в соответствии с инструкциями, чтобы не перегибать кабели во время установки, что приведет к искажению сигнала в установленной установке. Предотвращайте чрезмерную деформацию и повреждение с течением времени, надлежащим образом закрепив их с помощью оборудования, например, для соединений QSFP высокой плотности. Идентифицируйте каждый кабель с помощью этикетки и сохраняйте его целостность для будущего обслуживания и устранения неполадок. Разъемы, использующие технологию EDR или FDR, всегда следует проверять во время плановых проверок, чтобы убедиться, что установка соответствует требованиям производительности. Отличная производительность работы и срок службы кабельной инфраструктуры гарантируются, если все выполняется правильно.

Советы по техническому обслуживанию для продления срока службы медных и твинаксиальных кабелей

Чтобы максимально продлить срок службы медных и твинаксиальных кабелей «Новые улучшенные кабели», необходимо правильное обслуживание, включая постоянную очистку. Поддержание чистоты проводов также подразумевает регулярный осмотр их на предмет повреждений, которые могут привести к снижению их производительности. Всегда внимательно следите за условиями окружающей среды, обеспечивая оптимальный уровень температуры и влажности, чтобы не происходило термического расширения и сжатия, что повышает целостность зарядов. Также убедитесь, что нет смысла сгибать кабели за пределы радиуса и что кабельные стяжки не затянуты слишком сильно, чтобы избежать кабельных стяжек. Вспомогательная проводка должна быть размещена так, чтобы электромагнитные помехи не влияли на провода, тем самым усиливая сигнал. При соблюдении этих принципов регулярное обслуживание кабелей гарантирует максимальную надежность и эффективность.

Решение распространенных проблем при прямом подключении медных кабелей

Сети с прямым подключением медных кабелей (DAC) также страдают от обрывов соединения, перекрестных помех или неправильного обращения с кабелями. Залипание разъемов полностью и подключаемыми устройствами имеет важное значение для предотвращения отключений. Если сильные магнитные поля окружают физическую структуру, необходимы надлежащие меры заземления для устранения помех сигналу. Экранированные кабели DAC также обеспечат требуемый CADM с минимальным ухудшением производительности, особенно при использовании конфигураций 4x. Необходима эффективная прокладка кабелей; плохая прокладка и сильные изгибы кабелей приводят к механическим усилиям, прикладываемым к проводам, что, вероятно, сократит срок службы кабелей. Это должно быть сделано с учетом бюджета и с течением времени, чтобы усовершенствования или развертывание технологий можно было выполнять только на тех участках или устройствах, которые требуют их замены.

Справочные источники

InfiniBand

Медь

Оптоволокно

Часто задаваемые вопросы (FAQ)

В: Каковы преимущества использования кабелей QSFP28 100G EDR Infiniband?

A: Кабели QSFP28 100G Infiniband разработаны для поддержки скоростей до 100G, что позволяет им поддерживать высокую пропускную способность, низкую задержку и общую хорошую производительность в центрах обработки данных, которым требуются такие технологии. Они подходят для высокопроизводительных вычислений и сетей хранения данных. Такие конфигурации сегодня доступны в DAC (Direct Attach Copper) и AOC Active Optical Cable, которые позволяют использовать опции twinax для тех расстояний, которые недостаточны для активных кабелей. 

В: Сравните кабели DAC и AOC с точки зрения ограничения расстояния для соединений InfiniBand. 

A: Подключение кабелей DAC (Direct Attach Copper Offers) обходится дешево и может увеличить расстояние соединения, которое подходит для 5-7 метров с использованием пассивных медных твинаксиальных кабелей. Активный оптический кабель AOC позволяет увеличить расстояние между проводами с помощью оптоволокна, позволяя подключаться на расстоянии до 100 и более метров без потери производительности кабеля. Несмотря на доступную цену, кабели AOC лучше обеспечивают соединение, увеличивая расстояние и веся меньше в зависимости от зон; единственным недостатком является то, что кабели AOC дороже медных проводов.

В: Какие длины кабелей QSFP28–QSFP28 Infiniband имеются в наличии?

A: Кабели Infiniband имеют различные типы длины кабелей для различных требований центров обработки данных. Стандартная длина кабелей DAC варьируется от 1 м до 7 м, т. е. между 1 м, 2 м, 3 м, 5 м и 7 м. Аналоги AOC производятся длиной до 10 м, 15 м и 20 м и упаковываются до более чем 30 м. Суть получения правильной длины продукта заключается в повышении эффективной производительности за счет сокращения потерь сигнала.

В: Какие параметры следует учитывать при выборе продуктов Infiniband? 

A: Все факторы, такие как необходимая скорость передачи данных (EDR, HDR, NDR), расстояние между устройствами, типы разъемов (QSFP28, QSFP56), и установленный финансовый план должен учитываться при принятии решений для эффективной работы сети Infiniband. Кабели Twinax DAC доступны по цене, когда устройства находятся рядом. Кабели AOC рекомендуются для длинных участков или в случае, когда возможно расширение. Кроме того, убедитесь, что ваши сетевые устройства будут в порядке, и убедитесь, что у вас есть необходимые кабели для коммутации или трансиверы.

В: Какие преимущества имеют пассивные медные твинаксиальные кабели при использовании в сетях Infiniband?

A: Пассивные медные кабели Twinax, или DAC, имеют несколько преимуществ в сетях Infiniband. Это недорогие, пассивно напрямую подключенные медные твинаксиальные кабели, которые обеспечивают им низкое энергопотребление и эффективны только при работе на коротких расстояниях. Такие провода имеют низкий уровень задержки и больше подходят для межсоединений и приложений top-of-rack link (TOR). Их также легко развернуть, так как им не нужны отдельные трансиверы, что делает их все более популярными во многих сценариях центров обработки данных, в основном, когда используются напрямую подключенные медные твинаксиальные кабели. 

В: Существуют ли платформы, отличные от Infiniband, на которых будут работать кабели 100G EDR QSFP28?

A: Кабели QSFP28 Infiniband EDR часто совместимы с другими сетевыми стандартами 100G, такими как 100GBASE-CR4 для Ethernet. Однако важно проверить совместимость оборудования. Специально разработанные кабели для более широкого использования только для поддержки Ethernet и Infiniband могут поддерживать это, в то время как другие кабели могут поддерживать только один протокол. Всегда проверяйте спецификации и обращайтесь к производителю или поставщику за подробностями о совместимости.

В: Какие стандарты Infiniband были недавно внедрены и как они соотносятся с EDR?

A: Infiniband SDR (Single Data Rate), DDR (Double Data Rate), QDR (Quad Data Rate) и EDRA являются самыми современными охватывающими стандартами. HDR поддерживает до 200 Гбит/с на порт с использованием разъемов QSFP56, в то время как NDR увеличивает ее до 400 Гбит/с. Эти стандарты имеют высокую пропускную способность и работают лучше, чем EDR, который составляет 100 Гбит/с. Тем не менее, EDR по-прежнему довольно распространен и подходит для большинства существующих систем. Рассмотрите расширение вашей сети и экономическую выгоду от внедрения новых методов при ее обновлении.