Революция сетевой инфраструктуры: полное руководство по коммутации на уровне стойки

Столь же важным, если не более важным, чем быстрая эволюция современных центров обработки данных, вызванная чрезмерным ростом использования данных и потребностью в большей эффективности, масштабируемости и скорости, является сетевая коммутация. Архитектура сети, задержка и эксплуатационная производительность могут быть оптимизированы с помощью инновационного метода коммутации Top-of-Rack (ToR). В этой части будут рассмотрены основы коммутации ToR, а также ее преимущества по сравнению с традиционными сетевыми проектами, а также даны советы по их применению на практике. Эта статья предназначена для стратегов центров обработки данных, ИТ-экспертов и сетевых архитекторов, которые хотят понять, как подготовить инфраструктуру подключения к будущему.

Что такое коммутатор Tor и как он работает?

Понимание коммутатора Tor 

Коммутатор Top-of-Rack (ToR) — это коммутатор, расположенный в верхней части серверной стойки в центре обработки данных. Его основная задача — связать все серверы в стойке с остальной частью центра обработки данных. Конструкции ToR повышают эффективность производительности и снижают сложность кабельной разводки за счет сокращения расстояния между сервером и сетевым коммутатором. Такое расположение поддерживает централизованную связь на уровне стойки, что упрощает обслуживание и обеспечивает гибкость сети, что упрощает ее реализацию в современных центрах обработки данных.

Ключевые компоненты коммутатора Tor

1. Порты: Коммутаторы ToR имеют несколько высокоскоростных портов, таких как порты Ethernet и порты восходящей связи. Порты восходящей связи помогают подключать коммутатор к базовой сети, а другие порты служат для подключения серверов. Эти порты обеспечивают требуемую скорость передачи данных для эффективной связи с сервером.
2. Блоки питания (БП): Резервные блоки питания значительно повышают надежность и снижают вероятность простоя критически важной среды из-за перебоев в подаче электроэнергии. 
3. Коммутационная ткань: Внутренняя конфигурация, позволяющая перемещать пакеты данных между подключенными периферийными устройствами, что осуществляется с гарантией малой задержки при максимальной передаче данных.
4. Система охлаждения: Перегрев предотвращается за счет использования встроенных вентиляторов или усовершенствованных систем охлаждения, что обеспечивает достижение оптимальной производительности.
5. Утверждение пользовательского интерфейса: Простой интерфейс, позволяющий администратору эффективно настраивать, контролировать и устранять неполадки коммутатора.

Все эти компоненты работают вместе, гарантируя эффективную работу коммутатора ToR в загруженном центре обработки данных.

Коммутатор Tor в сетях центров обработки данных

Коммутатор Top-of-Rack (ToR) в сетях центров обработки данных выступает в качестве важного звена между серверами и сетью. Он располагается в верхней части серверной стойки, где трафик от устройств в стойке агрегируется и передается либо на основные, либо на агрегационные коммутаторы в сети. Такая конфигурация уменьшает количество требуемых кабелей, улучшает использование полосы пропускания и сокращает временную задержку. Коммутаторы ToR особенно предпочтительны в современных проектах центров обработки данных из-за их простоты расширения и поддержки высокоскоростной передачи данных, что имеет решающее значение для увеличения рабочих нагрузок.

Преимущества коммутации Top-of-Rack

Повышенная эффективность сети

Производительность сети повышается с помощью коммутации Top-of-Rack (ToR) за счет сокращения расстояния, на которое данные передаются в центре обработки данных, что снижает задержку. Коммутаторы ToR помогают повысить эффективность полосы пропускания, поскольку они подключаются к серверам, расположенным в стойке, тем самым снижая риски возникновения узких мест. Такая конструкция поддерживает высокоскоростные соединения, а также современные рабочие нагрузки, которые представляют собой проблему.

Повышение избыточности и масштабируемости

Коммутация Top-of-Rack (ToR) полезна для достижения масштабируемости и избыточности в сетях центров обработки данных. Такая конструкция способствует легкому добавлению стоек, что позволяет масштабировать ресурсы при расширении бизнес-требований, и все это без нарушения базовой сетевой инфраструктуры. Каждая стойка оснащена выделенными коммутаторами, что позволяет каждой функционировать как отдельному блоку, обеспечивая тем самым локализованную защиту от сбоев.

Управление трафиком упрощается за счет развертывания протоколов высокой доступности, таких как многопутевая маршрутизация (например, Equal Cost Multi Path (ECMP)), которая обеспечивает избыточность при коммутации ToR и распределяет трафик по нескольким потенциальным путям для устранения отдельных точек отказа. Исследование, проведенное в отношении современной архитектуры центров обработки данных, показывает, что эксплуатационное время безотказной работы значительно улучшается при использовании ToR в центрах обработки данных, а стратегии избыточности часто достигают надежности 99.99%. Более того, отказоустойчивость улучшается за счет виртуализации сетевого уровня и автоматизации резервного копирования с использованием виртуальных расширяемых локальных сетей (VXLAN) и программно-определяемых сетей (SDN), что обеспечивает бесперебойное обслуживание в случае отказа оборудования или соединения.

Коммутация ToR позволяет предприятиям эффективно реагировать на растущий спрос на облачные сервисы, устройства IoT и рабочие нагрузки на базе ИИ, разумно распределяя трафик по всем серверам. Такое сочетание масштабируемости и избыточности делает коммутацию ToR незаменимым элементом в проектировании центров обработки данных следующего поколения.

Минимизация задержек сетевой инфраструктуры

Процесс минимизации задержки в сетевой инфраструктуре фокусируется на повышении скорости и эффективности передачи данных. Важные методы включают использование периферийных вычислений для выполнения аналитики ближе к месту происхождения данных, использование коммутаторов с малой задержкой и оптоволоконных кабелей в качестве инфраструктуры проводки, а также минимизацию количества переходов на заданном пути. Кроме того, расширенное управление трафиком, например, приоритезация QoS (качество обслуживания), гарантирует, что важные данные будут отправлены с минимальными или нулевыми препятствиями. Для устойчивых улучшений критически важны постоянный мониторинг и исправление производительности сети. Эти попытки минимизируют задержки в сети и приведут к тому, что сеть станет намного надежнее и быстрее.

Развертывание коммутатора Tor в вашей сетевой инфраструктуре

Пошаговые инструкции по развертыванию

1. Оценить потребности сети. Проанализируйте масштаб вашей сети, типы использования и прогнозы роста, чтобы определить, будет ли развертывание коммутатора Tor соответствовать вашим требованиям.
2. Выберите правильную модель коммутатора Tor. Выберите коммутатор Tor, который удовлетворяет требованиям вашей инфраструктуры с точки зрения плотности портов, пропускной способности и других аппаратных устройств.
3. Подготовка к физической установке. Выберите наилучшее положение в вашем центре обработки данных или сетевой инфраструктуре с точки зрения охлаждения, а также доступа для обслуживания.
4. Подключение к другим сетевым уровням. Подключите коммутатор к уровням ядра и агрегации, соблюдая правильную разводку и геометрические соотношения с проектом вашей сети для надлежащего подключения.
5. Настройте коммутатор. Выполните начальные шаги по настройке, включая, помимо прочего, выделение IP-адресов, назначение VLAN и активацию протоколов, которые соответствуют потребностям вашей системы.
6. Проверка функциональности и эффективности. Выполните необходимые проверки, чтобы убедиться в правильной работе коммутатора и в том, что трафик данных надлежащим образом пересылается в нормальном и пиковом режимах работы.
7. Регулировка и обслуживание. Время от времени проверяйте производительность коммутатора и своевременно выполняйте обслуживание прошивки, чтобы продолжать обеспечивать надежность и безопасность вашей сетевой инфраструктуры.

Распространенные трудности и их решения 

В моем случае одной из наиболее частых трудностей являются проблемы с конфигурацией на этапе настройки, такие как назначения VLAN или конфликты IP-адресов. Чтобы исправить это, я считаю обязательным проверять конфигурации в соответствии с документацией перед их развертыванием. Другие проблемы включают в себя использование устаревшей прошивки, которая создает пробелы в безопасности системы, а также создает проблемы несовместимости. Я слежу за тем, чтобы регулярно выполнялись обновления, а также плановое обслуживание, чтобы смягчить некоторые из этих рисков. Наконец, оптимизация сети для обработки большого трафика без ухудшения производительности становится сложной. В таких случаях необходима настройка производительности сети и QoS, чтобы предотвратить возникновение узких мест в сети.

Лучшие практики конфигурации 

Для повышения надежности и эффективности конфигураций примите во внимание следующие рекомендации: 

1. Документация и планирование: Обязательно опишите подходы ко всему и составьте всю необходимую документацию до начала любых настроек; это обеспечивает согласованность и исключает ошибки во время внедрения. 
2. Обновления: Убедитесь, что все прошивки и программное обеспечение обновлены до самых стабильных версий, чтобы устранить уязвимости безопасности и улучшить совместимость. 
3. Тестирование в контролируемой среде: Такие изменения необходимо сначала вносить в тестовую среду, чтобы заранее выявить и устранить любые риски. 
4. Мониторинг и оптимизация: Используйте инструменты мониторинга для отслеживания показателей производительности, чтобы гарантировать, что такие аномалии будут исправлены как можно быстрее. Конфигурации, такие как балансировка нагрузки или регулирование пропускной способности, также могут быть выполнены для оптимизации производительности системы.

Выполнение описанных здесь шагов поможет защитить целостность системы, а также обеспечит постоянное достижение оптимальной функциональности.

Как коммутация на уровне стойки может повысить эффективность сети

Улучшение передачи данных и сетевой взаимосвязанности

Эффективность сети повышается в результате увеличения скорости передачи данных вместе с уменьшением задержки, что достигается за счет коммутации Top-of-Rack (ToR). ToR размещает коммутаторы в серверных стойках, тем самым сокращая расстояние, которое должны пройти данные, а также ускоряя связь между устройствами. Этот подход также улучшает управление кабелями, уменьшая вероятность возникновения узких мест и гарантируя бесперебойность подключения. Кроме того, конфигурации ToR масштабируемы, что позволяет сетям включать повышенные объемы трафика без серьезных изменений в инфраструктуре. Благодаря всем этим положительным моментам коммутация ToR оказывается очень полезной для улучшения и оптимизации производительности сети.

Какую роль играет виртуализация

Эффективность сети повышается за счет виртуализации, поскольку несколько функций виртуальной сети могут быть объединены на одном физическом сервере, что приводит к снижению потребления ресурсов и оборудования. Этот метод повышает производительность существующей структуры, сокращает время развертывания за счет минимизации простоев и упрощает обслуживание сети. Более того, виртуализация обеспечивает гибкость за счет динамического распределения ресурсов для удовлетворения различных объемов трафика, что повышает общую отзывчивость сети и обеспечивает большую масштабируемость.

Администрирование нескольких коммутаторов и сетей 

Использование нескольких коммутаторов в сетевой инфраструктуре обеспечивает эффективное управление системным трафиком и общую надежность системы. Каждый коммутатор действует как высокоскоростной концентратор в сети, обеспечивая эффективную маршрутизацию данных между устройствами, устраняя узкие места. Современные подходы к управлению сетями используют технологии программно-определяемых сетей (SDN) для гибкого управления несколькими коммутаторами, что позволяет автоматизировать связь, а также поток трафика в сети. 

Несколько отчетов показывают, что использование нескольких коммутаторов повышает отказоустойчивость сети за счет избыточности системы. Например, в случае отказа одного коммутатора сеть может перенаправить трафик через другие коммутаторы, что значительно сокращает время простоя. Кроме того, несколько коммутаторов обеспечивают сегментацию сети, что приводит к повышению безопасности за счет ограничения потоков конфиденциальных данных определенными сегментами, что снижает уязвимость в случае нарушения. 

Данные отраслевого анализа показывают, что сети с расширенным управлением коммутаторами могут достигать времени безотказной работы, близкого к 99.999%, что важно для критически важных приложений. Использование протокола Spanning Tree Protocol (STP) также помогает, поскольку обеспечивает устранение циклов передачи данных, что, в свою очередь, повышает производительность. Управление несколькими коммутаторами, наряду с поддержкой способности системы управления контролировать расширенные параметры, способствует лучшему опыту и, следовательно, имеет первостепенное значение для крупномасштабных операций.

Анализ экосистемы коммутации решений Top-of-Rack

Ключевые игроки и их инновации 

В настоящее время основными конкурентами в экосистеме коммутации top-of-rack (ToR) являются Cisco, Arista Networks и Juniper Networks. Эти компании хорошо известны надежными и эффективными решениями для предприятий и центров обработки данных. Например, многие пользователи серии Nexus от Cisco ценят ее масштабируемость, а также расширенные функции, такие как виртуализация и автоматизация. Arista Networks гордится своей технологией коммутации, которая делает упор на программно-определяемые сети и надежную интеграцию с облаком. У Juniper Networks есть серия QFX, которая создана для обеспечения исключительной производительности и интеграции в нескольких сетевых системах. Эти технологии сокращают задержку и увеличивают пропускную способность, одновременно обеспечивая более простое управление, что идеально подходит для повседневной эксплуатации современных центров обработки данных. 

Изменения и разработки на пути к будущему технологий Top-of-Rack

Будущее технологий top-of-rack (ToR) несомненно будет обусловлено сочетанием сетевой автоматизации, управляемых ИИ-сервисов и внедрения сетей Ethernet 400G. С ростом сложности современных центров обработки данных автоматизация становится необходимой для снижения эксплуатационных издержек, а также для обеспечения адекватной единообразной конфигурации в крупных сетях. Сетевые решения на основе намерений (IBN) становятся ключевыми технологиями поддержки, которые дают администраторам возможность указывать, какой они хотят видеть сеть с точки зрения состояния, а автоматизированные системы обеспечат реализацию необходимых изменений в реальном времени.

Технологии ИИ и машинного обучения (ML) преобразуют коммутацию ToR посредством прогнозирования, обнаружения аномалий и интеллектуальной маршрутизации. Например, усовершенствованная диагностика ИИ минимизирует энергопотребление и максимизирует производительность, прогнозируя сбои оборудования или узкие места в сети. Это особенно важно, поскольку потребность в соединениях с низкой задержкой и высокой скоростью возрастает с ростом кластеров обучения ИИ и приложений высокочастотной торговли.

Развитие архитектуры ToR также было обусловлено широким внедрением нового 400G Ethernet. Облачные вычисления и IoT увеличивают рабочие нагрузки, связанные с данными, которые требуют более производительных решений с полосой пропускания. Аналитики прогнозируют, что в ближайшие пять лет мы увидим значительный рост внедрения портов 400G, что свидетельствует о переходе отрасли на более продвинутые сетевые стандарты. Кроме того, разработка высокоскоростных оптических трансиверов и усовершенствованных кабельных технологий делает доступные высокопроизводительные сети более распространенными.

Устойчивость также является движущим фактором для разработки новой архитектуры ToR. Производители используют энергоэффективные устройства и материалы, поэтому неудивительно, что они соблюдают экологическую политику. Это согласуется с целями других отраслей по достижению более низкого углеродного следа при удовлетворении потребностей инфраструктуры следующего поколения.

Подводя итог, можно сказать, что автоматизация, искусственный интеллект, высокоскоростное Ethernet-подключение и экологически чистые технологии в совокупности приведут к созданию современных коммутаторов ToR, которые будут интеллектуальными, гибкими и масштабируемыми, готовыми к требованиям будущих центров обработки данных. 

Максимизация ценности от блога FS и FS.com Europe

И FS Blog, и FS.com Europe предоставляют клиентам актуальную информацию о новых продуктах и ​​тенденциях в области сетевых и дата-центров решений. FS Blog содержит профессионально написанные статьи, хорошо сформулированные экспертные мнения и подробные руководства, предназначенные для профессионалов и предприятий, что упрощает выбор. FS Europe предоставляет региональное покрытие сетевых продуктов, а также быструю доставку и поддержку. Эти платформы позволяют пользователям получать важную информацию и инновационные решения, а также профессиональную помощь, направленную на современные сетевые инфраструктуры.

Часто задаваемые вопросы (FAQ) 

В: Что такое коммутация Top-of-Rack (ToR) и как она влияет на сетевую инфраструктуру?

A: Коммутация Top-of-Rack (ToR) — это форма сетевой компоновки, в которой коммутаторы центра обработки данных располагаются над каждой серверной стойкой. Коммутаторы ToR устраняют узкое место производительности, вызванное тем, что один коммутатор обслуживает множество стоек в центре обработки данных, обеспечивая повышенную масштабируемость, лучшую производительность сети и более простое управление соединениями внутри стойки. Эта более высокая эффективность фундаментально меняет структуру сетевой инфраструктуры, упрощая кабельную разводку и обеспечивая лучший воздушный поток, а также предоставляя возможность модернизации сетевой инфраструктуры без обширной перемонтажа и инвестиций.

В: Каковы основные преимущества использования переключения ToR в корпоративных средах?

A: В корпоративных средах применение коммутации ToR обеспечивает дополнительные преимущества помимо повышения доступности сети за счет меньшего количества кабелей и точек отказа. Эффективные восходящие соединения с базовой сетью и высокоскоростные соединения в стойке, предоставляемые коммутаторами ToR, повышают надежность сети. Кроме того, некоторые современные коммутаторы ToR являются более интеллектуальными устройствами, которые интегрируют программно-определяемую сеть (SDN) и, следовательно, ими легче управлять и программировать для реагирования на изменяющиеся потребности сети.

В: Как коммутация ToR интегрируется с контроллерами SDN?

A: Интеграция ToR-коммутации с контроллерами SDN работает гладко, что обеспечивает еще большую гибкость и автоматизацию задач управления сетью. Контроллер SDN способен управлять несколькими ToR-коммутаторами одновременно, что он может использовать для автоматизированной настройки, проектирования трафика и развертывания политик в управляемом домене. Этот метод улучшает отзывчивость сети, а изменения в распределении ресурсов в соответствии с потребностями приложения более эффективны.

В: Можно ли реализовать коммутацию ToR в промышленных сетях? 

A: Да, ToR-коммутация может быть принята в промышленных сетях. Преимущества включают фрагментацию сетей для отдельных бизнес-процессов, меньшие задержки для важных задач и более простое управление устройствами IIoT. Фактически, ToR-коммутаторы часто развертываются в промышленных приложениях, где они встроены в портативные терминалы, разработанные для жестких условий и поддерживаемые программным обеспечением автоматизации промышленных контроллеров.

В: Каким образом переключение ToR способствует повышению эффективности НИОКР в области сетевой инфраструктуры? 

A: Коммутация ToR способствует продвижению эффективных НИОКР в сетевой инфраструктуре, ускоряя развертывание новых сетей с помощью гибкой и масштабируемой архитектуры. Их очень легко развертывать и использовать при тестировании новых протоколов, концепций программно-определяемых сетей или даже новых высокоскоростных сетевых технологий вместе с коммутаторами ToR. Скорость разработки и принятия сетевых решений повышается благодаря этой гибкости.

В: Какое влияние отказ коммутатора ToR оказывает на сеть центра обработки данных?

A: В случае отказа коммутатора ToR будут затронуты только серверы, связанные с этим конкретным коммутатором, что ограничивает ущерб всей сети. Чтобы смягчить эту проблему, многие центры обработки данных используют стратегии резервирования, используя несколько коммутаторов ToR на стойку или реализуя сеть с другими возможными маршрутами. Это способствует отказоустойчивости сети, гарантируя, что всегда будет непрерывный поток операций даже при отказе одного коммутатора. 

В: Какую роль играют коммутаторы ToR в поддержке высокоскоростных соединений, например, Gigabit Ethernet?

A: Сама конструкция коммутаторов ToR позволяет поддерживать высокоскоростные соединения, включая, но не ограничиваясь, Gigabit Ethernet, 10, 40 или даже 100 Gigabit Ethernet. Эти коммутаторы обычно имеют высокоскоростные восходящие соединения с базовой сетью и обеспечивают внутристойочные соединения с низкой задержкой и высокой пропускной способностью. Эти функции гарантируют, что требования, которые сопутствуют современным приложениям и услугам центров обработки данных, всегда будут выполнены коммутацией ToR.

В: Где я могу узнать о коммутации Top-of-Rack и быть в курсе новостей по этой теме? 

A: Чтобы узнать о коммутации Top-of-Rack и быть в курсе последних событий в этой области, вы можете следить за специалистами, такими как Орхан Эргун, читать избранные статьи на сетевых сайтах и ​​следить за журналами, которые специализируются на инфраструктуре центров обработки данных. Кроме того, посещение сетевых конференций и вебинаров может значительно улучшить ваше понимание текущих тенденций в коммутации ToR и сетевой инфраструктуре.

Справочные источники

1. Проектирование и анализ производительности электрооптического ToR (EO-ToR) для сети центра обработки данных с малой задержкой

• Авторы: Сувик Рой и др.
• Дата публикации: 15 июня 2023
• Конференция: 2023 5-я Международная конференция по энергетике, электроэнергетике и окружающей среде
• Ключевые результаты:
  • В документе предлагается электрооптический ToR (EO-ToR), который сегментирует информацию, пригодную как для пакетной, так и для коммутации каналов.
  • Меры оценки задержки и времени пребывания отражают заметный прогресс по сравнению с традиционными структурами ToR.
• Методология:
  • Авторы сосредоточились на моделировании EO-ToR с помощью MATLAB, одновременно изучая показатели задержки и времени пребывания в качестве показателей производительности по сравнению с традиционными коммутаторами ToR.

2. OpticNet: самонастраивающиеся сети для архитектур оптической коммутации ToR-Matching-ToR

• Авторы: Кайо Калдейра и др.
• Дата публикации: 17 мая 2023
• Конференция: IEEE ИНФОКОМ 2023
• Ключевые результаты:
  • Возможность автоматизированных самооптимизирующихся сетевых алгоритмов представлена ​​как сдвиг в парадигме посредством OpticNet, которая использует минимум реконфигурируемых коммутаторов для реализации топологии.
  • Это доказывает, что архитектура достигает целевых показателей производительности, оставаясь при этом адаптивной и эффективной.
• Методология:
  • Авторы создали модель соответствия коммутаторов ToR с использованием реконфигурируемого OCS и проверили структуру с помощью экспериментальных результатов реальных рабочих нагрузок.

3. Torp: Полное покрытие и низконакладные расходы на профилирование задержки на стороне хоста

• Авторы: Сян Чэнь и др.
• Дата публикации: 2 мая 2022
• Конференция: IEEE ИНФОКОМ 2022
• Ключевые результаты:
  • В статье описывается Torp — фреймворк, который обеспечивает полное покрытие и минимальную задержку за счет переноса профилирования задержек операций на стороне хоста на стыки коммутаторов Tor.
  • Он значительно улучшает профилирование задержек в сетях центров обработки данных (DCN).
• Методология:
  • Авторы внедрили Torp в коммутаторы Tofino и провели эксперименты, чтобы продемонстрировать его эффективность в профилировании задержки на стороне хоста по сравнению с доступными решениями.

4. Высокопроизводительный гибридный ToR для центров обработки данных

• Авторы: Хэ Лю
• Дата публикации: 2015 (не в течение последних 5 лет, но актуально)
• Ключевые результаты:
  • В данной статье предлагается новая конструкция архитектуры ToR, называемая REACToR, которая включает элементы пакетной и канальной коммутации для повышения производительности сетей центров обработки данных.
  • В нем предлагается алгоритм планирования, который стремится максимально эффективно использовать ресурсы за счет минимизации реконфигурации цепей.
• Методология:
  • Оценка проводится посредством моделирования и практической реализации, демонстрируя эффективность управления трафиком центра обработки данных с использованием гибридной конструкции ToR.

5. Компьютерная сеть

6. Дата центр