ToR vs EoR: сравнение подключенных решений

ТЗ

TOR (Top of Rack) относится к развертыванию одного или двух коммутаторов в каждой серверной стойке, при этом серверы напрямую подключены к коммутаторам в стойке, что обеспечивает взаимосвязь серверов и коммутаторов внутри стойки. Фактическая суть TOR заключается в развертывании коммутаторов внутри серверной стойки либо в верхней части стойки, либо в середине стойки, либо в нижней части стойки, как показано на рисунке. Это показано на рисунке. Вообще говоря, развертывание коммутаторов в верхней части стойки наиболее выгодно, поэтому эта архитектура используется чаще всего.

Коммутаторы, развернутые в режиме TOR на серверных шкафах, мы называем их TOR-коммутаторами. Коммутаторы TOR обычно представляют собой коробчатые коммутаторы высотой от 1U до 2U, такие как коммутаторы HW серий CE5800 и CE6800.

Самым большим преимуществом архитектуры TOR является то, что она упрощает соединение между серверами и коммутаторами. Порты GE/10GE/25GE на серверах в шкафу можно напрямую подключить к коммутатору TOR через короткие перемычки, а затем подключить к коммутатору агрегации через оптоволокно 10GE, 40GE или 100GE, как показано на рисунке ниже. Это соединение значительно сокращает расстояние между кабелями, упрощает управление кабелями, снижает сложность сетевой структуры и соответствует тенденции создания экологически чистых и энергосберегающих центров обработки данных. Также удобно заменять кабели, когда требуется расширение услуг.

Для архитектуры TOR каждый шкаф можно рассматривать как отдельный административный объект. Когда необходимо обновить серверы или коммутаторы, вы можете модернизировать их по одному шкафу за другим. При обновлении не затрагивается переадресация трафика других кабинетов и влияние на сервисы сводится к минимуму.

Волокно обычно выбирается для восходящей линии связи коммутатора TOR из-за его преимуществ перед медью для защиты долгосрочных инвестиций. Оптические волокна могут иметь более высокую пропускную способность. Когда необходимо заменить канал с более высокой скоростью, оптические волокна являются более гибкими.

Поэтому при выборе коммутаторов TOR обычно необходимо учитывать как количество и скорость нисходящих портов, подключенных к серверам, так и гибкость восходящих портов. В целом:

◼ Если порт сервера является портом GE, вы можете выбрать коммутатор серии CE5855EI. Коммутаторы серии CE5855EI делятся на две модели: CE5855-48T4S2Q-EI и CE5855-24T4S2Q-EI, которые обеспечивают 48 и 24 электрических интерфейса 10/100/1000BASE-T Ethernet на нисходящем канале соответственно. интерфейсы; восходящий канал обеспечивает два оптических интерфейса 40GE QSFP+ Ethernet и четыре оптических интерфейса 10GE SFP+ Ethernet, при этом каждый интерфейс 40GE также поддерживает разделение на четыре интерфейса 10GE.

◼ Если серверный порт является портом 10GE, вы можете выбрать коммутаторы серии CE6856HI. Коммутаторы серии CE6856HI делятся на две модели: CE6856-48S6Q-HI и CE6856-48T6Q-HI, которые обеспечивают 48 оптических интерфейсов 10GE SFP+ Ethernet на нисходящем канале и 10GBASE-T. обеспечивают 6856 оптических интерфейсов 48GE SFP+ Ethernet и электрические интерфейсы 6GBASE-T Ethernet на нисходящем канале и 6856 оптических интерфейсов 48GE QSFP+ Ethernet на восходящем канале.

◼ Если вы хотите, чтобы коммутатор TOR обеспечивал большой объем кэш-памяти, рекомендуется выбрать коммутатор серии CE6870EI. По типу и количеству нисходящих портов коммутаторы серии CE6870 делятся на три модели: CE6870-48S6CQ-EI, CE6870-24S6CQ-EI и CE6870-48T6CQ-EI. Если взять в качестве примера коммутатор CE6870-48S6CQ-EI, показанный на рис. 3, он поддерживает шесть портов 40GE/100ГЭ КСФП28 Оптические интерфейсы Ethernet на восходящем канале, а также поддерживают разделение на четыре интерфейса 10GE или четыре интерфейса 25GE. Коммутаторы серии CE6870 предлагают большой кэш объемом 4 ГБ, который может легко справиться с всплесками трафика, вызванными видео, поиском и другими приложениями в центре обработки данных.

Аппаратное обеспечение CE6870-48S6CQ-EI

Конечно, у архитектуры TOR есть и свои недостатки. Одним из наиболее очевидных является то, что архитектура TOR расширяет домен управления всей серверной комнаты центра обработки данных. Развертывание коммутаторов на каждом шкафу означает, что в комнате есть больше коммутаторов, каждый из которых необходимо настраивать, управлять и обслуживать. Если предположить, что у вас есть 10 рядов шкафов в серверной комнате, по 10 шкафов в каждом ряду и два коммутатора TOR, развернутых на каждом шкафу, вам потребуется управлять и обслуживать 200 коммутаторов TOR. Хотя конфигурация этих 200 коммутаторов в основном одинакова, она все же требует больших трудозатрат и увеличивает вероятность неправильного размещения оборудования.

Коммутаторы серии CE также обеспечивают решение вышеуказанных проблем. Например, вы можете использовать функцию ZTP (Zero Touch Provisioning) для пакетной автоматической настройки только что отгруженных или пустых устройств конфигурации. Коммутаторы серии CE также поддерживают богатые технологии виртуализации устройств (например, стекирование), которые могут эффективно упростить плоскость управления устройствами, тем самым снижая трудозатраты и повышая эффективность развертывания.

Еще одним недостатком архитектуры TOR является потеря портов. В настоящее время большинство коммутаторов TOR могут обеспечивать 48 GE/10GE/25GE нисходящие порты. Например, если вы развернете два коммутатора TOR на шкаф, у вас будет 96 нисходящих портов, поэтому вам потребуется большое количество серверов в шкафу, чтобы в полной мере использовать все эти порты.

Вы можете в некоторой степени сократить количество портов, используя перекрестное соединение между соседними шкафами. Как показано на рисунке ниже, на каждом из двух шкафов развернут 48-портовый коммутатор TOR, при этом 24 порта на каждом коммутаторе обеспечивают доступ к серверам в этом шкафу, а еще 24 порта обеспечивают доступ к серверам в соседних шкафах. Как видите, это решение достигается за счет дополнительных кабелей между двумя шкафами, так что это тоже не идеальное решение. Но это экономически эффективная альтернатива пустой трате портов, вызванной развертыванием двух коммутаторов TOR на шкаф.

МУН/МОР

В отличие от TOR, архитектура EOR (End of Row) обеспечивает единую точку доступа к сети в конце каждого шкафа. Как показано на рисунке, коммутатор, развернутый в конце каждого шкафа для серверов для унифицированного доступа к сети, называется коммутатором EOR.

Для обеспечения надежности каждый ряд шкафов обычно оборудуется двумя сетевыми шкафами, расположенными в начале и конце ряда соответственно. В сетевом адаптере сервера используются относительно короткие патч-корды RJ45/DAC/оптоволокно для подключения к патч-панели того же шкафа, а сетевые, оптоволоконные и медные кабели на патч-панели связаны и подключены к сетевому шкафу на дальнем конце каждый ряд через подвесную кабельную магистраль или пол.

В архитектуре EOR коммутаторы доступа размещаются централизованно в одном или двух шкафах, что упрощает управление и обслуживание, а также увеличивает возможности подключения между серверными шкафами и сетевыми шкафами. Чем дальше серверные шкафы от сетевых шкафов, тем больше длина кабелей в серверной, что приводит к высокой нагрузке на техническое обслуживание кабелей и плохой гибкости.

Архитектура середины ряда (MOR) является усовершенствованием EOR. Он также предоставляет единый шкаф сетевого доступа для серверов. Однако MOR требует, чтобы сетевой шкаф располагался посередине всего ряда шкафов, что в определенной степени сокращает расстояние между серверным шкафом и сетевым шкафом и упрощает прокладку и обслуживание кабелей. Однако по сравнению с TOR, как EOR, так и MOR, сложная проводка и сложное управление и обслуживание по-прежнему являются их самыми большими недостатками. Если не указано иное, следующие описания EOR также применимы к MOR.

 

Коммутаторы EOR обычно представляют собой коммутаторы шасси, такие как коммутаторы HW серии CE12800. Если количество серверов в аппаратной невелико, вы также можете выбрать серии CE8800 и CE7800.

По сравнению с блочными коммутаторами коммутаторы на шасси имеют очевидные преимущества в следующих аспектах:

◼ Обеспечить больше и различные порты доступа. Конфигурируя интерфейсные платы с различным количеством и скоростью на коммутаторе шасси, вы можете гибко управлять количеством и скоростью портов доступа. Например, коммутаторы серии CE12800 поддерживают 36×100GE, 36×40GE, 48×10GE и 48 интерфейсных плат GE (на примере максимального количества портов). Порты также поддерживают различные типы разделения, обеспечивая гибкие возможности доступа к различным серверам центра обработки данных.

◼ Высокая надежность. Коммутаторы шасси обеспечивают резервное оборудование, такое как несколько модулей коммутаторов, модулей питания и модулей вентиляторов, для повышения надежности системы.

◼ Защита инвестиций клиентов. Когда центру обработки данных требуется более высокая скорость доступа, чем текущая, вам нужно заменить только интерфейсную плату на более высокую скорость, а не весь блок. С точки зрения всего жизненного цикла стоимость ниже.

Архитектура EOR значительно сокращает административную область центра обработки данных, поскольку она управляется для каждой строки, а не для каждой стойки. Однако это также означает, что если коммутатор EOR выйдет из строя или не удастся обновить, это также повлияет на весь ряд серверов. Вот почему существует более высокий спрос на переключатели EOR.

 

Сравнение TOR и EOR

Упрощенные схемы TOR и EOR показаны на следующих двух рисунках.

Недостатки прокладки МУН: Существует много медных кабелей от серверных шкафов к сетевым шкафам (около 20-40 медных кабелей), и чем дальше медные кабели серверных шкафов от сетевых шкафов, тем больше расстояние проводки в серверной комнате, что приводит к большой рабочей нагрузке по прокладке кабелей и техническому обслуживанию и плохой гибкости.

Недостатки кабельной разводки TOR: Каждый серверный шкаф ограничен по выходной мощности, а количество серверов, которые можно развернуть, ограничено, что приводит к недостаточному использованию портов доступа коммутаторов в шкафу. Совместное использование одного или двух коммутаторов доступа несколькими серверными шкафами может решить проблему недостаточного использования портов коммутатора, но такой подход увеличивает нагрузку на управление кабелями.

Учитывая структуру сети, количество VLAN на каждом коммутаторе доступа в кабелях TOR невелико. Во время планирования сети не позволяйте VLAN охватывать несколько коммутаторов доступа через коммутатор агрегации. Поэтому в сетевой топологии, использующей проводку TOR, каждая VLAN не имеет большого диапазона и не содержит большого количества портов. Однако для кабелей EOR плотность портов коммутаторов доступа высока. При первоначальном проектировании сети может быть VLAN с большим количеством портов.

Режим TOR имеет большое количество переключателей доступа, а режим EOR имеет небольшое количество переключателей доступа. Поэтому режим TOR требует большого объема управления и обслуживания сетевых устройств.

С ростом спроса на услуги пользовательских данных плотность серверов в помещениях центров обработки данных становится все выше и выше, а новые технологические тенденции, такие как виртуализация и облачные вычисления, становятся все более и более популярными, что приводит к значительному увеличению количества сетевых портов, соответствующих серверам. сложность управления, кроме того, все более распространенной становится конвергенция Ethernet (LAN) и волоконно-оптических сетей хранения данных (SAN), что неизбежно требует новой топологии сети, что неизбежно требует соответствия новой топологии сети.

С развитием облачных вычислений эта распределенная архитектура чрезвычайно масштабируема для бизнеса и требует все большего количества серверов.

Например, новый Apache Hadoop 0.23 поддерживает от 6,000 до 10,000 XNUMX серверов в кластере. Огромное количество серверов требует полного использования пространства шкафа центра обработки данных, в то время как огромный объем бизнес-данных также требует более быстрых и прямых высокопроизводительных каналов для доставки данных в ядро ​​​​сети. При такой тенденции очевидно, что ТЗ является более применимым, и под давлением быстрого расширения бизнеса подход ТЗ может лучше обеспечить более быстрое расширение сети.