Как был протестирован модуль приемопередатчика 400G QSFP-DD?

Модуль приемопередатчика 400G QSFP-DD является основной спецификацией пакета для клиентских интерфейсов 400G. В следующей статье будут представлены ключевые факторы успешного тестирования, устранения неполадок и проверки модулей QSFP-DD для разработчиков оптических сетей, производителей сетевых компонентов и конечных пользователей.

Скорости клиентского интерфейса неуклонно растут, при этом типичные скорости увеличиваются как минимум в десять раз каждое десятилетие. 100GE широко развернуто через интерфейс QSFP28, и мы находимся на ранних стадиях развертывания 400G. IEEE1 разработал стандарт клиентского интерфейса Ethernet 400G как часть 802.3.bs, который был официально стандартизирован в декабре 2017 года. Ранние последователи используют спецификацию пакета CFP-8, но более широкий рынок сосредоточен на QSFP-DD, который обеспечивает определенную степень обратной совместимости с широко распространенным QSFP28.

Поскольку Ethernet имеет широкий спектр приложений и доступен с диапазоном PMD (зависит от физической среды), он позволяет одному слоту «QSFP-DD» поддерживать большое количество приложений, начиная от нескольких метров пассивного медного кабеля DAC до 80 км когерентного ZR. Есть также несколько компаний, которые сосредоточены на спецификациях упаковки OSFP. Хотя он не так обширен и обратно совместим, он предлагает некоторые преимущества с точки зрения целостности электрического сигнала и управления температурой. Большая часть того, что следует о QSFP-DD, относится к OSFP и семейству VIAVI ONT, которое поддерживает множество приложений на основе OSFP.

400G использует модуляцию высокого порядка (PAM-4) как для электрического интерфейса между модулем и хостом, так и для электрического или оптического PMD. Модуляция PAM-4 используется для максимизации пропускной способности данных для заданной полосы пропускания, но она представляет собой серьезные проблемы с точки зрения сложности и производительности, что также означает, что канал требует кодирования с прямой коррекцией ошибок (FEC) для реализации надежной передачи данных.

Почему стоит выбрать КСФП-ДД?

100G Ethernet был развернут в 2008 году с ранними конструкциями, основанными на подключаемых модулях CFP. Второе поколение систем перешло на CFP2 (или CPAK от крупного производителя оборудования), а затем выбрало QSFP28, что привело к повсеместному и экономичному массовому внедрению. CFP4 был более ранней проблемой для QSFP28, но QSFP28 привел к значительному росту 100G из-за многих факторов. Отрасль помнит о важности спецификаций упаковки и хочет свести к минимуму дополнительную сложность и затраты, связанные с многоступенчатой ​​эволюцией спецификаций упаковки 400G. CFP8 позволяет начинающим пользователям разрабатывать и проверять 400G. Однако он не соответствовал требованиям плотности, мощности, стоимости и «совместимости», поэтому промышленность быстро приняла QSFP-DD в качестве цели. И кто-то придумал альтернативу, OSFP, которая обеспечивает отличные технические решения, но не удовлетворяет насущную потребность в интерфейсной поддержке традиционных устаревших приемопередатчиков. В принципе, оптический порт QSFP-DD может поддерживать традиционный оптический модуль QSFP-28 — это позволит производителям коммутаторов поставлять устройства 400G вместе с модулями 100G, а обновление на месте будет заключаться в простой замене модуля.

В существующий QSFP28 были внесены некоторые улучшения, чтобы удовлетворить более высокие требования к пропускной способности, мощности и охлаждению при переходе на 400G. Эти усовершенствования включают удвоение канала высокоскоростного электрического порта (с 4-канального расширения NRZ 25 Гбит/с до 8-канального расширения 56 Гбит/с PAM-4) и расширение «внешней части» модуля для обеспечения большей внутренней объем и улучшенные тепловые характеристики. Кроме того, была проведена дальнейшая работа по усовершенствованию интерфейса управления модулем, что привело к стандарту CMIS 4.05.

Команда 400G КСФП-ДД ДР4 является одним из наиболее распространенных клиентских оптических интерфейсов 400G, развернутых в 2020 году. Он передает 400G в виде четырех сигналов 100G по отдельным одномодовым волокнам. Он имеет широкий спектр применения на предприятиях. Он поддерживает зону покрытия 500 м и может подключаться к отдельному каналу Ethernet 100G, что делает его привлекательным в качестве решения высокой плотности 100G, которое может в четыре раза увеличить плотность портов.

Команда 400 г QSFP-DD FR4 Интерфейс также будет иметь широкий спектр приложений, включая телекоммуникации. Он обеспечивает увеличение бюджета на 2 км по одномодовому оптическому волокну. 400G передается четырьмя сигналами 100G, каждый с немного отличающейся длиной волны.

Модули 400G PMD (зависит от физической среды)

PMD	Reach	Процесс подачи заявки	Технологии
DAC	2 в 3 м	Внутри стойки и сервера	Пассивный медный кабель, 50G PAM-4 электрический
SR8	100 м	Предприятие	Параллельный многомодовый, 50G/λ – PAM-4
DR4	500 м	Центр обработки данных и предприятие	Параллельный одномодовый, 100G/λ – PAM-4
FR4	2 км	Крупномасштабный центр обработки данных	Одномодовый, 100G/λ, PAM-4
LR8	10 км	Охват телекоммуникаций	Одномодовый, 100G/λ, PAM-4
ZR	80 км	Метро и DCI	Одномодовый/когерентный, PAM-4

Стандарты и темы of QSFP-DD

Применимы многие стандарты и MSA. Также важно понимать критические тесты для каждой фазы цикла разработки, от базовой оценки ИС через интеграцию аппаратного обеспечения модуля, программного обеспечения и встроенного ПО до выбора и принятия поставщика. Производство также имеет свой собственный набор критических требований к испытаниям.

Для успешного проектирования, тестирования, проверки, производства и развертывания подключаемых оптических модулей и устройств требуется четкое понимание ключевых документов, таких как IEEE, CMIS, QSFP-DD, MSA и OIF. QSFP-DD — это идеальное сочетание электроники, оптики, механики, управления температурным режимом и встроенного ПО. Все компоненты должны работать вместе, прежде чем модуль можно будет успешно развернуть.

Взаимодействие

Большим преимуществом экосистемы пользовательского интерфейса Ethernet является то, что у нас есть сильный и четкий набор стандартов, основанных на IEEE и других стандартах, которые позволяют экосистемам разных поставщиков взаимодействовать, не прибегая к «инженерным» каналам связи.

И интерфейс модуль-хост, и интерфейс модуль-оптоволокно являются ключом к этой совместимости. Что касается интерфейса хост-модуль, мы сосредоточимся на трех основных областях:

• Высокоскоростные пути передачи данных (AUI), построенные от микросхемы к модулю (C2M), сталкиваются с множеством проблем, включая целостность сигнала и балансировку сигнала. Несмотря на то, что на эту часть канала выделяется часть бюджета FEC, любые проблемы с этим интерфейсом могут привести к серьезным проблемам с каналом. Плохо «настроенные» ссылки (с точки зрения эквалайзеров и каналов) могут привести к трудноразрешимым проблемам, таким как случайные всплески или, в худшем случае, случайное проскальзывание битов.
• Управление модулями — этот интерфейс на основе I²C эволюционировал от базового управления отображением памяти SFF-8636 до 100G QSFP28 до комплексного состояния CMIS 4.0. Эта эволюция чрезвычайно сложна для экосистемы, и хорошее знание документации CMIS 4.0 является ключом к надежному и стабильному управлению модулями.
• Модуль питания – для подключаемых когерентных (КСФП-ДД ЗР) модулей для приложений DCI требования к питанию модулей выросли с нескольких ватт при 100G до, возможно, почти 20 Вт. Это выдвигает высокие требования к надежности и стабильности источника питания. Кроме того, он должен обеспечивать динамические и переходные характеристики потребления энергии при пробуждении модуля.

Все эти области тесно переплетены и должны рассматриваться как единое целое (особенно в контексте управления модулями CMIS 4.0), чтобы гарантировать бесперебойную работу модулей.

ПАМ-4

Как электрические (модуль-интерфейс хоста), так и оптические (электрические) каналы модулируются PAM-4. Эта схема модуляции более высокого порядка позволяет удвоить количество битов, отправляемых в единицу времени. В то время как технология NRZ широко используется и разработана для высоких скоростей, SERDES PAM-4 является относительно новой технологией, которая является более сложной и сложной. У нас есть большой опыт в анализе битовых ошибок ссылок NRZ. Но мы все еще видим проблемы с каналом NRZ от 10G до 25G, используемым в 100GE. Поэтому ожидается, что переход на PAM-4 станет серьезной проблемой для всей отрасли. Это дополнительно осложняется использованием каналов на основе FEC, которые всегда имеют фоновый BER и гораздо более сложную коррекцию каналов. Справедливости ради следует отметить, что PAM-4 на порядок сложнее широко используемого 25G NRZ.

FEC

Поскольку разработать компонент, который мог бы обеспечить безошибочную передачу PAM-4, было сложно, разработчики использовали FEC, который мог защитить как интерфейс электрического модуля, так и оптический интерфейс модуля-модуля. Мы приложили много усилий для тщательного понимания механизма битовых ошибок в канале передачи и компонентах, а также того, как сбалансирована «стоимость» логики FEC (кодирование и прием). «Стоимость» FEC включает дополнительные схемы, которые потребляют энергию и могут увеличить задержку любого звена.

DSP и эквалайзер

В 400G было решено использовать концепцию «мощного» электрического эквалайзера приема, чтобы справиться с «наихудшими» характеристиками передатчика и «наихудшими» характеристиками канала. Это может привести к закрытию глазковой диаграммы PAM-4 на входе приемника PAM-4, поэтому приемнику PAM-4 требуется мощный и, возможно, сложный приемник для балансировки эффектов передачи и канала, чтобы восстановить четкую глазковую диаграмму. добиться правильного декодирования заданного символа. Сложность эквалайзера означает, что в большинстве случаев должны быть реализованы решения на основе DSP, которые могут повлиять на мощность, задержку, сложность, производительность по битовым ошибкам, а также на управление или контроль. В то время как эквалайзеры DSP являются мощными, сложность их функций может привести к таким проблемам, как поиск лучших настроек для кранов. Кроме того, эквалайзер часто скрыт за прошивкой DSP и API управления, что делает его весьма абстрактным для пользователя. Измерение TDECQ6 сопряжено с дополнительными проблемами — это измерение сложно и может быть непоследовательным, что еще больше усложняет задачу свободно взаимодействующей экосистемы с несколькими поставщиками.

Ключевые моменты

Всегда будут битовые ошибки — ссылки теперь всегда имеют фоновую частоту битовых ошибок. «Отпечаток пальца» статистики битовых ошибок имеет решающее значение. Истинные случайные потоки BER обычно совместимы с FEC, используемым для защиты канала. Но всплески, проскальзывания и другие детерминированные проблемы могут серьезно ухудшить возможности исправления ошибок FEC. В реальном канале BER может представлять собой сложную смесь шума электрических и оптических каналов, перекрестных помех, проблем с целостностью сигнала, всплесков, проскальзывания битов и даже распространения BER из-за неправильно настроенных эквалайзеров.

Что в конечном счете имеет значение, так это то, как работает FEC при получении определенного отпечатка BER. Какова маржа? Сколько времени пройдет, прежде чем мы получим отброшенные пакеты? Можем ли мы предсказать долгосрочную производительность, чтобы понять деградацию канала? Каковы основные причины BER?

Для исследования характеристик BER можно использовать несколько инструментов, от систематической ошибки в отдельных элементах кода PAM-4 до анализа пакетного характера с проскальзыванием битов. Понимание смещения BER может быть дополнительно улучшено с помощью таких инструментов, как изменение тактового сигнала и рассогласование.

Анализ символов PAM-4 можно использовать, чтобы убедиться в отсутствии смещения «уровня» в распределении битовых ошибок. Стабильность ключевых фотонных элементов (таких как фотонная АРУ приемника) может быть дополнительно проверена путем наблюдения за изменением временной мощности распределения ошибок PAM-4-bit (через аттенюатор).

Важно полностью исследовать всплески битовых ошибок и подтвердить, что это всплески, а не проскальзывание битов (или символов). Проскальзывание обычно связано с DSP (и соответствующей прошивкой) и не может быть исправлено FEC. Общие тесты не могут различать проблемы с пакетами, вызванные классическими проблемами целостности сигнала или шума, и проблемы с пакетами, связанные с тактовой и фазовой чувствительностью. В результате необходимо развернуть ряд новых инструментов и методов для исследования природы и основной причины битовых ошибок QSFP-DD.

Простейшее представление верхнего уровня можно получить, посмотрев количество ошибок 10-битных элементов кода на 5440-битное кодовое слово FEC (KP4 FEC). Обычно мы ожидаем, что монотонно распределенное количество символов уменьшится примерно на 10. То есть, для каждого дополнительного неправильного символа/кодового слова мы ожидаем, что количество ошибок уменьшится на 10. Любые длинные хвосты или изолированные пики указывают на некоторые неверные случайная (систематическая) причина. Мы также ожидаем, что количество символов ошибок увеличится в 10 раз за время измерения. Таким образом, если мы наблюдаем количество 10 символов ошибок на кодовое слово через 10 секунд, мы ожидаем увидеть 11 символов ошибок примерно через 100 секунд.

Такое эмпирическое правило можно использовать для оценки времени до появления неисправимой ошибки (16 или более ошибок на кодовое слово). Например, после 100 часов тестирования, если мы наблюдаем не более 12 символов ошибок/кодовых слов, мы можем ожидать следующее приближение:

Ошибочные символы	Время	Заметки
12	100 часов	Анализ эффективности
13	1000 часов	Оценку
14	~ 420 дней
15	~11 ½ лет
16 (неисправимая ошибка)	~ 114 лет	Первый отброшенный пакет после > столетия

FEC - символ ошибки / кодовое слово

В приведенном ниже случае ONT использует оптоволоконный канал 400G с сильным затуханием, так что в течение 10-минутного интервала возникают значительные битовые ошибки. Это то, что можно ожидать от совместимой ссылки. Как видите, распределение в целом монотонно. Счетчик на символ ошибки падает, но он показывает немного более длинный хвост, чем 12 символов ошибки/кодовое слово. В этом случае канал, скорее всего, потеряет пакет из-за неисправленного кодового слова.

На приведенном ниже снимке экрана показана ситуация, когда возникает серьезная проблема. Хотя FEC имеет большой запас (мы можем видеть до четырех символов ошибки в кодовом слове), распределение не является монотонным, что указывает на потенциальный источник битовых ошибок в этой системе. Обратите внимание, что этот пример канала 100G был сгенерирован специальным приложением VIAVI ONT, которое создает обширные распределения ошибок FEC для стресс-тестирования и проверки логики FEC и целостности питания.

ONT может не только анализировать распределение битовых ошибок и тип кода во всей последовательности, но и отслеживать характеристики битовых ошибок на основе каждого символа PAM-4.

Динамическая асимметрия является мощным инструментом для стресс-тестирования и проверки Модуль КСФП-ДД. Его можно использовать для проверки соответствия стандартам IEEE802.3 и общей стабильности DSP и связанного с ним микропрограммного обеспечения. Это особенно важно в модуле DR4, где пара отдельных электрических и оптических каналов может располагаться в совершенно разных тактовых доменах!

На приведенном выше снимке экрана показано приложение динамического перекоса PAM-4. Он способен точно контролировать относительную синхронизацию транспортного канала по отношению к пользовательскому интерфейсу, сохраняя при этом «непрерывный» фазовый сдвиг, что является ключом к решению сложных проблем, таких как перекрестные помехи и проблемы синхронизации встроенного ПО на основе DSP.

Динамическая асимметрия (или вариация асимметрии) является ключевым тестом для любой системы связи с параллельным каналом. Его можно использовать для тестирования и проверки целостности сигнала (перекрестные помехи), а также для стресс-тестирования и проверки производительности FIFO и CDR в PAM-4 SERDES.

Различная степень перекоса также может использоваться для исследования целостности сигнала и проблем с перекрестными помехами, которые имеют широкий спектр применений в аппаратных средствах и командах SI. Синхронизация канала может быть отрегулирована таким образом, чтобы переход канала источника помех происходил в середине диаграммы направленности PAM-4 канала объекта, в котором возникают помехи.

Сигналы PAM-4 (из-за низкого запаса сигнала) более подвержены перекрестным помехам, чем классический NRZ. В густом ареале QSFP-DD (особенно вокруг хост-разъема), высокоскоростные каналы PAM-4 подключены очень близко друг к другу, и необходимо соблюдать осторожность, чтобы избежать проблем с перекрестными помехами сигнала. Обычно тестер BER запускает параллельные каналы с фиксированной фазой, поэтому «наихудшее выравнивание» может не произойти при стресс-тестировании SI. При динамическом перекосе исходный канал можно сканировать в относительной фазе, чтобы полностью убедиться, что проблемы не возникают, даже в наихудшем сценарии сдвига фазы. Конечному пользователю нужно только наблюдать, есть ли ошибка при определенном смещении фазы (обычно, когда исходный канал имеет переход уровня в середине «глазковой диаграммы» объекта помех).

В современном SERDES используется ряд буферов FIFO для повторной синхронизации и повторного выравнивания сигнала перед дальнейшей обработкой в ​​структуре IC. При перенастройке используется ряд буферов FIFO, которые восстанавливают тактовый сигнал из основного источника тактового сигнала (обычно основной канал через CDR).

Если система спроектирована или реализована неправильно, возможно, фазовые колебания и изменения между первичным каналом (опорным каналом CDR) и другими каналами приводят к тому, что FIFO не выровнен или даже скользит. Это будет проявляться как проскальзывание битов, которое расширенный анализ ошибок ONT может отслеживать как проскальзывание битов, а не как пакетную ошибку, наблюдаемую с помощью традиционного тестового оборудования. Используя приложение динамического перекоса, ONT может преднамеренно провести стресс-тестирование производительности CDR/FIFO в SERDES и попытаться вызвать режим отказа посредством перекоса (диапазон и скорость). Это, в сочетании с расширенным анализом BER ONT, обеспечивает очень мощную и полную тестовую систему для тестирования SERDES и может использоваться для быстрого решения очень сложных проблем в каналах 400GE, которые иногда вызывают проскальзывание битов. Динамические перекосы ONT PAM-4 могут вызвать создание этих BER, чтобы помочь диагностировать и устранить основную причину.

Общий экран управления 400G QSFP-DD

Управление модулями со временем эволюционировало от очень простой системы на основе регистров SFF 8636 до CMIS 4.0, которая представляет собой комплексную систему управления с полным статусом модуля, предназначенную для удовлетворения потребностей более сложных модулей 400GE и выше.

Тесное взаимодействие между модулями через интерфейсы управления I²C, контакты питания и управления, а также каналы передачи данных необходимы для надежной и стабильной работы модулей. Сложность модуля выше, особенно для балансировки пути данных в модуле DSP, что требует более полного понимания настройки управления и выполнения между хостом и модулем. В CMIS 4.0 команды, операции и временные характеристики должны быть четко согласованы в правильном порядке. Если вы не будете осторожны, может показаться, что один модуль работает нормально в одном слоте хоста, а другой (с небольшими различиями во времени команд, питания и путей данных) может работать с перебоями. Или, что еще хуже, увеличивается частота битовых ошибок и возникает редкая и неразрешимая проблема, скорее всего, проскальзывание битов. Такие инструменты, как ONT, интегрируют команды CMIS на I²C, а также управление питанием модуля и состояние пути данных, которые не только помогают отлаживать и решать проблемы, но также помогают проводить стресс-тестирование и проверять надежность модулей на разных хостах.

На приведенном выше экране показан дамп памяти первой страницы памяти. Это позволяет быстро проверить, что правильные значения сохранены в 400G КСФП-ДД ЭСППЗУ. Пустые или случайные данные могут указывать на то, что устройство не было инициализировано.

Некоторые из более продвинутых приложений в приложении управления модулями позволяют точно и однозначно управлять параметрами электрического порта модуля.

В целом

Модули 400G QSFP-DD — это чудо электронной, фотонной, механической и тепловой инженерии в сочетании со сложной прошивкой. Здоровая экосистема QSFP-DD с несколькими поставщиками имеет решающее значение для широкого развертывания сетевой технологии 400G. Он представляет собой эволюцию и революцию в традиционной модульной технологии 100G, но также ставит новые задачи, включая сигнализацию PAM-4 (электрическую и оптическую), FEC для управления BER канала и новые сложности ИСМИ 4.0.

Эти проблемы усугубляются тем, что потребности масштабирования и развертывания гипермасштабируемых пользователей приводят к изменениям ценовых ожиданий. Производство должно соответствовать требованиям к выходу и пропускной способности, чтобы соответствовать ценовым ожиданиям, а также иметь возможности охвата и анализа для решения новых задач PAM-4.