Сколько оптических приемопередатчиков требуется для ChatGPT?

24 апреля 2023

Екатерина

Инженер оптических коммуникаций

FiberMall экстраполировал инфраструктуру ИИ, включая оптические приемопередатчики, которые предлагает ChatGPT.

Отличие от традиционного центра обработки данных в том, что с InfiniBand толстая древовидная структура, обычная для ИИ, используется больше коммутаторов, а количество восходящих и нисходящих портов на каждом узле идентично.

Одним из основных устройств, соответствующих модели кластеризации ИИ, используемой NVIDIA, является SuperPOD.

Стандартный SuperPOD состоит из 140 графических серверов DGX A100, HDR InfiniBand 200G. сетевые адаптерыи 170 коммутаторов NVIDIA Quantum QM8790 с 200G и 40 портами каждый.

Основываясь на решении NVIDIA, SuperPOD со 170 коммутаторами, каждый коммутатор имеет 40 портов, и самый простой способ - соединить 70 серверов каждый, а соответствующее требование к кабелю составляет 40 × 170/2 = 3400, учитывая фактическую ситуацию развертывания до 4000 кабелей. Среди них соотношение медный кабель: AOC: оптический модуль = 4:4:2, что соответствует количеству требуемых оптических приемопередатчиков = 4000 * 0.2 * 2 = 1600, то есть для SuperPod соотношение сервер: коммутатор : использование оптического модуля = 140:170:1600 = 1:1.2:11.4

Требования, аналогичные требованиям GPT4.0 начального уровня, требуют примерно 3750 серверов NVIDIA DGX A100. Требования к оптическим трансиверам в этом случае перечислены в следующей таблице.

По данным IDC, мировой рынок серверов ИИ в 15.6 году составит 2021 млрд долларов, а к 35.5 году ожидается, что он достигнет 2026 млрд долларов. Объем рынка серверов ИИ в Китае в 6.4 году составит 2021 млрд долларов. Согласно данным IDC, ожидается поставка портов 200/400G. быстро расти в сценариях центров обработки данных с совокупным темпом роста 62% за 22-26 лет. Ожидается, что в 870 году глобальные поставки портов коммутаторов превысят 2026 миллионов, а объем рынка превысит 44 миллиарда долларов.

FiberMall экстраполирует спрос на серверы, коммутаторы и оптические трансиверы из архитектуры центров обработки данных с искусственным интеллектом. В этом процессе экстраполяции FiberMall использует соотношение 4:4:2. Использование оптических модулей в центре обработки данных в конечном счете напрямую связано с потребностью в трафике. Такое соотношение, скорее всего, будет существовать только при полной загрузке, и все же стоит детально изучить, как сейчас обстоят дела с служебным трафиком внутри дата-центра ИИ.