Обзор
Ранее мы кратко представляли новейший графический процессор NVIDIA Blackwell, но часть содержания может быть легко понята неправильно, например, из-за двусмысленности или расплывчатых концепций в NVIDIA. offОфициальное введение. Кроме того, мы наблюдаем некоторые недопонимания относительно возможностей графических процессоров нового поколения, например убеждение, что их производительность увеличивается в десятки раз. Поэтому мы решили всесторонне обобщить различные данные, чтобы каждый мог провести более полное и справедливое сравнение.
В этой статье мы собрали исчерпывающую информацию об аппаратном обеспечении графических процессоров NVIDIA Blackwell, включая B100, B200, GH200 и NVL72, а также SuperPod-576 и соответствующих сетевых картах ConnectX-800G, коммутаторах Quantum-X800 IB и Spectrum. Ethernet-коммутаторы -X800 и далее сравнили их с предыдущей серией. Следует отметить, что часть содержания статьи представляет собой данные, которые мы вывели на основе различной информации, например, красные части в некоторых таблицах, а окончательные данные будут зависеть от offОфициальный технический документ (который еще не был опубликован). Кроме того, сюда не входит контент, связанный с экосистемой программного обеспечения.
Evolution
19 марта 2024 года NVIDIA выпустила новейшие графические процессоры на архитектуре Blackwell, основными из которых являются графические процессоры B200, B100 и GB200, а также соответствующие GB200-NVL72 и GB200-SuperPod. Взаимосвязь между различными графическими процессорами показана на рисунке ниже.
![Evolution](https://www.fibermall.com/blog/wp-content/uploads/2024/04/Evolution.png)
Один графический процессор
В таблице ниже показаны самые мощные графические процессоры серий Ampere, Hopper и последней серии Blackwell. Видно, что память, вычислительная мощность и NVLink постепенно улучшаются. (Примечание: NVIDIA также выпустила специальное решение, в котором две версии H100 PCIe подключаются через NVBridge, под названием H100 NVL, но поскольку это по-прежнему два графических процессора, подробности здесь обсуждаться не будут.)
A100 -> H100: мощность плотных вычислений FP16 увеличилась более чем в 3 раза, а энергопотребление увеличилось всего с 400 Вт до 700 Вт.
H200 -> B200: мощность плотных вычислений FP16 увеличилась более чем в 2 раза, а энергопотребление увеличилось всего с 700 Вт до 1000 Вт.
Плотная вычислительная мощность B200 FP16 примерно в 7 раз выше, чем у A100, а энергопотребление — всего в 2.5 раза.
Графические процессоры Blackwell поддерживают точность FP4, обеспечивая вдвое большую вычислительную мощность, чем FP8. Некоторые данные в отчетах NVIDIA сравнивают вычислительную мощность FP4 с вычислительной мощностью FP8 архитектуры Hopper, поэтому коэффициент ускорения будет более преувеличен.
Следует отметить, что:
GB200 использует полный чип B200, а B100 и B200 представляют собой соответствующие урезанные версии.
![GB200 использует полный чип B200.](https://www.fibermall.com/blog/wp-content/uploads/2024/04/GB200-uses-the-full-B200-chip-1024x338.png)
HGX-серверы
HGX — это высокопроизводительный сервер от NVIDIA, обычно содержащий 8 или 4 графических процессора, обычно в сочетании с процессорами Intel или AMD и использующий NVLink и NVSwitch для достижения полного соединения (8 графических процессоров обычно являются верхним пределом полного соединения NVLink, за исключением NVL). и СуперПод).
По сравнению с HGX A100 -> HGX H100 и HGX H200 мощность плотных вычислений FP16 увеличилась в 3.3 раза, а энергопотребление — менее чем в 2 раза.
По сравнению с HGX H100 и HGX H200 -> HGX B100 и HGX B200 мощность плотных вычислений FP16 выросла примерно в 2 раза, при этом энергопотребление аналогичное, максимум не более 50%.
Следует отметить, что:
Сеть HGX B100 и HGX B200 не была обновлена, а скорость сетевой карты IB по-прежнему составляет 8x400 Гбит/с.
![HGX B100 и HGX B200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/HGX-B100-and-HGX-B200-1024x558.png)
НВЛ и СуперПод
В дополнение к серверам с графическим процессором серии HGX у NVIDIA также есть решения для полных шкафов и кластеров, использующие новейшее решение Grace CPU + GPU и соответствующие системам жидкостного охлаждения. В таблице ниже показаны соответствующие шкафы NVL и SuperPod для архитектуры Hopper и Blackwell.
NVL32 -> NVL72: количество графических процессоров увеличилось с 32 до 72, а мощность плотных вычислений FP16 увеличилась с 32P до 180P, почти в 6 раз, а энергопотребление также увеличилось с 40 кВт (конкретное число не указано, приблизительные данные) до 120 кВт. , почти в 3 раза.
GH200 SuperPod -> GB200 SuperPod: количество графических процессоров увеличилось с 256 до 576, а плотная вычислительная мощность FP16 увеличилась с 256P до 1440P, почти в 6 раз, а соответствующее энергопотребление не обнаружено.
В NVL8 и GB800 SuperPod используются новейшие сетевые карты ConnectX-72 IB с пропускной способностью 200 Гбит/с, а в HGX B100 и HGX B200 по-прежнему используются сетевые карты ConnectX-7 IB с пропускной способностью 400 Гбит/с.
Следует отметить, что:
NVIDIA сообщила, что GB200 SuperPod состоит из 8 NVL72, а GH200 SuperPod не состоит из 8 NVL32.
Количество лотков L1 NVSwitch и лотков L2 NVSwitch в GB200 SuperPod не было обнаружено и является приблизительным.
![GB200 СуперПод](https://www.fibermall.com/blog/wp-content/uploads/2024/04/GB200-SuperPod-1024x618.png)
Графический процессор Блэквелла
Графический процессор Blackwell и графический процессор H100 используют техпроцесс TSMC 4N. H100 содержит 80 миллиардов транзисторов, а графический процессор Blackwell — 208 миллиардов транзисторов. Однако H100 представляет собой корпус с одним кристаллом (один полный полупроводниковый блок), а графический процессор Blackwell представляет собой корпус с несколькими кристаллами и двумя кристаллами.
Каждый кристалл графического процессора Blackwell имеет примерно в 1.25 раза большую вычислительную мощность, чем H100, а оба кристалла вместе примерно в 2.5 раза превышают вычислительную мощность H100. Это также видно по количеству транзисторов.
Пропускная способность связи между двумя кристаллами составляет 10 ТБ/с.
В памяти используется HBM3e, размер каждого чипа составляет 24 ГБ, теоретический предел пропускной способности составляет 1.2 ТБ/с, а фактическая пропускная способность составляет 1 ТБ/с. Весь графический процессор Blackwell имеет 8 таких микросхем памяти.
Подводя итог, ключевые характеристики полного графического процессора Blackwell:
Разреженная вычислительная мощность (плотная вычислительная мощность * 2):
FP16: 5P ФЛОПС (2 * 2.5P)
FP8/FP6/INT8: 10P FLOPS (2 * 5P)
FP4: 20P ФЛОПС (2 * 10P)
Память:
Размер: 192 ГБ (8*24 ГБ)
Пропускная способность: 8 ТБ/с (8 * 1 ТБ/с)
![Графический процессор Блэквелла](https://www.fibermall.com/blog/wp-content/uploads/2024/04/Blackwell-GPU-1024x714.png)
ГХ200 и ГБ200
GH200
GH200 — это комбинация NVIDIA графического процессора H200, выпущенного в прошлом году, и процессора Grace. Каждый процессор Grace работает в паре с одним графическим процессором H200, а графический процессор H200 может иметь до 96 ГБ или 144 ГБ памяти. Процессор Grace и графический процессор Hopper соединены между собой через NVLink-C2C с пропускной способностью 900 ГБ/с. В дополнение к HBM3e процессор Grace также имеет 480 ГБ внешней памяти LPDDR5X, хотя соответствующая пропускная способность ниже — 500 ГБ/с.
![GH200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/GH200-1024x511.png)
GB200
В отличие от GH200, каждый GB200 состоит из одного процессора Grace и двух графических процессоров Blackwell, что удваивает вычислительную мощность и объем памяти графического процессора. Центральный и графический процессоры по-прежнему соединены между собой со скоростью 1 ГБ/с через NVLink-C2C. Соответствующая потребляемая мощность составляет 900 Вт.
GB200 включает в себя 384 ГБ памяти HBM3e и те же 480 ГБ LPDDR5X, что в общей сложности составляет 864 ГБ быстрой памяти.
![GB200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/GB200-1024x585.png)
![быстрая память](https://www.fibermall.com/blog/wp-content/uploads/2024/04/fast-memory-1024x271.png)
HGX H100/H200 и HGX B100/B200
HGX H100 и HGX H200
Как видно, H200 имеет ту же вычислительную мощность, что и H100, но с большим объемом памяти. Максимальный объем памяти для 8 графических процессоров увеличивается с 640 ГБ до 1.1 ТБ. Вычислительная мощность разреженного FP16 для 8 графических процессоров составляет 16P, а разреженного FP8 — 32P. Пропускная способность связи между графическими процессорами составляет 900 ГБ/с для обоих.
![HGX H100](https://www.fibermall.com/blog/wp-content/uploads/2024/04/HGX-H100-1024x433.png)
![HGX H200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/HGX-H200-1024x381.png)
HGX B100 и HGX B200
B100 и B200 соответствуют предыдущим H100 и H200 соответственно, но без процессора Grace, поэтому их можно использовать с процессорами Intel или AMD.
Память у B100 и B200 больше, чем у H100 и H200. Максимальный объем памяти для 8 графических процессоров составляет 1.5 ТБ (Примечание: на веб-сайте NVIDIA первоначально было указано 1.4 ТБ, что не соответствует 192 ГБ*8, а позже было исправлено до 1.5 ТБ, тогда как в таблице данных DGX B200 четко указано 1440 ГБ или 180 ГБ на графический процессор).
Вычислительная мощность B100 составляет около 3/4 мощности B200. Вычислительная мощность разреженного FP16 для 8xB100 составляет 28P, а для 8xB200 — 36P, поэтому 8xB200 в 2.25 раза превышает мощность 8xH100/H200. Это означает, что редкая вычислительная мощность FP16 одного B200 составляет 4.5P. Следует отметить, что фактическая вычислительная мощность B200 составляет 90% от полной мощности B200 (в GB200).
![ХГХ B200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/HGX-B200-1024x456.png)
![ХГХ B100](https://www.fibermall.com/blog/wp-content/uploads/2024/04/HGX-B100-1024x333.png)
На изображении показаны данные таблицы данных DGX B200.
![Техническое описание DGX B200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/DGX-B200-datasheet-1024x226.png)
В тензорные ядра Blackwell добавлена поддержка FP6 и FP4, а вычислительная мощность FP4 в 2 раза превышает мощность FP8 и в 4 раза превышает мощность FP16. Ядра CUDA Blackwell больше не поддерживают INT8, а начиная с Hopper, они также больше не поддерживают INT4.
![](https://www.fibermall.com/blog/wp-content/uploads/2024/04/Blackwells-Tensor-Cores-have-added-support-for-FP6-and-FP4-1-1024x231.png)
В тензорные ядра Blackwell добавлена поддержка формата данных Microscaling, который, возможно, поддерживает FP8, FP6, FP4 и INT8.
![Формат данных микромасштабирования](https://www.fibermall.com/blog/wp-content/uploads/2024/04/Microscaling-data-format-1024x218.png)
![имена форматов](https://www.fibermall.com/blog/wp-content/uploads/2024/04/format-names-1024x366.png)
НВЛинк и НВСвитч
NVSwitch третьего поколения
NVSwitch третьего поколения имеет 64 порта NVLink, каждый по 2 линии. Предел пропускной способности составляет 64*50 ГБ/с = 3.2 ТБ/с.
![NVSwitch третьего поколения](https://www.fibermall.com/blog/wp-content/uploads/2024/04/Third-Generation-NVSwitch.png)
NVSwitch четвертого поколения
Чип NVSwitch имеет 72 порта NVLink, каждый по 2 линии, с двунаправленной пропускной способностью 2 x 2 x 200 Гбит/с = 100 ГБ/с, что в сумме составляет 7.2 ТБ/с. NVLinks со скоростью 1.8 ТБ/с на изображении соответствуют 18 портам.
![NVSwitch четвертого поколения](https://www.fibermall.com/blog/wp-content/uploads/2024/04/Fourth-Generation-NVSwitch-1024x476.png)
В B100 и B200 используются NVLink пятого поколения и NVSwitch четвертого поколения. Каждый графический процессор на B100 и B200 по-прежнему имеет 18 каналов NVLink, но пропускная способность каждого канала увеличена с 50 ГБ/с на NVLink четвертого поколения (H100) до 100 ГБ/с. Таким образом, максимальная пропускная способность между графическими процессорами для B100 и B200 составляет 1.8 ТБ/с.
![максимальная пропускная способность для B100 и B200 составляет 1.8 ТБ.](https://www.fibermall.com/blog/wp-content/uploads/2024/04/the-maximum-bandwidth-for-the-B100-and-B200-is-1.8TB-1024x292.png)
NVSwitch четвертого поколения также удваивает пропускную способность между графическими процессорами до 1.8 ТБ/с. Он может поддерживать до 576 графических процессоров с общим пределом пропускной способности 576 * 1.8 ТБ/с = 1 ПБ/с.
![общий лимит пропускной способности 1 ПБ. 8 ТБ = 1 ПБ](https://www.fibermall.com/blog/wp-content/uploads/2024/04/total-bandwidth-limit-of-1PB.8TB1PB-1024x388.png)
Сетевые карты и сетевые коммутаторы
Сетевая карта ConnectX-8 InfiniBand
NVIDIA также выпустила новое поколение InfiniBand сетевые карты ConnectX-8 (ConnectX-800G) с соответствующей пропускной способностью 800 Гбит/с. В предыдущих H100 и H200 использовалась сетевая карта ConnectX-7 с пропускной способностью 400 Гбит/с, а в A100 использовалась сетевая карта ConnectX-6 с пропускной способностью 200 Гбит/с.
![Сетевая карта ConnectX-8 IB](https://www.fibermall.com/blog/wp-content/uploads/2024/04/ConnectX-8-IB-Network-Card-1024x576.png)
Однако NVIDIA не использовала новую сетевую карту ConnectX-800G в HGX B100/B200, а вместо этого продолжила использовать ConnectX-7 предыдущего поколения, как показано на изображениях (NVIDIA запускает DGX SuperPOD на базе Blackwell для генеративных суперкомпьютеров с искусственным интеллектом на Масштаб в триллион параметров и платформа NVIDIA Blackwell открывают новую эру вычислений).
![Системы DGX B200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/DGX-B200-systems-1024x105.png)
![NVIDIA offэто HGX B200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/NVIDIA-offers-the-HGX-B200-1024x103.png)
BlueField-3 DPU/SuperNIC
BlueField-3 поддерживает соединения Ethernet и IB на скорости до 400 Гбит/с и может комбинироваться с аппаратными ускорителями сети и хранилища, запрограммированными с использованием NVIDIA DOCA. BlueField-3 имеет соответствующие BlueField-3 DPU и BlueField-3 SuperNIC. BlueField-3 SuperNIC может обеспечивать удаленный прямой доступ к памяти Ethernet (RoCE) между серверами графических процессоров на скорости до 400 Гбит/с, поддерживая скорость 400 Гбит/с для одного порта или скорость 200 Гбит/с для двух портов. BlueField-2 SuperNIC предыдущего поколения поддерживал только один порт 200 Гбит/с или два порта 100 Гбит/с.
![БлюФилд-3 ДПУ](https://www.fibermall.com/blog/wp-content/uploads/2024/04/BlueField-3-DPU-1024x576.png)
![BlueField-2 Суперсетевая карта](https://www.fibermall.com/blog/wp-content/uploads/2024/04/BlueField-2-SuperNIC-1024x548.png)
Коммутатор Quantum-X800 IB
Quantum-X800 — это новое поколение коммутаторов NVIDIA Quantum IB, способное достичь 800Gb / s сквозные соединения со сверхнизкой задержкой, в первую очередь с поддержкой сетевой карты NVIDIA ConnectX-8. Соответствующий коммутатор Quantum-X800 Q3400-RA (4U) может обеспечить 144 порта 800 Гбит/с, как показано на изображении, используя воздушное охлаждение, но также поддерживая жидкостное охлаждение.
![Коммутатор Quantum-X800 IB](https://www.fibermall.com/blog/wp-content/uploads/2024/04/Quantum-X800-IB-Switch-1024x703.png)
Ethernet-коммутатор Spectrum-X800
Spectrum-X800 — это новое поколение Ethernet-коммутаторов NVIDIA Spectrum, включающее два типа: SN5600 и SN5400, оба имеют конструкцию 2U.
![Ethernet-коммутатор Spectrum-X800](https://www.fibermall.com/blog/wp-content/uploads/2024/04/Spectrum-X800-Ethernet-Switch-1024x664.png)
Как показано в таблице, SN5600 может поддерживать скорость до 800 Гбит/с на порт при 64 портах и общей пропускной способности 51.2 Тбит/с, а SN5400 может поддерживать до 400 Гбит/с на порт при 64 портах и общей пропускной способности. пропускная способность 25.6 Тбит/с.
![SN5600](https://www.fibermall.com/blog/wp-content/uploads/2024/04/SN5600-1024x541.png)
GH200 NVL32 и GH200-SuperPod
Вычислительный лоток GH200
Вычислительный лоток GH200 основан на конструкции NVIDIA MGX (размер 1U) с двумя блоками GH2 на каждый вычислительный лоток, т. е. 200 процессорами Grace и 2 графическими процессорами H2.
NVSwitch лоток
Лоток NVSwitch первого поколения содержит 2 чипа NVSwitch третьего поколения с общим числом портов NVLink 128 и максимальной пропускной способностью связи 6.4 ТБ/с.
ГХ200 НВЛ32
Каждый шкаф содержит 16 вычислительных лотков GH200 и 9 лотков NVSwitch, в результате чего в общей сложности получается 32 графических процессора GH200 и 18 NVSwitch. 32 графических процессора GH200 имеют 32 × 18 = 576 NVLink, и теоретически для достижения полного соединения потребуется только 576/64 = 9 NVSwitch, но эта конструкция включает 18 NVSwitch.
![ГХ200 НВЛ32](https://www.fibermall.com/blog/wp-content/uploads/2024/04/GH200-NVL32-1024x777.png)
GH200 СуперПод
GH200 SuperPod состоит из 256 графических процессоров GH200 в полностью взаимосвязанной конфигурации, но не состоит из 8 блоков NVL32. Вместо этого он состоит из 32 суперчипов 8-Grace Hopper.
Как показано на рисунке 7, каждый суперчип 8-Grace Hopper включает в себя:
8 вычислительных лотков с бункером (8U), каждый из которых содержит:
1 * графический процессор GH200
1 * сетевая карта ConnectX-7 IB, 400Gb / s
1*200 Гбит/с Ethernet-карта
3 лотка NVSwitch (3U), всего 6 коммутаторов NVSwitch
![8-Суперчип Грейс Хоппер](https://www.fibermall.com/blog/wp-content/uploads/2024/04/8-Grace-Hopper-Superchip-1024x480.png)
Соединения NVLink показаны на рисунке 6: каждый GH200 и каждый NVSwitch имеют по три соединения NVLink. В этом направлении на каждый NVSwitch используется 3 порта. Кроме того, каждый NVSwitch имеет 24 порта, подключенных к L24 NVSwitch, всего 2 используемых портов на NVSwitch. (Примечание. Некоторые порты NVSwitch являются резервными, и теоретически потребуется только 48 NVSwitch, поэтому были выбраны 4.5 лотка NVSwitch.)
![NVLink-соединения](https://www.fibermall.com/blog/wp-content/uploads/2024/04/NVLink-connections-1024x536.png)
Как показано на рисунке 8, GH200 SuperPod состоит из 32 суперчипов 8-Grace Hopper. Уровень L1 содержит 32 x 3 = 96 лотков NVSwitch (192 NVSwitch), а уровень L2 содержит 36 лотков NVSwitch (64 NVSwitch). Каждый лоток L1 NVSwitch имеет 24 x 2 = 48 портов, подключенных к лоткам L2 NVSwitch, поэтому необходимо 36 лотков L2 NVSwitch.
![Топология nvlink](https://www.fibermall.com/blog/wp-content/uploads/2024/04/nvlink-topology-1024x432.png)
Как показано на рисунке 12, 256 графических процессоров GH200 также соединены между собой через двухуровневый коммутатор IB.
![топология управления фабрикой](https://www.fibermall.com/blog/wp-content/uploads/2024/04/fabric-management-topology-1024x806.png)
Полное подключение GH200 SuperPod показано на рисунке 5.
![Полная возможность подключения GH200 SuperPod](https://www.fibermall.com/blog/wp-content/uploads/2024/04/complete-connectivity-of-the-GH200-SuperPod-1024x391.png)
GB200 NVL72 и GB200 SuperPod
Вычислительный лоток GB200
Вычислительный лоток GB200 также основан на дизайне NVIDIA MGX (размер 1U), при этом каждый вычислительный лоток содержит 2 блока GB200, то есть 2 процессора Grace и 4 графических процессора Blackwell, как показано на изображении.
![Вычислительный лоток GB200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/GB200-Compute-Tray-1024x895.png)
Каждый вычислительный лоток GB200 поддерживает 1.7 ТБ быстрой памяти (Примечание: «HBM3e» на изображении, скорее всего, является опечаткой, это должно быть «Fast Memory», а не «HMB3e»). Если речь идет о памяти на графический процессор Blackwell, она должна составлять 192 ГБ x 4 = 768 ГБ. 1.7 ТБ, вероятно, включает дополнительные 480 ГБ LPDDR5X на 200 ГБ, всего 768 ГБ + 480 ГБ x 2 = 1728 ГБ.
![вычислительный узел Блэквелла](https://www.fibermall.com/blog/wp-content/uploads/2024/04/blackwell-compute-node-1024x317.png)
![Быстрая память 1.7 ТБ](https://www.fibermall.com/blog/wp-content/uploads/2024/04/1.7TB-Fast-Memory-1024x558.png)
NVSwitch лоток
Как показано на изображении, лоток NVSwitch нового поколения также содержит 2 микросхемы NVSwitch (размером 1U), всего 144 порта NVLink (72 порта NVLink на микросхему NVSwitch). Каждый порт имеет пропускную способность 100 ГБ/с, поддерживая общий предел пропускной способности 14.4 ТБ/с. Система NVSwitch четвертого поколения может поддерживать до 576 графических процессоров, поэтому общий предел пропускной способности может достигать 576 * 1.8 ТБ/с = 1 ПБ/с. (Примечание: 8 портов на изображении не являются портами NVLink, каждый соответствует 18 портам NVLink.)
![8 портов на изображении не являются портами NVLink, каждый на самом деле соответствует 18 портам NVLink.](https://www.fibermall.com/blog/wp-content/uploads/2024/04/the-8-ports-in-the-image-are-not-NVLink-Ports-each-actually-corresponds-to-18-NVLinks-1024x539.png)
Ниже показана система NVSwitch, используемая в NVL72, содержащая 9 лотков NVSwitch. 72 порта на изображении соответствуют портам на предыдущем изображении, а не портам NVLink, с пропускной способностью 1.8 ТБ/с (18 портов NVLink 100 ГБ/с).
![Система NVSwitch, используемая в NVL72.](https://www.fibermall.com/blog/wp-content/uploads/2024/04/The-NVSwitch-System-used-in-the-NVL72-1024x584.png)
ГБ200 НВЛ72
Один GB200 NVL72 содержит 18 вычислительных лотков GB200, то есть он имеет 36 процессоров Grace и 72 графических процессора. Общий объем памяти графического процессора составляет 72 * 192 ГБ = 13.8 ТБ, а быстрая память процессора LPDDR5X — 480 ГБ x 36 = 17 ТБ, поэтому общий объем быстрой памяти составляет 30 ТБ. В комплект также входят 9 лотков NVSwitch.
NVIDIA также offиспользует конфигурацию NVL36, которая по-прежнему имеет 18 вычислительных лотков GB200, но каждый вычислительный лоток имеет только один GB200, поэтому всего имеется 18 процессоров Grace и 36 графических процессоров B200. Соответствующая вычислительная мощность показана на изображении. Таким образом, упомянутые 30 ТБ — это, скорее всего, 13.5 ТБ HBM3e + 17 ТБ LPDDR5X.
![NVIDIA также offесть конфигурация NVL36](https://www.fibermall.com/blog/wp-content/uploads/2024/04/NVIDIA-also-offers-a-NVL36-configuration-743x1024.png)
Соответствующая вычислительная мощность показана на рисунке ниже:
![Соответствующая вычислительная мощность](https://www.fibermall.com/blog/wp-content/uploads/2024/04/The-corresponding-computing-power-1024x862.png)
Таким образом, HBM30e емкостью 3 ТБ здесь также должен быть HBM13.5e 3 ТБ + LPDDR17X 5 ТБ:
![30 ТБ HBM3e](https://www.fibermall.com/blog/wp-content/uploads/2024/04/30TB-HBM3e-1024x722.png)
GB200 СуперПод
GB200 SuperPod состоит из 8 блоков NVL72, всего 576 графических процессоров Blackwell. Для достижения полной взаимосвязи, как и в случае с предыдущими 256 графическими процессорами GH200, требуется двухуровневая система NVSwitch Tray (теоретический предел пропускной способности 576 * 1.8 ТБ/с = 1 ПБ/с):
Половина портов лотка NVSwitch первого уровня подключена к 576 графическим процессорам Blackwell, поэтому необходимо 576 * 18 / (144/2) = 144 лотка NVSwitch (оставшиеся 144 * 72 порта).
Все порты лотков NVSwitch второго уровня подключены к остальным портам NVSwitch первого уровня, поэтому необходимо 144 * 72/144 = 72 лотка NVSwitch. Каждый лоток NVSwitch второго уровня подключен ко всем лоткам NVSwitch первого уровня (2 порта на соединение).
![Лотки NVSwitch второго уровня](https://www.fibermall.com/blog/wp-content/uploads/2024/04/The-second-tier-NVSwitch-Trays-1024x584.png)
Анализ данных производительности
Производительность DGX GB200
NVIDIA утверждает, что DGX B200 (соответствующий HGX B200) имеет 3-кратное улучшение производительности обучения и 15-кратное улучшение производительности вывода по сравнению с DGX H100 предыдущего поколения (HGX H100). Однако это при определенных условиях. Если рассматривать исключительно вычислительную мощность FP16 или FP8 при переходе от HGX H100 к HGX B200, то вычислительная мощность увеличилась в 2.25 раза. Но объем памяти больше, пропускная способность памяти примерно в 2.3 раза выше, а пропускная способность NVLink также увеличилась вдвое. Таким образом, общее трехкратное улучшение скорости обучения соответствует ожиданиям.
![Производительность DGX GB200](https://www.fibermall.com/blog/wp-content/uploads/2024/04/DGX-GB200-Performance.png)
Как показано на изображении, скорость обучения 3x была измерена на системах 4096 HGX B200 и системах 4096 HGX H100 при обучении модели GPT-MoE-1.8T.
![скорость обучения 3x была измерена на 4096 системах HGX B200.](https://www.fibermall.com/blog/wp-content/uploads/2024/04/the-3x-training-speed-was-measured-on-4096-HGX-B200-systems.png)
Как показано на изображении, скорость вывода 15x была измерена на 8 системах HGX B200 и 8 системах HGX H100 с использованием модели GPT-MoE-1.8T для вывода (вывод модели GPT обычно связан с вводом-выводом, поэтому пропускная способность памяти имеет решающее значение. ; для поддержки более высокого параллелизма также важен большой размер памяти; а поскольку модель большая, часто используются такие стратегии, как Tensor Parallel, поэтому пропускная способность NVLink также имеет решающее значение). Они достигли 3.5 токенов/с и 58 токенов/с соответственно. Факторов, влияющих на вывод GPT, множество, и для этих двух систем улучшения определяются:
- Пропускная способность VRAM (8×3.35 ТБ/с -> 8x8 ТБ/с)
- Размер видеопамяти (8x141 ГБ -> 8x192 ГБ)
- Пропускная способность NVLink (7.2 ТБ/с -> 14.4 ТБ/с)
- Вычислительная мощность увеличена вдвое (16P -> 36P)
- РП8 -> РП4 (x2)
![вывод модели большого языка в реальном времени](https://www.fibermall.com/blog/wp-content/uploads/2024/04/real-time-large-language-model-inference-870x1024.png)
Как показано на последнем изображении, Дженсен Хуанг представил более подробное сравнение в своем докладе GTC, показав, что улучшение составляет всего около 3 раз при сравнении B200 FP8 и H200 FP8 (при этом TP, EP, DP, PP представляют Tensor Parallel, Expert Parallel, Параллельный обмен данными и параллельный конвейер). Улучшение при использовании GB200 в FP4 очень существенно (вероятно, благодаря полному межсоединению NVLink в NVL72).
![сравнение B200 FP8 и H200 FP8](https://www.fibermall.com/blog/wp-content/uploads/2024/04/comparing-B200-FP8-and-H200-FP8-1024x539.png)
GPT-MoE-1.8T Энергопотребление при обучении
В своем выступлении на GTC Дженсен Хуанг также обсудил энергопотребление при обучении модели GPT-MoE-1.8T, сравнив графические процессоры Hopper и Blackwell:
- Один шкаф NVL32 имеет мощность 40 кВт, поэтому 8000 графических процессоров будут иметь мощность около 10 МВт, плюс другое энергопотребление, вероятно, около 15 МВт.
- Мощность одного шкафа NVL72 составляет 120 кВт, поэтому 2000 графических процессоров будут иметь мощность около 3.3 МВт, плюс другое энергопотребление, такое как сетевые коммутаторы, в общей сложности составит около 4 МВт.
![8000 графических процессоров](https://www.fibermall.com/blog/wp-content/uploads/2024/04/8000-GPUs-1024x338.png)
![2000 графических процессоров](https://www.fibermall.com/blog/wp-content/uploads/2024/04/2000-GPUs.png)
Сопутствующие товары:
-
OSFP-800G-FR4 800G OSFP FR4 (200G на линию) PAM4 CWDM Duplex LC 2 км SMF Оптический модуль приемопередатчика $5000.00
-
OSFP-800G-2FR2L 800G OSFP 2FR2 (200G на линию) PAM4 1291/1311 нм 2 км DOM Duplex LC SMF Оптический модуль приемопередатчика $4500.00
-
OSFP-800G-2FR2 800G OSFP 2FR2 (200G на линию) PAM4 1291/1311 нм 2 км DOM Dual CS SMF Оптический модуль приемопередатчика $4500.00
-
OSFP-800G-DR4 800G OSFP DR4 (200G на линию) PAM4 1311 нм MPO-12 500 м SMF DDM Оптический модуль приемопередатчика $3500.00
-
Совместимый с NVIDIA MMS4X00-NM-FLT 800G Twin-port OSFP 2x400G Flat Top PAM4 1310nm 500m DOM Dual MTP/MPO-12 SMF Модуль оптического трансивера $1500.00
-
NVIDIA MMA4Z00-NS-FLT Совместимый двухпортовый OSFP 800 Гбит/с 2x400G SR8 PAM4 850 нм 100 м DOM Двойной модуль оптического трансивера MPO-12 MMF $850.00
-
NVIDIA MMS4X00-NM Совместимый двухпортовый OSFP 800 Гбит/с 2x400G PAM4 1310nm 500m DOM Dual MTP/MPO-12 SMF Модуль оптического трансивера $1500.00
-
NVIDIA MMA4Z00-NS Совместимый двухпортовый OSFP 800 Гбит/с 2x400G SR8 PAM4 850 нм 100 м DOM Двойной модуль оптического трансивера MPO-12 MMF $750.00
-
Совместимость с NVIDIA MMS1Z00-NS400 400G NDR QSFP112 DR4 PAM4 1310 нм 500 м MPO-12 с модулем оптического приемопередатчика FEC $800.00
-
Совместимый с NVIDIA MMS4X00-NS400 400G OSFP DR4 Flat Top PAM4 1310nm MTP/MPO-12 500m SMF FEC Модуль оптического трансивера $1350.00
-
NVIDIA MMA1Z00-NS400 совместимый модуль оптического приемопередатчика 400G QSFP112 SR4 PAM4 850nm 100m MTP/MPO-12 OM3 FEC $650.00
-
Совместимый с NVIDIA MMA4Z00-NS400 400G OSFP SR4 Flat Top PAM4 850 нм 30 м на OM3/50 м на OM4 MTP/MPO-12 Многомодовый модуль оптического трансивера FEC $900.00
-
Совместимый с OSFP NVIDIA MMS4X50-NM 2x400G FR4 PAM4 1310 нм 2 км DOM двухдуплексный оптический модуль LC SMF $3500.00
-
OSFP-XD-1.6T-4FR2 1.6T OSFP-XD 4xFR2 PAM4 1291/1311nm 2 км SN SMF Оптический модуль приемопередатчика $17000.00
-
OSFP-XD-1.6T-2FR4 1.6T OSFP-XD 2xFR4 PAM4 2x CWDM4 TBD Двухдуплексный оптический модуль LC SMF $22400.00
-
OSFP-XD-1.6T-DR8 1.6T OSFP-XD DR8 PAM4 1311 нм 2 км MPO-16 Модуль оптического приемопередатчика SMF $12600.00