Достаточно ли эффективна жидкостная система охлаждения для Blackwell?

По мере развития технологий искусственного интеллекта все больше центров обработки данных переходят на жидкостное охлаждение. По сравнению с традиционными методами воздушного охлаждения, жидкостное охлаждение, особенно прямое жидкостное охлаждение (DLC), обеспечивает значительно более высокую эффективность рассеивания тепла. Теплопроводность жидкости в 50–3,000 раз выше, чем у воздуха, что позволяет лучше управлять температурой в высокоплотных серверных средах, которые генерируют значительное количество тепла. Кроме того, жидкостное охлаждение может снизить общее потребление энергии. Исследования показывают, что переход с воздушных систем на жидкостные может снизить энергопотребление объекта на 27 % и общее потребление энергии на объекте на 15.5 %. Еще одним преимуществом жидкостного охлаждения является его более тихая работа и меньшие физические размеры.

Подводя итог, можно сказать, что жидкостное охлаждение отличается высокой энергоэффективностью, бесшумной работой и экономией пространства.

Решения для жидкостного охлаждения CoolIT Systems

Компания CoolIT Systems (CoolIT), основанная в 2001 году, изначально занималась разработкой и распространением продуктов прямого жидкостного охлаждения для игровой индустрии настольных компьютеров. В 2014 году компания начала разрабатывать продукты для центров обработки данных и производителей серверов, и теперь она считается ведущим поставщиком решений прямого жидкостного охлаждения. Штаб-квартира CoolIT находится в Калгари, Канада, а производственные мощности находятся как в Канаде, так и в Китае. В частности, CoolIT обеспечивает поддержку жидкостного охлаждения для El Capitan, который, как утверждается, является самым быстрым суперкомпьютером в мире.

Недавно, на фоне сообщений о перегреве Blackwell, CoolIT Systems объявила о запуске CHx1000, самого плотного в мире жидкостно-жидкостного охлаждающего распределительного блока (CDU). Специально разработанный для критически важных приложений, CHx1000 предназначен для охлаждения платформы NVIDIA Blackwell и других ресурсоемких рабочих нагрузок ИИ, требующих жидкостного охлаждения.

По словам Патрика Макгинна, главного операционного директора CoolIT, в CHx1000 воплощен более чем 20-летний опыт инноваций DLC и сотрудничества с ведущими производителями процессоров и гипермасштабными компаниями, что обеспечивает мощность охлаждения 1000 кВт при расходе до 1.5 литров в минуту на киловатт (л/мин/кВт) и температуре на выходе 3 °C.

CHx1000 liquid-to-liquid CDU изначально будет охлаждать десять беспрецедентных стоек платформы NVIDIA GB200 NVL72, обеспечивая достаточную производительность для будущих чипов AI и серверов с более высокой тепловой плотностью. NVIDIA GB200 NVL72 обеспечивает производительность вывода в 30 раз выше и энергоэффективность в 25 раз выше, чем у его предшественника, что делает его пригодным для крупномасштабных приложений LLM.

Разработанный для внутрирядного обслуживания, CHx1000 имеет доступ спереди и сзади и сменные насосы, фильтры и датчики в полевых условиях без прерывания работы. Его высоконадежная конструкция включает в себя трубы из нержавеющей стали, встроенные 25-микронные фильтры и смачиваемые материалы высочайшего качества. Интеллектуальные элементы управления динамически регулируют поток охлаждающей жидкости в соответствии с точной температурой, потоком и давлением чипа. Устройством можно управлять дистанционно с помощью 10-дюймового сенсорного экрана или с помощью таких протоколов, как Redfish, SNMP, TCP/IP и Modbus.

Прямое жидкостное охлаждение Supermicro

Supermicro выпустила решение SuperCluster, интегрирующее графические процессоры NVIDIA Blackwell в конфигурацию стойки с жидкостным охлаждением. Эта установка повышает плотность вычислений на графических процессорах и включает в себя расширенные функции, такие как вертикальные распределительные коллекторы охлаждающей жидкости и улучшенные охлаждающие пластины для оптимального управления температурой. Конструкция повышает эффективность и снижает эксплуатационные расходы, что делает ее пригодной для крупномасштабных развертываний ИИ.

На выставке Computex в этом году SuperMicro анонсировала системы, оптимизированные для графических процессоров Blackwell от Nvidia, включая устройства 10U с воздушным охлаждением и 4U с жидкостным охлаждением для систем на базе HGX B200. Компания также разрабатывает систему HGX B100 с воздушным охлаждением и стойку GB200 NVL72, содержащую 72 графических процессора, соединенных через коммутаторы Nvidia NVLink. Кроме того, SuperMicro взяла на себя обязательство по выпуску систем на базе Intel Xeon 6.

Стоечное решение с жидкостным охлаждением от Super-micro состоит из нескольких компонентов собственной разработки, в том числе:

1. Блок распределения охлаждающей жидкости (CDU): этот блок включает в себя насосную систему, которая обеспечивает циркуляцию охлаждающей жидкости к охлаждающим пластинам, охлаждающим ЦП и ГП. CDU от Supermicro объединяет два резервных насосных модуля с возможностью горячей замены и силовые модули, что обеспечивает почти 100% бесперебойной работы. Он имеет охлаждающую способность до 100 кВт, что обеспечивает очень высокую плотность стойки. CDU также оснащен простым в использовании сенсорным экраном, доступным через WebUI для мониторинга и управления работой стойки, и интегрирован в программное обеспечение для управления центром обработки данных Super Cloud Composer от Supermicro. Система управления оптимизирует энергопотребление, обеспечивая эффективное охлаждение для всех ЦП и ГП, с эффективными стратегиями против конденсации для предотвращения любого ухудшения производительности оборудования.
2. Распределительный коллектор охлаждающей жидкости (CDM): CDM подает охлаждающую жидкость на каждый сервер и собирает нагретую охлаждающую жидкость обратно в CDU. Существует два типа CDM:
3. Вертикальный: Расположенные в задней части стойки, эти коллекторы подключаются напрямую к CDU через шланги. Они подают охлаждающую жидкость на охлаждающие пластины системы, с впускными и выпускными шлангами в задней части стойки.
4. Горизонтальные: Расположенные в передней части стойки в пространстве стойки 1U, эти коллекторы соединяют вертикальные коллекторы сзади с охлаждающими пластинами на системах в передней части стойки (например, серверы SuperBlades и 8U GPU).
5. Холодные пластины: Холодные пластины размещаются поверх ЦП и ГП, охлаждающая жидкость проходит через их микроканалы для эффективного охлаждения чипов. Холодные пластины Supermicro разработаны для минимизации горячих точек на чипах и достижения сверхнизкого теплового сопротивления.

Система жидкостного охлаждения Lenovo Neptune

Lenovo ThinkSystem N1380 Neptune — это вертикальная система жидкостного охлаждения шестого поколения, разработанная для эффективного охлаждения серверных стоек высокой плотности, достигающая конфигураций более 100 кВт без необходимости специализированного кондиционирования воздуха. Эта система прямого охлаждения теплой водой с открытым контуром значительно снижает потребление энергии — на 40% ниже, чем традиционные методы охлаждения. Опыт Lenovo в области жидкостного охлаждения основан на приобретении серверной технологии IBM, что сделало ее лидером в этой области.

Решение прямого водяного охлаждения рециркулирует теплую воду для охлаждения систем центра обработки данных, сохраняя все компоненты сервера холодными и снижая потребность в энергоемких вентиляторах системы. Запатентованная конструкция холодной пластины, оптимизированная для ЦП и ускорителей, максимизирует охлаждающую способность ускорителей, в настоящее время справляясь с потреблением энергии около 700 Вт, а будущие конструкции, как ожидается, превысят 1000 Вт. Новая конструкция охлаждения теплой водой (Neptune™ Warm Water Cooling) позволит работать без какого-либо специализированного кондиционирования воздуха в центре обработки данных.