В контексте продвижения технологии жидкостного охлаждения и повышения экологической зрелости Inspur Information и Intel сотрудничали, чтобы оптимизировать конструкцию серверов с жидкостным охлаждением для общего использования с высокой плотностью размещения. Помимо широко распространенных методов жидкостного охлаждения процессоров и графических процессоров, они также изучали и исследовали решения жидкостного охлаждения для высокопроизводительной памяти, твердотельных накопителей, сетевых карт OCP, блоков питания, PCIe и оптических модулей. Цель состоит в том, чтобы достичь самого высокого в отрасли охвата жидкостным охлаждением, удовлетворяя разнообразные требования к развертыванию жидкостного охлаждения для клиентов в таких отраслях, как Интернет и связь.
Разработка блейд-системы с полностью жидкостным охлаждением основана на четырехузловом вычислительном сервере высокой плотности Inspur Information высотой 2U — i24. Каждый узел с жидкостным охлаждением поддерживает два масштабируемых процессора Intel 5-го поколения Xeon, 16 модулей памяти DDR5, одну карту расширения PCIe и одну сетевую карту OCP 3.0. Вся система может вмещать до восьми твердотельных накопителей SSD, обеспечивая клиентам как высокую плотность вычислительной мощности, так и емкость хранилища. К основным компонентам сервера, выделяющим тепло, относятся процессор, память, платы ввода-вывода, локальные жесткие диски и блок питания корпуса.
Решение жидкостного охлаждения эффективно отводит около 95% тепла системы непосредственно от источника тепла посредством контакта с пластиной жидкостного охлаждения. Остальные 5% тепла уносятся охлаждающей водой внутри воздушно-жидкостного теплообменника, расположенного за блоком питания БП. В целом, это обеспечивает почти 100% эффективность улавливания тепла при жидкостном охлаждении на уровне системы.
Состав системы и схема трубопровода
Четырехузловая серверная система высотой 2U с жидкостным охлаждением состоит из узлов, шасси, объединительной платы и модулей твердотельных накопителей. Соединения между компонентами узла и шасси осуществляются посредством быстрых разъемов для подключения воды, питания и сигнальных заглушек.
Каждый отдельный узел сервера с жидкостным охлаждением состоит из корпуса узла, материнской платы, микросхемы ЦП, модулей памяти, охлаждающей пластины памяти, охлаждающей пластины ЦП, охлаждающей пластины ввода-вывода, источника питания и заднего теплообменника.
Выбор пути потока и расчет расхода
Чтобы упростить проектирование путей потока, в этом сервере с полностью жидкостным охлаждением используется последовательная конфигурация путей потока. Охлаждающая среда течет от компонентов малой мощности к компонентам высокой мощности, как показано на схеме.
Скорость потока жидкости в сервере с жидкостным охлаждением должна соответствовать требованиям системы к рассеиванию тепла:
- Для обеспечения долгосрочной надежности материалов трубопровода вторичной стороны температура обратной воды вторичной стороны не должна превышать 65°C.
- Все компоненты сервера с жидкостным охлаждением должны соответствовать требованиям по рассеиванию тепла при определенных граничных условиях. Для расчета расчетного расхода выбираются медные охлаждающие пластины PG25.
Чтобы соответствовать требованию, чтобы температура обратной воды на вторичной стороне не превышала 65°C, минимальный расход (Qmin) для одного узла PG25 рассчитывается по следующей формуле: Qmin=ρ⋅C⋅ΔTPsys≈1.3 л/мин.
Конструкция холодной пластины процессора
Модуль холодной пластины ЦП разработан с учетом требований к масштабируемым процессорам Intel Xeon 5-го поколения. Он оптимизирует такие факторы, как рассеивание тепла, структурные характеристики, производительность, цена и совместимость с различными материалами холодных пластин. Эталонная конструкция охлаждающей пластины ЦП в основном состоит из алюминиевого кронштейна, охлаждающей пластины ЦП и разъемов охлаждающей пластины.
Конструкция жидкостного охлаждения памяти
В конструкции жидкостного охлаждения памяти используется инновационный «спальный» радиатор, названный в честь того, как модули памяти заполняются, как шпалы на железнодорожных путях. Он сочетает в себе традиционное воздушное охлаждение и охлаждение холодными пластинами. Тепло, генерируемое модулями памяти, передается на оба конца спального радиатора (который содержит встроенные тепловые трубки, алюминиевые/медные пластины или паровые камеры). Затем тепло передается к холодной пластине через выбранные термопрокладки и, наконец, рассеивается с помощью охлаждающей среды внутри холодной пластины.
Память и радиатор можно собрать снаружи с помощью приспособлений, чтобы создать наименьший блок обслуживания (далее именуемый «модулем памяти»). Холодная пластина памяти имеет фиксированную конструкцию, обеспечивающую хороший контакт между радиатором и холодной пластиной памяти. В зависимости от требований для фиксации модуля памяти могут использоваться винты или механизмы, не требующие инструментов. Верхняя часть охлаждающей пластины памяти отвечает за отвод тепла от памяти, а нижняя может использоваться для других тепловыделяющих компонентов материнской платы, таких как компоненты виртуальной реальности, что позволяет максимально эффективно использовать холодную пластину памяти.
Чтобы упростить конструкцию холодных пластин памяти, между памятью и материнской платой можно использовать переходные кронштейны, позволяющие учесть различные ограничения по высоте.
По сравнению с существующими на рынке решениями для охлаждения памяти на основе трубок, подход с радиатором-спящим элементом обеспечивает ряд преимуществ:
Простота обслуживания. Модули памяти можно обслуживать так же, как и память с воздушным охлаждением, без снятия радиатора и креплений. Это значительно повышает эффективность и надежность сборки, одновременно снижая риск повреждения при разборке или переустановке системы.
Универсальность: на эффективность рассеивания тепла не влияют изменения толщины или расстояния между чипами памяти. Он может адаптироваться к минимальному интервалу памяти 7.5 мм и совместим с предыдущими версиями. Конструкция развязки между радиатором и охлаждающей пластиной обеспечивает возможность повторного использования и стандартизацию жидкостного охлаждения памяти.
Экономическая эффективность: радиаторы памяти могут быть адаптированы к различным уровням мощности и изготовлены с использованием различных процессов. Количество можно регулировать в зависимости от требований к памяти. Благодаря расстоянию между модулями памяти 7.5 мм он может удовлетворить потребности в отводе тепла для модулей памяти мощностью более 30 Вт.
Простота изготовления и сборки: отсутствие трубок жидкостного охлаждения между слотами памяти исключает сложную сварку и управление процессом. Можно использовать традиционный радиатор с воздушным охлаждением и стандартные процессы производства холодных пластин процессора. Во время сборки радиатора эффективность рассеивания тепла не зависит от вертикальных допусков между радиатором и материнской платой, что обеспечивает хороший тепловой контакт и простоту сборки.
Надежность: подход к жидкостному охлаждению позволяет избежать потенциального повреждения микросхем памяти и термопрокладок во время сборки и поддерживает многократное вставление и извлечение. Кроме того, это снижает риск плохого контакта сигнала из-за наклона памяти после установки, что значительно повышает надежность системы.
3) Конструкция жидкостного охлаждения для жестких дисков
Инновационное решение жидкостного охлаждения для твердотельных накопителей (SSD) включает в себя внутренний радиатор на основе тепловых трубок, который отбирает тепло из области накопителя и передает его на внешнюю холодную пластину через термопрокладки. Эта конструкция с жидкостным охлаждением в основном состоит из твердотельного модуля привода со встроенным радиатором, охлаждающей пластины для рассеивания тепла, запорного механизма для фиксации модуля привода и кронштейна привода. Механизм блокировки обеспечивает долговременную надежность контакта между модулем SSD и холодной пластиной, обеспечивая соответствующую силу предварительного натяжения. Чтобы облегчить установку в ограниченном пространстве, кронштейн привода предназначен для установки в ящике в направлении глубины сервера.
По сравнению с существующими в отрасли попытками жидкостного охлаждения это решение демонстрирует несколько преимуществ:
- Поддерживает более 30 «горячих» замен без прерывания питания системы.
- Исключает риск повреждения термоинтерфейсных материалов при установке SSD за счет конструкции запирающего механизма, обеспечивающей долговременную надежность контакта.
- Требует минимальной сложности обработки для решения жидкостного охлаждения, используя традиционное воздушное охлаждение и процессы производства охлаждающих пластин процессора.
- Имеет безводную конструкцию между приводами, что позволяет нескольким приводам использовать одну и ту же холодную пластину и уменьшает количество разъемов, тем самым сводя к минимуму риски утечек.
- Адаптируется к разной толщине и количеству SSD.
4) Конструкция жидкостного охлаждения для карт PCIe/OCP
1.1 Решение для жидкостного охлаждения PCIe
Решение для жидкостного охлаждения карт PCIe основано на существующих картах PCIe с воздушным охлаждением путем разработки модуля радиатора, который напрямую контактирует с охлаждающей пластиной системы. Такая конструкция эффективно отводит тепло от оптических модулей и основных чипов карт PCIe. Тепло от оптических модулей передается через тепловые трубки к модулю радиатора на основном чипе карты PCIe. Затем модуль радиатора взаимодействует с холодной пластиной ввода-вывода с использованием соответствующего термоинтерфейсного материала для эффективной теплопередачи. Карта PCIe с жидкостным охлаждением состоит из следующих компонентов: зажимы радиатора QSFP, модули радиатора чипа PCIe и сама карта PCIe. Зажимы радиатора QSFP имеют достаточную эластичность, чтобы обеспечить правильное плавание во время установки оптического модуля, обеспечить удобство использования, предотвратить повреждение оптических модулей и достичь ожидаемых характеристик охлаждения.
1.2 Решение для жидкостного охлаждения OCP3.0
Решение для жидкостного охлаждения карт OCP3.0 аналогично картам PCIe. Он включает в себя настройку радиатора с жидкостным охлаждением для карты OCP3.0, который передает тепло от тепловыделяющих чипов карты к радиатору с жидкостным охлаждением. В конечном итоге тепло рассеивается при контакте радиатора с холодной пластиной ввода-вывода системы.
Модуль жидкостного охлаждения OCP3.0 в основном состоит из модуля радиатора, карты OCP3.0 и ее кронштейна. Из-за нехватки места пружинный винтовой стопорный механизм обеспечивает долговременную надежность контакта между картой OCP3.0 с жидкостным охлаждением и модулем радиатора после сборки.
Соображения по поводу простоты обслуживания и частых требований к горячей замене карты OCP3.0 привели к оптимизации конструкции механизма блокировки и выбору материалов термоинтерфейса, что повысило общую надежность и удобство эксплуатации.
1.3 Решение с холодной пластиной ввода-вывода
Холодная пластина IO служит многофункциональной охлаждающей пластиной. Он не только рассеивает тепло от компонентов в области ввода-вывода материнской платы, но также обеспечивает охлаждение карт PCIe с жидкостным охлаждением и карт OCP3.0.
Холодная пластина IO состоит в основном из корпуса холодной пластины IO и медных трубных каналов. Корпус охлаждающей пластины изготовлен из алюминиевого сплава, а медные трубки играют решающую роль как в потоке охлаждающей жидкости, так и в улучшенном рассеивании тепла. Конкретные соображения по проектированию зависят от компоновки материнской платы и требований к рассеиванию тепла отдельных компонентов. Модули радиатора с жидкостным охлаждением на картах PCIe и картах OCP3.0 с жидкостным охлаждением соприкасаются с холодной пластиной ввода-вывода в направлении, указанном стрелками. Выбор материала для каналов потока охлаждающей жидкости должен учитывать совместимость с охлаждающей жидкостью и смачивающими материалами системы.
Это решение для жидкостного охлаждения с холодными пластинами ввода-вывода отвечает требованиям многомерной сборки различных компонентов. Гибридное использование медных и алюминиевых материалов решает проблемы совместимости материалов, обеспечивая эффективное рассеивание тепла, одновременно уменьшая вес холодной пластины на 60% и снижая затраты.
5) Конструкция холодной пластины источника питания
Решение для жидкостного охлаждения блока питания (PSU) основано на существующих блоках питания с воздушным охлаждением за счет внешнего подключения воздушно-жидкостного теплообменника для охлаждения горячего воздуха, выбрасываемого вентилятором блока питания. Это сводит к минимуму влияние предварительного нагрева системы на внешнюю среду центра обработки данных.
Задний теплообменник блока питания имеет многослойную структуру с наложенными друг на друга каналами и ребрами. Размеры заднего теплообменника блока питания должны соответствовать требованиям к рассеиванию тепла, весу и стоимости, обеспечивая при этом совместимость с вводом кабеля блока питания и соответствие ограничениям по пространству в шкафу системы. Задний теплообменник БП монтируется самостоятельно на кронштейне узла.
Это инновационное решение для жидкостного охлаждения блоков питания устраняет необходимость разработки совершенно новых специализированных блоков питания с жидкостным охлаждением. Благодаря своей универсальности он значительно сокращает циклы разработки и снижает затраты. Решение может гибко адаптироваться к конструкциям блоков питания от различных поставщиков, что приводит к экономии средств более чем на 60 % по сравнению с заказными источниками питания с жидкостным охлаждением.
Для всего шкафа в подходе к жидкостному охлаждению источника питания может использоваться централизованный воздушно-жидкостный теплообменник. В этой установке передняя и задняя дверцы шкафа герметичны, а централизованный воздушно-жидкостный теплообменник расположен внизу шкафа. Эта централизованная структура заменяет распределенные воздушно-жидкостные теплообменники, обычно встречающиеся в блоках питания с задней установкой.
Централизованный воздушно-жидкостный теплообменник оснащен алюминиевыми гофрированными ребрами с гидрофильным покрытием в сочетании с медными трубками с высоким коэффициентом теплопередачи. Он может обеспечить не менее 8 кВт холодопроизводительности при разнице температур 10°C. Путь потока теплообменника оптимизирован для обеспечения низкого сопротивления, что позволяет ему работать с более высокими скоростями потока. Он включает в себя антиконденсационный дизайн и комплексное обнаружение утечек для устранения рисков безопасности. Уникальная конструкция шарниров обеспечивает надежную несущую способность, а конструкция защелкивающихся соединений облегчает установку и обслуживание.
Учитывая, что более 95% тепла, вырабатываемого сервером с полностью жидкостным охлаждением, рассеивается через холодную пластину, лишь небольшая часть (менее 5%) требует для расчетов охлаждения воздушно-жидкостных теплообменников. Каждый отдельный узел производит примерно 40-50 Вт тепла, которым может эффективно управлять централизованный воздушно-жидкостный теплообменник, обеспечивающий рассеивание тепла 8 кВт. Это решение может эффективно охлаждать источники питания более 150 узлов, и все это при значительно меньших затратах, чем развертывание 150 отдельных распределенных воздушно-жидкостных теплообменников.
Благодаря такому подходу источники питания серверов остаются неизменными, а выделяемое тепло эффективно собирается и передается в задней части шкафа с помощью централизованного воздушно-жидкостного теплообменника. Такая автономная циркуляция внутри шкафа не оказывает негативного воздействия на среду центра обработки данных, что действительно соответствует концепции «Стойка как компьютер».