液体冷却技術の推進とエコロジカルな成熟度の向上という観点から、Inspur Information と Intel は、一般的な高密度用途向けの液体冷却サーバーの設計を最適化するために協力してきました。広く採用されている CPU と GPU の液体冷却方法以外にも、高出力メモリ、ソリッド ステート ドライブ、OCP ネットワーク カード、PSU 電源、PCIe、光モジュール向けの液体冷却ソリューションも模索し、研究してきました。目標は、業界最高の液体冷却カバレッジを実現し、インターネットや通信などの業界のクライアントの多様な液体冷却導入要件を満たすことです。
完全液冷式ブレード システムの開発は、Inspur Information の 2U 24 ノード高密度コンピューティング サーバー i5 に基づいています。各液冷式ノードは、16 つの Intel 第 5 世代 Xeon スケーラブル プロセッサー、3.0 個の DDRXNUMX メモリ モジュール、XNUMX 枚の PCIe 拡張カード、および XNUMX 枚の OCP XNUMX ネットワーク カードをサポートします。システム全体で最大 XNUMX 台の SSD ソリッド ステート ドライブを収容でき、高密度コンピューティング パワーとストレージ容量の両方を顧客に提供します。サーバーの主な発熱コンポーネントには、CPU、メモリ、I/O ボード、ローカル ハード ドライブ、およびシャーシ電源があります。
液体冷却ソリューションは、液体冷却プレートとの接触により、システムの熱の約 95% を熱源から直接効率的に除去します。残りの 5% の熱は、PSU 電源の後ろにある空気液体熱交換器内の冷却水によって除去されます。全体として、システム レベルでほぼ 100% の液体冷却熱捕捉効率が達成されます。
システム構成とパイプラインレイアウト
2U XNUMX ノードの全液冷式サーバー システムは、ノード、シャーシ、ミッドプレーン、およびソリッド ステート ドライブ モジュールで構成されています。ノードとシャーシ コンポーネント間の接続は、水、電源、および信号のブラインド挿入用のクイック コネクタによって行われます。
全液体冷却サーバー内の各ノードは、ノード エンクロージャ、マザーボード、CPU チップ、メモリ モジュール、メモリ コールド プレート、CPU コールド プレート、IO コールド プレート、電源、および背面熱交換器で構成されます。
流路の選択と流量計算
フロー パス設計の複雑さを簡素化するために、この全液冷サーバーは直列フロー パス構成を採用しています。図に示すように、冷却媒体は低電力コンポーネントから高電力コンポーネントに流れます。
全液体冷却サーバーの液体流量は、システムの放熱要件を満たす必要があります。
- 二次側パイプライン材料の長期信頼性を確保するには、二次側戻り水の温度が 65°C を超えないようにする必要があります。
- 全液冷式サーバーのすべてのコンポーネントは、定義された境界条件下での放熱要件を満たす必要があります。流量設計解析では、PG25 の銅製コールド プレートが選択されます。
二次側戻り水温が65°Cを超えないという要件を満たすために、単一のPG25ノードの最小流量（Qmin）は次の式を使用して計算されます：Qmin=ρ⋅C⋅ΔTPsys≈1.3LPM
CPUコールドプレート設計
CPU コールド プレート モジュールは、Intel の第 5 世代 Xeon スケーラブル プロセッサの要件に基づいて設計されています。放熱、構造性能、歩留まり、価格、さまざまなコールド プレート材料との互換性などの要素を最適化します。CPU コールド プレートのリファレンス デザインは、主にアルミニウム ブラケット、CPU コールド プレート、およびコールド プレート コネクタで構成されています。
メモリ液体冷却設計
メモリ液体冷却設計では、革新的な「スリーパー」ラジエーター ソリューションを採用しています。これは、メモリ モジュールが線路の枕木のようにいっぱいになる様子にちなんで名付けられました。これは、従来の空冷とコールド プレート冷却を組み合わせたものです。メモリ モジュールによって生成された熱は、スリーパー ラジエーター (内蔵ヒート パイプ、アルミニウム/銅プレート、またはベイパー チャンバーを含む) の両端に伝達されます。次に、熱は選択されたサーマル パッドを介してコールド プレートに伝導され、最終的にコールド プレート内の冷却媒体を使用して放散されます。
メモリとラジエーターは、固定具を使用して外部で組み立てられ、最小のメンテナンス ユニット (以下、「メモリ モジュール」と呼びます) を作成できます。メモリ コールド プレートは固定構造を特徴としており、ラジエーターとメモリ コールド プレートの良好な接触を確保します。要件に応じて、メモリ モジュールの固定にはネジまたはツール不要のメカニズムを使用できます。メモリ コールド プレートの上部はメモリの放熱を処理し、下部は VR コンポーネントなど、マザーボード上の他の発熱コンポーネントに使用できるため、メモリ コールド プレートを最大限に活用できます。
メモリ コールド プレートの設計を簡素化するために、メモリとマザーボードの間にアダプタ ブラケットを使用して、さまざまな高さの制限に対応できます。
市場にある既存のチューブベースのメモリ液体冷却ソリューションと比較して、スリーパー ラジエーター アプローチにはいくつかの利点があります。
メンテナンスの容易さ: メモリ モジュールは、ラジエーターや固定具を取り外すことなく、空冷メモリと同様にメンテナンスできます。これにより、組み立て効率と信頼性が大幅に向上し、システムの分解や再インストール中に損傷するリスクが軽減されます。
汎用性: このソリューションの放熱性能は、メモリ チップの厚さや間隔の変動の影響を受けません。最小メモリ間隔 7.5 mm に適応でき、上位互換性があります。ラジエーターとコールド プレート間の分離設計により、メモリ液体冷却の再利用性と標準化が可能になります。
コスト効率: メモリ ラジエーターは、さまざまな電力レベルに合わせてカスタマイズでき、さまざまなプロセスを使用して製造できます。メモリ要件に基づいて数量を調整できます。7.5 mm のメモリ間隔により、30W を超えるメモリ モジュールの放熱ニーズを満たすことができます。
製造と組み立てのシンプルさ: メモリ スロット間に液体冷却チューブがないため、複雑な溶接やプロセス制御が不要です。従来の空冷式ラジエーターと標準の CPU コールド プレート製造プロセスを使用できます。ラジエーターの組み立て中、放熱性能はラジエーターとマザーボード間の垂直許容差に左右されないため、良好な熱接触と組み立ての容易さが保証されます。
信頼性: スリーパー液体冷却アプローチにより、組み立て中にメモリ チップやサーマル パッドが損傷する可能性が回避され、複数回の挿入と取り外しがサポートされます。さらに、インストール後のメモリの傾きによる信号接触不良のリスクが軽減され、システムの信頼性が大幅に向上します。
3) ハードドライブの液体冷却設計
ソリッド ステート ドライブ (SSD) 用の革新的な液体冷却ソリューションには、ドライブ領域から熱を抽出し、サーマル パッドを介して外部のコールド プレートに伝達する内部ヒート パイプ ベースのヒートシンクが含まれます。この液体冷却設計は、主に、ヒートシンクが統合されたソリッド ステート ドライブ モジュール、熱を放散するコールド プレート、ドライブ モジュールを固定するロック機構、およびドライブ ブラケットで構成されます。ロック機構は、適切なプリロード力を提供することで、SSD モジュールとコールド プレート間の長期的な接触信頼性を確保します。狭いスペースへの設置を容易にするために、ドライブ ブラケットは、サーバーの奥行き方向に引き出し式に取り付けられるように設計されています。
業界の既存の液体冷却の試みと比較して、このソリューションはいくつかの進歩を示しています。
- システム電源を中断することなく 30 回以上のホットスワップをサポートします。
- ロック機構の設計により、SSD の取り付け中に熱伝導材料が損傷するリスクがなくなり、長期的な接触信頼性が確保されます。
- 従来の空冷および CPU コールド プレート製造プロセスを利用することで、液体冷却ソリューションに必要な処理の複雑さを最小限に抑えます。
- ドライブ間の無水設計を特徴とし、複数のドライブが同じコールドプレートを共有し、コネクタの数を減らすことで漏れのリスクを最小限に抑えます。
- さまざまな SSD の厚さと数量に適応できます。
4) PCIe/OCPカードの液体冷却設計
1.1 PCIe 液体冷却ソリューション
PCIe カードの液冷ソリューションは、既存の空冷 PCIe カードをベースに、システム コールド プレートと直接接触するヒートシンク モジュールを開発しました。この設計により、PCIe カード上の光モジュールとメイン チップの熱が効果的に放散されます。光モジュールからの熱は、ヒート パイプを通じて PCIe カードのメイン チップ上のヒートシンク モジュールに伝導されます。次に、ヒートシンク モジュールは、適切な熱伝導材料を使用して IO コールド プレートと接続し、効率的な熱伝達を実現します。液冷 PCIe カードは、QSFP ヒートシンク クランプ、PCIe チップ ヒートシンク モジュール、および PCIe カード自体で構成されています。QSFP ヒートシンク クランプは、光モジュールの取り付け時に適切なフロートを確保し、優れたユーザー エクスペリエンスを提供し、光モジュールの損傷を防ぎ、期待される冷却性能を達成するために、適切な弾力性で設計されています。
1.2 OCP3.0 液体冷却ソリューション
OCP3.0 カードの液体冷却ソリューションは、PCIe カードに似ています。OCP3.0 カード用に液体冷却ヒートシンクをカスタマイズし、カードの発熱チップから液体冷却ヒートシンクに熱を伝達します。最終的には、ヒートシンクがシステム IO コールド プレートと接触することで熱が放散されます。
OCP3.0 液体冷却モジュールは、主にヒートシンク モジュール、OCP3.0 カード、およびそのブラケットで構成されています。スペースの制約により、スプリング スクリュー ロック機構により、組み立て後の液体冷却 OCP3.0 カードとヒートシンク モジュール間の長期的な接触信頼性が確保されます。
メンテナンスの容易さと OCP3.0 カードの頻繁なホットスワップ要件を考慮し、ロック機構の設計と熱伝導材料の選択が最適化され、全体的な信頼性と操作の利便性が向上しました。
1.3 IOコールドプレートソリューション
IO コールド プレートは多機能冷却プレートとして機能します。メインボードの IO 領域内のコンポーネントの熱を放散するだけでなく、液冷 PCIe カードや OCP3.0 カードの冷却も行います。
IO コールド プレートは、主に IO コールド プレート本体と銅管チャネルで構成されています。コールド プレート本体はアルミニウム合金で作られており、銅管は冷却剤の流れと放熱の強化の両方で重要な役割を果たします。具体的な設計上の考慮事項は、メインボードのレイアウトと個々のコンポーネントの放熱要件によって異なります。PCIe カードと液冷 OCP3.0 カード上の液冷ヒートシンク モジュールは、矢印で示される方向に IO コールド プレートと接触します。冷却剤フロー チャネルの材料を選択する際には、システムの冷却剤と湿潤材料との互換性を考慮する必要があります。
この IO コールド プレート液体冷却ソリューションは、さまざまなコンポーネントの多次元アセンブリ要件に対応します。銅とアルミニウムの材料をハイブリッドに使用することで、材料の互換性の問題が解決され、効果的な放熱が保証されると同時に、コールド プレートの重量が 60% 削減され、コストが削減されます。
5) 電源コールドプレート設計
電源ユニット (PSU) の液体冷却ソリューションは、既存の空冷式 PSU をベースに、空気と液体の熱交換器を外部に取り付けて PSU ファンから排出される熱い空気を冷却します。これにより、システムの予熱が外部データ センター環境に与える影響を最小限に抑えます。
PSU リア ヒート エクスチェンジャーは、フロー チャネルとフィンが重なった多層構造を特徴としています。PSU リア ヒート エクスチェンジャーの寸法は、PSU ケーブル挿入との互換性を確保し、システム キャビネットのスペース制限を満たしながら、放熱要件、重量、コストのバランスをとる必要があります。PSU リア ヒート エクスチェンジャーは、ノード ブラケットに独立して組み立てられます。
この革新的な電源用液体冷却ソリューションにより、まったく新しい液体冷却専用電源を開発する必要がなくなります。その汎用性を活用することで、開発サイクルが大幅に短縮され、コストが削減されます。このソリューションは、複数のベンダーの電源設計に柔軟に適応できるため、カスタマイズされた液体冷却電源と比較して 60% 以上のコスト削減が実現します。
キャビネット全体のアプリケーションの場合、電源装置の液体冷却アプローチでは、集中型気液熱交換器ソリューションを採用できます。このセットアップでは、キャビネットの前面ドアと背面ドアが密閉され、集中型気液熱交換器がキャビネットの底部に配置されます。この集中型構造は、背面に取り付けられた PSU に通常見られる分散型気液熱交換器に代わるものです。
集中型気液熱交換器は、親水性コーティングを施したアルミ波形フィンと、高熱伝達係数の銅管を特徴としています。温度差 8°C で 10 kW 以上の冷却能力を発揮します。熱交換器の流路は低抵抗に最適化されており、より高い流量に対応できます。結露防止設計と包括的な漏れ検出機能を備え、安全上のリスクを排除します。独自のヒンジ設計により、堅牢な耐荷重能力が確保され、スナップオン接続設計により、設置とメンテナンスが簡単になります。
完全液冷式サーバーで発生する熱の 95% 以上がコールド プレートを通じて放散されることを考慮すると、冷却計算に気液熱交換器が必要なのはごく一部 (5% 未満) だけです。各ノードは約 40 ～ 50 W の熱を生成し、8 kW の放熱をサポートする集中型気液熱交換器によって効率的に管理できます。このソリューションは、150 台を超えるノードの電源を効果的に冷却でき、150 台の個別の分散型気液熱交換器を導入するよりも大幅に低コストです。
このアプローチを実装することで、サーバーの電源は変更されず、発生した熱は集中型気液熱交換器を使用してキャビネットの背面で効率的に収集および交換されます。このキャビネット内の自己完結型の循環により、データセンター環境に悪影響を与えず、まさに「ラックをコンピューターとして」というコンセプトを実現しています。