في سياق تعزيز تكنولوجيا التبريد السائل وتعزيز النضج البيئي، تعاونت Inspur Information وIntel لتحسين تصميم الخوادم المبردة بالسوائل للاستخدام العام عالي الكثافة. بالإضافة إلى طرق التبريد السائل لوحدة المعالجة المركزية ووحدة معالجة الرسومات المعتمدة على نطاق واسع، فقد قاموا أيضًا باستكشاف وبحث حلول التبريد السائل للذاكرة عالية الطاقة، ومحركات الأقراص ذات الحالة الصلبة، وبطاقات شبكة OCP، وإمدادات الطاقة PSU، وPCIe، والوحدات الضوئية. الهدف هو تحقيق أعلى تغطية للتبريد السائل في الصناعة، وتلبية متطلبات نشر التبريد السائل المتنوعة للعملاء في صناعات مثل الإنترنت والاتصالات.
يعتمد تطوير نظام الشفرات المبرد بالسائل بالكامل على خادم الحوسبة عالي الكثافة المكون من أربع نقاط من Inspur Information، i2. تدعم كل عقدة مبردة بالسوائل معالجي Intel Xeon Scalable من الجيل الخامس و24 وحدة ذاكرة DDR5 وبطاقة توسيع PCIe واحدة وبطاقة شبكة OCP 16 واحدة. يمكن للنظام بأكمله أن يستوعب ما يصل إلى ثمانية محركات أقراص ذات حالة صلبة SSD، مما يوفر قوة حوسبة عالية الكثافة وسعة تخزين للعملاء. تشتمل المكونات الأساسية المولدة للحرارة في الخادم على وحدة المعالجة المركزية والذاكرة ولوحات الإدخال/الإخراج ومحركات الأقراص الثابتة المحلية ومصدر طاقة الهيكل.
يعمل محلول التبريد السائل على إزالة ما يقرب من 95% من حرارة النظام بكفاءة من مصدر الحرارة مباشرةً من خلال ملامسته للوحة المبردة بالسائل. يتم نقل نسبة 5٪ المتبقية من الحرارة عن طريق مياه التبريد داخل المبادل الحراري للهواء السائل الموجود خلف مصدر طاقة PSU. بشكل عام، يحقق هذا كفاءة تقترب من 100% من كفاءة التقاط حرارة التبريد السائل على مستوى النظام.
تكوين النظام وتخطيط خطوط الأنابيب
يتكون نظام الخادم المبرد بالسوائل والمكون من أربع عقد من وحدات العقد والهيكل واللوحة الوسطى ووحدات محرك الأقراص ذات الحالة الصلبة. يتم تحقيق الاتصالات بين مكونات العقدة والهيكل من خلال موصلات سريعة للمياه والطاقة وإدخال الإشارة العمياء.
تشتمل كل عقدة فردية في الخادم المبرد بالسائل بالكامل على حاوية عقدة، واللوحة الأم، ورقاقة وحدة المعالجة المركزية، ووحدات الذاكرة، ولوحة الذاكرة الباردة، ولوحة التبريد لوحدة المعالجة المركزية، ولوحة التبريد IO، ومصدر الطاقة، ومبادل حراري خلفي.
اختيار مسار التدفق وحساب معدل التدفق
لتبسيط تعقيد تصميم مسار التدفق، يعتمد هذا الخادم المبرد بالسائل بالكامل تكوين مسار التدفق المتسلسل. يتدفق وسط التبريد من المكونات منخفضة الطاقة إلى المكونات عالية الطاقة، كما هو موضح في الرسم البياني.
يجب أن يفي معدل تدفق السائل في الخادم المبرد بالسائل بالكامل بمتطلبات تبديد الحرارة الخاصة بالنظام:
- لضمان الموثوقية على المدى الطويل لمواد خطوط الأنابيب الثانوية، يجب ألا تتجاوز درجة حرارة الماء العائد للجانب الثانوي 65 درجة مئوية.
- يجب أن تفي جميع مكونات الخادم المبرد بالسائل بالكامل بمتطلبات تبديد الحرارة في ظل ظروف حدودية محددة. لتحليل تصميم معدل التدفق، يتم اختيار لوحات النحاس الباردة مع PG25.
لتلبية متطلبات درجة حرارة الماء الراجعة الثانوية التي لا تتجاوز 65 درجة مئوية، يتم حساب الحد الأدنى لمعدل التدفق (Qmin) لعقدة PG25 واحدة باستخدام الصيغة التالية: Qmin=ρ⋅C⋅ΔTPsys≈1.3LPM
تصميم لوحة التبريد لوحدة المعالجة المركزية
تم تصميم وحدة اللوحة الباردة لوحدة المعالجة المركزية (CPU) بناءً على متطلبات معالجات Intel Xeon القابلة للتطوير من الجيل الخامس. إنه يعمل على تحسين عوامل مثل تبديد الحرارة، والأداء الهيكلي، والإنتاجية، والسعر، والتوافق مع مواد ألواح التبريد المختلفة. يتكون التصميم المرجعي للوحة الباردة لوحدة المعالجة المركزية بشكل أساسي من حامل ألومنيوم، ولوحة باردة لوحدة المعالجة المركزية، وموصلات لوحة باردة.
تصميم تبريد سائل الذاكرة
يستخدم تصميم تبريد سائل الذاكرة حلاً مبتكرًا للرادياتير "النائم"، سُمي على اسم الطريقة التي تمتلئ بها وحدات الذاكرة مثل النائمين على مسار السكك الحديدية. فهو يجمع بين تبريد الهواء التقليدي وتبريد اللوحة الباردة. يتم نقل الحرارة الناتجة عن وحدات الذاكرة إلى طرفي المبرد النائم (الذي يحتوي على أنابيب حرارية مدمجة، أو ألواح من الألومنيوم/النحاس، أو غرف بخار). يتم بعد ذلك نقل الحرارة إلى اللوحة الباردة من خلال وسادات حرارية مختارة، ثم يتم تبديدها أخيرًا باستخدام وسط التبريد الموجود داخل اللوحة الباردة.
يمكن تجميع الذاكرة والرادياتير خارجيًا باستخدام التركيبات لإنشاء أصغر وحدة صيانة (يشار إليها فيما بعد باسم "وحدة الذاكرة"). تتميز لوحة تبريد الذاكرة بهيكل ثابت لضمان الاتصال الجيد بين الرادياتير ولوحة تبريد الذاكرة. اعتمادًا على المتطلبات، يمكن تثبيت وحدة الذاكرة باستخدام براغي أو آليات بدون أدوات. يتعامل الجزء العلوي من لوحة الذاكرة الباردة مع تبديد حرارة الذاكرة، بينما يمكن استخدام الجزء السفلي لمكونات توليد الحرارة الأخرى على اللوحة الأم، مثل مكونات الواقع الافتراضي، مما يزيد من الاستفادة من لوحة الذاكرة الباردة.
لتبسيط تصميم لوحة الذاكرة الباردة، يمكن استخدام أقواس المحول بين الذاكرة واللوحة الأم لاستيعاب قيود الارتفاع المختلفة.
بالمقارنة مع حلول تبريد السائل بالذاكرة القائمة على الأنابيب الموجودة في السوق، فإن نهج المبرد النائم يوفر العديد من المزايا:
سهولة الصيانة: يمكن صيانة وحدات الذاكرة بشكل مشابه للذاكرة المبردة بالهواء، دون إزالة المبرد والتركيبات. يؤدي هذا إلى تحسين كفاءة التجميع وموثوقيته بشكل كبير مع تقليل مخاطر التلف أثناء تفكيك النظام أو إعادة تثبيته.
تعدد الاستخدامات: لا يتأثر أداء تبديد الحرارة للمحلول بالتغيرات في سمك شريحة الذاكرة أو التباعد بينها. يمكن أن يتكيف مع حد أدنى لمسافة الذاكرة يبلغ 7.5 ملم ومتوافق مع الأعلى. يسمح تصميم الفصل بين الرادياتير واللوحة الباردة بإعادة الاستخدام وتوحيد تبريد سائل الذاكرة.
فعالية التكلفة: يمكن تصميم مشعات الذاكرة وفقًا لمستويات طاقة مختلفة وتصنيعها باستخدام عمليات مختلفة. يمكن تعديل الكمية بناءً على متطلبات الذاكرة. مع مسافة ذاكرة تبلغ 7.5 مم، يمكنه تلبية احتياجات تبديد الحرارة لوحدات الذاكرة التي تتجاوز 30 وات.
بساطة التصنيع والتجميع: يؤدي غياب أنابيب التبريد السائلة بين فتحات الذاكرة إلى التخلص من عمليات اللحام المعقدة والتحكم في العملية. يمكن استخدام عمليات تصنيع المبرد التقليدي الذي يتم تبريده بالهواء وعمليات تصنيع لوحة التبريد القياسية لوحدة المعالجة المركزية. أثناء تجميع الرادياتير، لا يكون أداء تبديد الحرارة حساسًا للتفاوتات الرأسية بين الرادياتير واللوحة الأم، مما يضمن الاتصال الحراري الجيد وسهولة التجميع.
الموثوقية: يتجنب أسلوب التبريد السائل النائم حدوث تلف محتمل لرقائق الذاكرة والوسادات الحرارية أثناء التجميع ويدعم عمليات الإدخال والإزالة المتعددة. بالإضافة إلى ذلك، فإنه يخفف من خطر ضعف الاتصال بالإشارة بسبب إمالة الذاكرة بعد التثبيت، مما يعزز موثوقية النظام بشكل كبير.
3) تصميم التبريد السائل لمحركات الأقراص الصلبة
يشتمل حل التبريد السائل المبتكر لمحركات الأقراص ذات الحالة الصلبة (SSD) على مبدد حراري داخلي قائم على أنبوب حراري يستخرج الحرارة من منطقة محرك الأقراص وينقلها إلى لوحة باردة خارجية عبر وسادات حرارية. يتكون تصميم التبريد السائل هذا بشكل أساسي من وحدة محرك الحالة الصلبة مع مبدد حراري مدمج، ولوحة باردة لتبديد الحرارة، وآلية قفل لتأمين وحدة المحرك، وقوس محرك الأقراص. تضمن آلية القفل موثوقية الاتصال على المدى الطويل بين وحدة SSD واللوحة الباردة من خلال توفير قوة التحميل المسبق المناسبة. لتسهيل التثبيت في المساحات الضيقة، تم تصميم دعامة المحرك للتركيب على شكل درج في اتجاه عمق الخادم.
بالمقارنة مع محاولات التبريد السائل الموجودة في الصناعة، يوضح هذا الحل العديد من التطورات:
- يدعم أكثر من 30 عملية تبديل سريعة دون انقطاع طاقة النظام.
- يزيل خطر إتلاف مواد الواجهة الحرارية أثناء تركيب SSD بسبب تصميم آلية القفل، مما يضمن موثوقية الاتصال على المدى الطويل.
- يتطلب الحد الأدنى من تعقيد المعالجة لحل التبريد السائل، وذلك باستخدام عمليات تبريد الهواء التقليدية وعمليات تصنيع لوحة التبريد لوحدة المعالجة المركزية.
- يتميز بتصميم بدون ماء بين محركات الأقراص، مما يسمح لمحركات أقراص متعددة بمشاركة نفس اللوحة الباردة وتقليل عدد الموصلات، وبالتالي تقليل مخاطر التسرب.
- قابلة للتكيف مع سماكات وكميات SSD المختلفة.
4) تصميم التبريد السائل لبطاقات PCIe/OCP
1.1 حل التبريد السائل PCIe
يعتمد حل التبريد السائل لبطاقة PCIe على بطاقات PCIe المبردة بالهواء الموجودة من خلال تطوير وحدة المبدد الحراري التي تتصل مباشرة بلوحة تبريد النظام. يعمل هذا التصميم على تبديد الحرارة بشكل فعال من الوحدات الضوئية والرقائق الرئيسية الموجودة على بطاقات PCIe. يتم توصيل الحرارة من الوحدات الضوئية عبر أنابيب الحرارة إلى وحدة المبدد الحراري الموجودة على الشريحة الرئيسية لبطاقة PCIe. تتفاعل وحدة المبدد الحراري بعد ذلك مع لوحة الإدخال والإخراج الباردة باستخدام مادة واجهة حرارية مناسبة لنقل الحرارة بكفاءة. تشتمل بطاقة PCIe المبردة بالسوائل على المكونات التالية: مشابك المبدد الحراري QSFP، ووحدات المبدد الحراري لشريحة PCIe، وبطاقة PCIe نفسها. تم تصميم مشابك المبدد الحراري QSFP بالقدر المناسب من المرونة لضمان الطفو المناسب أثناء تركيب الوحدة البصرية، مما يوفر تجربة مستخدم جيدة، ويمنع تلف الوحدات البصرية، ويحقق أداء التبريد المتوقع.
1.2 OCP3.0 محلول التبريد السائل
يشبه حل التبريد السائل لبطاقة OCP3.0 بطاقات PCIe. وهو يتضمن تخصيص مبدد حراري مبرد بالسائل لبطاقة OCP3.0، والذي ينقل الحرارة من شرائح توليد الحرارة بالبطاقة إلى المبدد الحراري المبرد بالسائل. في النهاية، يتم تبديد الحرارة عن طريق ملامسة المبدد الحراري للوحة الباردة الخاصة بنظام الإدخال والإخراج.
تتكون وحدة التبريد السائل OCP3.0 بشكل أساسي من وحدة المبدد الحراري وبطاقة OCP3.0 وقوسها. نظرًا لقيود المساحة، تضمن آلية القفل اللولبي الزنبركي موثوقية الاتصال على المدى الطويل بين بطاقة OCP3.0 المبردة بالسائل ووحدة المبدد الحراري بعد التجميع.
أدت الاعتبارات المتعلقة بسهولة الصيانة ومتطلبات التبديل السريع المتكررة لبطاقة OCP3.0 إلى تحسينات في تصميم آلية القفل واختيار مواد الواجهة الحرارية، مما يعزز الموثوقية العامة والراحة التشغيلية.
1.3 IO حل اللوحة الباردة
تعمل لوحة التبريد IO كلوحة تبريد متعددة الوظائف. فهو لا يبدد الحرارة من المكونات الموجودة داخل منطقة الإدخال والإخراج باللوحة الرئيسية فحسب، بل يوفر أيضًا التبريد لبطاقات PCIe المبردة بالسوائل وبطاقات OCP3.0.
تتكون اللوحة الباردة IO بشكل أساسي من جسم اللوحة الباردة IO وقنوات الأنابيب النحاسية. يتكون جسم اللوحة الباردة من سبائك الألومنيوم، بينما تلعب الأنابيب النحاسية دورًا حاسمًا في كل من تدفق سائل التبريد وتبديد الحرارة المعزز. تعتمد اعتبارات التصميم المحددة على تخطيط اللوحة الرئيسية ومتطلبات تبديد الحرارة للمكونات الفردية. تتلامس وحدات المبدد الحراري المبردة بالسوائل الموجودة على بطاقات PCIe وبطاقات OCP3.0 المبردة بالسوائل مع لوحة الإدخال والإخراج الباردة في الاتجاه المشار إليه بواسطة الأسهم. يجب أن يأخذ اختيار المواد لقنوات تدفق سائل التبريد في الاعتبار التوافق مع مواد التبريد والترطيب الخاصة بالنظام.
يعالج حل التبريد السائل ذو اللوحة الباردة IO متطلبات التجميع متعددة الأبعاد للمكونات المختلفة. يعمل الاستخدام المختلط لمواد النحاس والألومنيوم على حل مشكلات توافق المواد، مما يضمن تبديد الحرارة بشكل فعال مع تقليل وزن اللوحة الباردة بنسبة 60% وخفض التكاليف.
5) تصميم اللوحة الباردة لإمدادات الطاقة
يعتمد حل التبريد السائل لوحدة إمداد الطاقة (PSU) على وحدات PSU الحالية المبردة بالهواء عن طريق توصيل مبادل حراري للهواء والسائل خارجيًا لتبريد الهواء الساخن الذي تطرده مروحة PSU. وهذا يقلل من تأثير التسخين المسبق للنظام على بيئة مركز البيانات الخارجية.
يتميز المبادل الحراري الخلفي لوحدة الطاقة PSU بهيكل متعدد الطبقات مع قنوات تدفق وزعانف متراكبة. يجب أن توازن أبعاد المبادل الحراري الخلفي لوحدة تزويد الطاقة (PSU) بين متطلبات تبديد الحرارة والوزن والتكلفة مع ضمان التوافق مع إدخال كابل وحدة تزويد الطاقة (PSU) وتلبية قيود مساحة خزانة النظام. يتم تجميع المبادل الحراري الخلفي PSU بشكل مستقل على دعامة العقدة.
يلغي حل التبريد السائل المبتكر هذا لمصادر الطاقة الحاجة إلى تطوير مصادر طاقة مخصصة جديدة تمامًا ومبردة بالسوائل. ومن خلال الاستفادة من تعدد استخداماته، فإنه يقلل بشكل كبير من دورات التطوير ويقلل التكاليف. يمكن أن يتكيف الحل بمرونة مع تصميمات مصادر الطاقة من بائعين متعددين، مما يؤدي إلى توفير في التكاليف بنسبة تزيد عن 60% مقارنة بمصادر الطاقة المخصصة المبردة بالسوائل.
بالنسبة لتطبيقات الخزانة بأكملها، يمكن أن يستخدم أسلوب التبريد السائل لإمداد الطاقة حل مبادل حراري مركزي للهواء والسائل. في هذا الإعداد، يتم إغلاق الأبواب الأمامية والخلفية للخزانة، ويتم وضع مبادل حراري مركزي للهواء والسائل في أسفل الخزانة. يحل هذا الهيكل المركزي محل المبادلات الحرارية للهواء السائل الموزعة والتي توجد عادة في وحدات إمداد الطاقة المثبتة في الخلف.
يتميز المبادل الحراري المركزي للهواء السائل بزعانف مموجة من الألومنيوم مع طلاءات محبة للماء، بالإضافة إلى أنابيب نحاسية ذات معامل نقل حراري عالي. يمكن أن يوفر ما لا يقل عن 8 كيلو واط من قدرة التبريد مع اختلاف في درجة الحرارة قدره 10 درجات مئوية. تم تحسين مسار تدفق المبادل الحراري للحصول على مقاومة منخفضة، مما يسمح له بالتعامل مع معدلات تدفق أعلى. فهو يتضمن تصميمًا مضادًا للتكثيف وكشفًا شاملاً عن التسرب للتخلص من مخاطر السلامة. يضمن تصميم المفصلة الفريد قدرة تحمل قوية، بينما يسهل تصميم التوصيل الإضافي سهولة التركيب والصيانة.
مع الأخذ في الاعتبار أن أكثر من 95% من الحرارة المتولدة بواسطة خادم مبرد بالسائل بالكامل يتم تبديدها من خلال لوحة التبريد، فإن جزءًا صغيرًا فقط (أقل من 5%) يتطلب مبادلات حرارية بين الهواء والسائل لإجراء حسابات التبريد. تنتج كل عقدة فردية ما يقرب من 40-50 واط من الحرارة التي يمكن إدارتها بكفاءة من خلال مبادل حراري مركزي للهواء السائل يدعم 8 كيلو واط من تبديد الحرارة. يمكن لهذا الحل أن يبرد بشكل فعال أكثر من 150 عقدة من مصادر الطاقة، وكل ذلك بتكلفة أقل بكثير من نشر 150 مبادل حراري منفصل للهواء السائل.
من خلال تنفيذ هذا الأسلوب، تظل مصادر طاقة الخادم دون تعديل، ويتم جمع الحرارة المتولدة وتبادلها بكفاءة في الجزء الخلفي من الخزانة باستخدام المبادل الحراري المركزي للهواء والسائل. يضمن هذا التداول المستقل داخل الخزانة عدم وجود أي تأثير سلبي على بيئة مركز البيانات، مما يحقق حقًا مفهوم "الحامل كجهاز كمبيوتر".