الكشف عن قرارات التكنولوجيا المتصلة في مركز الحوسبة الذكية

واجه نظام NVIDIA DGX H100، المصمم في الأصل لدمج 256 وحدة معالجة رسومات NVIDIA H100، تحديات في الاعتماد التجاري. تشير مناقشات الصناعة إلى أن العقبة الرئيسية كانت تتمثل في الافتقار إلى فعالية التكلفة. استخدم النظام الألياف الضوئية بكثافة لاتصالات وحدة معالجة الرسومات، مما أدى إلى زيادة تكاليف فاتورة المواد (BoM) بما يتجاوز ما كان معقولًا اقتصاديًا لتكوين NVL8 القياسي.

على الرغم من ادعاء NVIDIA بأن NVL256 الموسع يمكن أن يوفر ما يصل إلى 2x من الإنتاجية لتدريب 400B MoE، إلا أن بعض العملاء الكبار ما زالوا متشككين. في حين أن أحدث NDR InfiniBand يقترب من 400 Gbit/s و NVLink4 يصل إلى 450 GB/s نظريًا، فإن تصميم النظام - الذي يتميز بـ 128 L1 NVSwitches و 36 L2 NVSwitches خارجي - يخلق نسبة حظر 2:1. وبالتالي، لا يمكن لكل خادم استخدام سوى نصف عرض النطاق الترددي الخاص به للاتصال بخادم آخر. تعتمد NVIDIA على تقنية NVLink SHARP لتحسين الشبكة وتحقيق عرض نطاق ترددي مكافئ للجميع.

كشف تحليل قائمة المواد (BoM) H100 NVL256 خلال مؤتمر Hot Chips 34 أن التوسع في NVLink256 أدى إلى زيادة تكلفة BoM بحوالي 30% لكل وحدة فائقة (SU). نظرًا لأن النظام يتجاوز 2048 وحدة معالجة رسوميات H100، فإن الانتقال من هيكل شبكة InfiniBand ثنائي الطبقة إلى هيكل ثلاثي الطبقات يقلل بشكل طفيف من النسبة المئوية لتكاليف InfiniBand.

أعادت NVIDIA تصميم NVL256 لإنشاء NVL32، وذلك باستخدام العمود الفقري النحاسي المعزز المشابه لتصميم NVL36/NVL72 Blackwell. وافقت AWS على شراء 16k GH200 NVL32 لمبادرة Project Ceiba الخاصة بها. يُقدر أن علاوة التكلفة لـ NVL32 المعاد تصميمه أعلى بنسبة 10% من فاتورة المواد القياسية المتقدمة HGX H100 (BoM). مع استمرار نمو أعباء العمل، تدعي NVIDIA أن NVL32 سيكون أسرع بمقدار 1.7 مرة لـ GPT-3 175B و16k GH200، وأسرع مرتين لاستدلال 2B LLM مقارنة بـ 500k H16. تعمل نسب الأداء إلى التكلفة الجذابة هذه على دفع المزيد من العملاء نحو اعتماد تصميم NVIDIA الجديد.

فيما يتعلق بالإطلاق المتوقع لـ GB200 NVL72، فقد تعلمت NVIDIA من فشل H100 NVL256. وهم يستخدمون الآن الكابلات النحاسية، والتي يشار إليها باسم "NVLink Spin"، لمعالجة المخاوف المتعلقة بالتكلفة. من المتوقع أن يؤدي تغيير التصميم هذا إلى تقليل تكلفة البضائع (COG) وتمهيد الطريق لنجاح GB200 NVL72. من خلال اعتماد التصميم النحاسي، من المتوقع أن يوفر NVL72 حوالي 6 أضعاف التكاليف لكل حامل GB200 NVL72، مما يؤدي إلى توفير الطاقة بحوالي 20 كيلووات لكل حامل GB200 NVL72 و10 كيلووات لكل حامل GB200 NVL32. على عكس H100 NVL256، لن يستخدم GB200 NVL72 أي محولات NVLink داخل عقد الحوسبة؛ وبدلاً من ذلك، ستستخدم طوبولوجيا شبكة مسطحة محسنة للسكك الحديدية. لكل 72 جيجا بايت 200 وحدة معالجة رسومات، سيكون هناك 18 محول NVLink. نظرًا لأن جميع التوصيلات تظل داخل نفس الحامل، فإن الاتصال الأبعد يمتد فقط إلى 19U (0.83 متر)، وهو ممكن باستخدام الكابلات النحاسية النشطة.

وفقًا لتقارير Semiana Analysis، تدعي NVIDIA أن تصميمها يمكن أن يدعم توصيل ما يصل إلى 576 جيجابايت من وحدات معالجة الرسومات ضمن نطاق NVLink واحد. قد يتضمن تحقيق ذلك إضافة طبقات تبديل NVLink إضافية. من المتوقع أن تحافظ NVIDIA على نسبة حظر 200:2، باستخدام 1 محول L144 NVLink و1 محول L36 NVLink داخل وحدات GB NVL2 SU. وبدلاً من ذلك، قد يعتمدون نسبة حجب أكثر قوة تبلغ 576:1، وذلك باستخدام 4 محول L18 NVLink فقط. سيستمرون في استخدام أجهزة إرسال واستقبال OSFP الضوئية لتوسيع الاتصالات من محولات L2 NVLink الخاصة بالحامل إلى محولات L1 NVLink.

كانت هناك شائعات بأن NVL36 وNVL72 يمثلان أكثر من 20% من عمليات تسليم NVIDIA Blackwell. ومع ذلك، يبقى السؤال ما إذا كان العملاء الكبار سيختارون NVL576 الأكثر تكلفة، حيث أن التوسع إلى NVL576 يتطلب تكاليف إضافية للمكونات البصرية. يبدو أن NVIDIA قد تعلمت من ذلك وأدركت أن تكاليف التوصيل البيني للكابلات النحاسية أقل بكثير من تكاليف الألياف الضوئية.

وفقًا لخبير صناعة أشباه الموصلات دوج أولانجلين، سوف تهيمن الوصلات النحاسية على مستوى مقياس الحامل، مما يزيد من قيمة النحاس قبل الانتقال إلى البصريات. يركز قانون مور الجديد على تعبئة أكبر قدر من القوة الحاسوبية في الرف. يعتقد O'Langhlin أن مجال NVLink عبر النحاس السلبي هو المعيار الجديد للنجاح، مما يجعل رفوف GB200 NVL72 خيارًا معقولًا على B200s.

من منظور الصناعة، تتمتع وصلات النحاس بمزايا واضحة في سيناريوهات الاتصالات قصيرة المدى. فهي تلعب دورًا حاسمًا في وصلات مراكز البيانات عالية السرعة، حيث تقدم فوائد في كفاءة الحرارة، وانخفاض استهلاك الطاقة، والفعالية من حيث التكلفة. مع تقدم معدلات SerDes من 56G و112G إلى 224G، من المتوقع أن تصل معدلات المنفذ الواحد إلى 1.6T بناءً على 8 قنوات، مما يؤدي إلى تخفيضات كبيرة في التكلفة في النقل عالي السرعة. لمعالجة خسائر نقل الكابلات النحاسية عالية السرعة، تعمل AEC وACC على تحسين مسافة الإشارة من خلال معززات الإشارة المدمجة، بينما تستمر عمليات إنتاج وحدات الكابلات النحاسية في التطور.

وفقًا لشركة Light Counting، من المتوقع أن ينمو حجم السوق العالمية لكابلات التوصيل المباشر السلبي (DAC) والكابلات الضوئية النشطة (AOC) بمعدلات نمو سنوية مركبة تبلغ 25٪ و45٪ على التوالي.

بين عامي 2010 و2022، زادت سعة النطاق الترددي لشرائح التبديل من 640 جيجابت في الثانية إلى 51.2 تيرابت في الثانية، مما أدى إلى زيادة بمقدار 80 ضعفًا في إجمالي استهلاك طاقة النظام. والجدير بالذكر أن استهلاك طاقة المكونات الضوئية زاد بمقدار 26 مرة.

تُظهر الوصلات البينية للكابلات النحاسية، بسبب افتقارها إلى التحويل الإلكتروني البصري، استهلاكًا منخفضًا للطاقة. تستهلك كابلات التوصيل المباشر النحاسية الحالية (DAC) أقل من 0.1 واط، مما يجعلها لا تذكر، في حين يمكن للكابلات النشطة (AEC) الاحتفاظ بالطاقة في حدود 5 واط، مما يساهم في تقليل استهلاك الطاقة الإجمالي في مجموعات الحوسبة.

في مسافة نقل الإشارة عالية السرعة التي يمكن الوصول إليها بواسطة كابلات النحاس، تكون تكلفتها أقل مقارنة باتصالات الألياف الضوئية. بالإضافة إلى ذلك، توفر وحدات الكابلات النحاسية نقلًا للإشارة الكهربائية بزمن انتقال منخفض للغاية على مسافات قصيرة وتحافظ على موثوقية عالية، مما يتجنب مخاطر فقدان الإشارة أو التداخل التي قد تواجهها الألياف الضوئية في بيئات معينة. علاوة على ذلك، فإن الخصائص الفيزيائية لكابلات النحاس تجعلها أسهل في التعامل معها وصيانتها ومتوافقة للغاية دون الحاجة إلى معدات تحويل إضافية.