في عصر نماذج الذكاء الاصطناعي الكبيرة، أصبح تدريب نماذج الذكاء الاصطناعي باستخدام وحدة معالجة رسومية واحدة شيئًا من الماضي منذ فترة طويلة. لقد أصبحت كيفية ربط مئات أو آلاف وحدات معالجة الرسوميات لتشكيل نظام حوسبة فائق يبدو وكأنه وحدة معالجة رسوميات واحدة موضوعًا ساخنًا في الصناعة!
NVIDIA DGX SuperPOD هو الجيل القادم من بنية الذكاء الاصطناعي لمركز البيانات. وهو مصمم لتقديم مستويات أداء الحوسبة المطلوبة لتحديات الحوسبة المتقدمة في تدريب نموذج الذكاء الاصطناعي والاستدلال والحوسبة عالية الأداء والتطبيقات الهجينة لتحسين الأداء التنبئي وتقصير وقت الحل. دعنا نتعرف على حل بنية الربط بين وحدات معالجة الرسوميات لأجيال NVIDIA الثلاثة من المنتجات: H100→GH200→GB200.
إنشاء SuperPod مع 256 وحدة معالجة رسومية استنادًا إلى H100
في حالة DGX A100، يتم ربط وحدات معالجة الرسوميات الثماني على كل عقدة عبر NVLink وNVSwitch، ويتم ربط الخوادم المختلفة بشكل مباشر باستخدام شبكة IB HDR بسرعة 200 جيجابت في الثانية (ملاحظة: يمكن للشبكة بين الخوادم استخدام إما شبكة IB أو شبكة RoCE).
في حالة DGX H100، تقوم NVIDIA بتوسيع NVLink داخل الخادم بين الخوادم وإضافة مفتاح شبكة NVLink. يكون NVSwitch مسؤولاً عن التبديل داخل الخادم، بينما يكون مفتاح شبكة NVLink مسؤولاً عن التبديل بين الخوادم. يمكن بناء SuperPod (أي نظام حوسبة فائق) يتكون من 256 وحدة معالجة رسومية H100 بناءً على NVSwitch ومفتاح شبكة NVLink. لا يزال النطاق الترددي المخفض لـ 256 بطاقة معالجة رسومية قادرًا على الوصول إلى 450 جيجابايت/ثانية، وهو نفس النطاق الترددي المخفض لـ 8 بطاقات معالجة رسومية في خادم واحد.
ومع ذلك، فإن SuperPod من DGX H100 يعاني أيضًا من بعض المشكلات. فهناك 72 اتصال NVLink فقط عبر عقد DGX H100، ونظام SuperPod ليس شبكة غير متقاربة. وكما هو موضح في الشكل أدناه، في نظام DGX H100، تحتفظ أربعة مفاتيح NVSwitches بـ 72 اتصال NVLink للاتصال بأنظمة DGX H100 الأخرى من خلال مفتاح شبكة NVLink. ويبلغ إجمالي النطاق الترددي ثنائي الاتجاه لاتصالات NVLink البالغ عددها 72 اتصالًا 3.6 تيرابايت/ثانية، بينما يبلغ إجمالي النطاق الترددي ثنائي الاتجاه لـ 8 H100s 7.2 تيرابايت/ثانية. وبالتالي، يوجد تقارب عند مفتاح NVSwitch في نظام SuperPod.
SuperPod مع 256 وحدة معالجة رسومية تعتمد على H100
بناء SuperPod 256 GPU استنادًا إلى GH200 وGH200 NVL32
في عام 2023، أعلنت NVIDIA أن محرك الذكاء الاصطناعي التوليدي DGX GH200 دخل مرحلة الإنتاج الضخم. GH200 عبارة عن مزيج من وحدة معالجة الرسوميات H200 (الفرق الرئيسي بين H200 وH100 يكمن في حجم الذاكرة وأداء النطاق الترددي) ووحدة المعالجة المركزية Grace. تتوافق وحدة معالجة مركزية Grace واحدة مع وحدة معالجة رسوميات H200 واحدة. بالإضافة إلى اتصال NVLink4.0 بين وحدات معالجة الرسوميات، يستخدم GH200 أيضًا اتصال NVLink4.0 بين وحدات معالجة الرسوميات ووحدات المعالجة المركزية.
يعمل GH200 على تحسين قوة الحوسبة من خلال قدرة النطاق الترددي للشبكة البالغة 900 جيجابايت/ثانية من NVLink 4.0. يمكن استخدام حلول الأسلاك النحاسية داخل الخادم، ولكن يمكن استخدام اتصالات الألياف الضوئية بين الخوادم. بالنسبة لمجموعة واحدة من 256 شريحة GH200، يتوافق GH200 واحد على جانب الحوسبة مع تسعة أجهزة إرسال واستقبال بصرية بسرعة 800 جيجابت في الثانية (كل 800 جيجابت في الثانية يتوافق مع 100 جيجابايت/ثانية، رابطان NVLink 4.0). الفرق بين GH200 SuperPod وDGX H100 SuperPod هو أن GH200 يستخدم مفتاح شبكة NVLink للربط المتبادل داخل عقدة واحدة وبين العقد. يعتمد DGX GH200 على بنية شجرة الدهون ذات المستويين، والتي تتكون من 8 GH200s و3 مفاتيح شبكة NVLink من المستوى الأول (تحتوي كل علبة NVSwitch على شريحتين NVSwitch ولديها 2 منفذًا) لتشكيل خادم واحد. يتم ربط 128 خادمًا فرديًا بشكل كامل عبر 32 مفتاح شبكة NVLink من المستوى الثاني لتشكيل SuperPod من 36 GH256s (لاحظ أن هناك 200 مفتاح شبكة NVLink من المستوى الثاني لضمان عدم التقارب).
GH200 NVL32 عبارة عن مجموعة على مستوى الرف. تحتوي وحدة GH200 NVL32 واحدة على 32 وحدة معالجة رسومية GH200 و9 علب NVSwitch (18 شريحة NVSwitch3.0). إذا تم تشكيل عقدة فائقة GH200 NVL32 تحتوي على 256 وحدة معالجة رسومية، فستكون هناك حاجة إلى 36 مفتاح شبكة NVLink بين الخوادم من المستوى الأول.
إنشاء SuperPod مع وحدة معالجة رسومية 576 استنادًا إلى GB200 NVL72
على عكس GH200، يتكون GB200 من وحدة معالجة مركزية واحدة من Grace ووحدتي معالجة رسوميات من Blackwell (ملاحظة: قوة الحوسبة لوحدة معالجة رسوميات واحدة ليست معادلة تمامًا لـ B1). تم تصميم درج الحوسبة GB2 استنادًا إلى NVIDIA MGX. يحتوي درج الحوسبة الواحد على وحدتي معالجة مركزية من Grace و200 وحدات معالجة رسوميات. تحتوي عقدة GB200 NVL2 على 200 درج حوسبة GB2، أي 4 وحدة معالجة مركزية من Grace و200 وحدة معالجة رسوميات و72 درج تبديل شبكة NVLink (تحتوي كل وحدة معالجة رسوميات من Blackwell على 18 NVLink، وتحتوي كل درج تبديل شبكة NVLink من الجيل الرابع على 200 منفذ NVLink، لذا يلزم 36 (72*9/18=4) درج تبديل شبكة NVLink لتحقيق الترابط الكامل).
وفقًا للترويج الرسمي لشركة NVIDIA، تشكل ثماني وحدات معالجة رسومية من نوع GB200 NVL72 وحدة SuperPod، وبالتالي تشكل عقدة فائقة تتكون من 576 وحدة معالجة رسومية. ومع ذلك، من خلال التحليل، يمكننا أن نرى أن صواني التبديل التسعة لشبكة NVLink في خزانة GB9 NVL200 تُستخدم جميعها لتوصيل 72 وحدة معالجة رسومية من نوع GB72. لا توجد واجهات NVLink إضافية للتوسع لتشكيل مجموعة تبديل ذات طبقتين أكبر نطاقًا. من الصور الرسمية لشركة NVIDIA، فإن وحدة SuperPod المكونة من 200 وحدة معالجة رسومية متصلة في الغالب من خلال شبكة Scale-Out RDMA بدلاً من شبكة Scale-Up NVLink. إذا احتجنا إلى دعم وحدة SuperPod مع 576 وحدة معالجة رسومية من خلال الربط البيني لـ NVLink، فنحن بحاجة إلى تكوين 576 وحدة NVSwitches لكل 18 وحدة معالجة رسومية من نوع GB72، وهو ما لن يتناسب مع خزانة واحدة.
بالإضافة إلى ذلك، أعلنت NVIDIA رسميًا أن NVL72 لديه إصدار أحادي الخزانة وإصدار مزدوج الخزانة، وكل درج حسابي للخزانة المزدوجة يحتوي على نظام فرعي GB200 واحد فقط. في هذه الحالة، من الممكن استخدام إصدار الخزانة المزدوجة لدعم SuperPod من 576 وحدة معالجة رسومية من خلال الربط NVLink وكل خزانة مزدوجة من إصدار الخزانة المزدوجة هذا يحتوي على 72 وحدة معالجة رسومية GB200 و18 درج تبديل شبكة NVLink، والتي يمكن أن تلبي احتياجات النشر لمجموعة من طبقتين. كما هو موضح في الشكل التالي:
SuperPod مع 576 وحدة معالجة رسومية تعتمد على GB200
إنه مشابه للجيل السابق من 256 بنية H200 المترابطة بالكامل، باستثناء أن عدد الأجهزة في المستويين الأول والثاني مختلف، مما يتطلب مستويين من ربط مفتاح شبكة NVLink: نصف المنافذ في المستوى الأول تربط 576 وحدة معالجة رسومية من Blackwell، لذا يلزم 576*18/(144/2) =144 مفتاح شبكة NVLink، ويحتوي كل NVL72 على 18 صينية مفتاح شبكة NVLink. جميع المنافذ في المستوى الثاني متصلة بمنافذ مفتاح شبكة NVLink في المستوى الأول، لذا يلزم 144*72/144=72 مفتاح NVSwitches.