تحليل NVIDIA GB200: بنية الترابط والتطور المستقبلي

تحليل بنية الربط GB200

حساب عرض النطاق الترددي NVLink

لدى NVIDIA الكثير من الالتباس في حساب النطاق الترددي لنقل NVLink ومفاهيم SubLink/Port/Lane. عادةً، يبلغ عرض النطاق الترددي NVLink لشريحة B200 واحدة 1.8 تيرابايت/ثانية. يتم حساب ذلك عادةً باستخدام خوارزمية عرض النطاق الترددي للذاكرة، حيث تكون الوحدة بايت في الثانية (B/s). ومع ذلك، في محولات NVLink أو محولات IB/Ethernet وبطاقات الشبكة، يكون المنظور من Mellanox، الذي يحسب عرض النطاق الترددي للشبكة بالبت في الثانية (b/s). دعونا نشرح طريقة حساب NVLink بالتفصيل. بدءًا من NVLink 3.0، تشكل أربعة أزواج تفاضلية "رابطًا فرعيًا" (غالبًا ما تستخدم NVIDIA المصطلح Port/Link، مع تعريف غامض إلى حد ما). تحتوي هذه الأزواج الأربعة من خطوط الإشارة التفاضلية على إشارات اتجاه الاستقبال والإرسال. عند حساب النطاق الترددي للشبكة، تشير الواجهة بسرعة 4 جيجابت في الثانية عادةً إلى القدرة على إرسال واستقبال 400 جيجابت في الثانية من البيانات في وقت واحد.

وهو يتألف من إجمالي 4 أزواج من خطوط الإشارة التفاضلية، مع زوجين لكل من RX وTX. من منظور الشبكة، فهو رابط أحادي الاتجاه بسرعة 2 جيجابت في الثانية، بينما من منظور عرض النطاق الترددي للذاكرة، فهو يدعم عرض نطاق وصول للذاكرة يبلغ 400 جيجابت في الثانية.

NVLINK 5.0 عرض النطاق الترددي البيني

يستخدم جيل Blackwell 224G Serdes، مع معدل نقل للوصلة الفرعية يبلغ 200 جيجابت في الثانية * 4 (4 أزواج تفاضلية) / 8 = 100 جيجابت في الثانية، وعرض نطاق شبكة أحادي الاتجاه يبلغ 400 جيجابت في الثانية. يحتوي B200 على 18 رابطًا فرعيًا، مما يؤدي إلى عرض نطاق ترددي يبلغ 100 جيجابايت/ثانية * 18 = 1.8 تيرابايت/ثانية، وهو ما يعادل 9 واجهات أحادية الاتجاه بسرعة 400 جيجابايت في الثانية من منظور الشبكة. وبالمثل، تشير مقدمة NVSwitch إلى أن Dual 200Gb/sec SerDes تشكل 400Gbps

رياضة.

ومن أجل الوضوح، نحدد المصطلحات التالية:

يبلغ عرض النطاق الترددي B200 NVLINK 1.8 تيرابايت/ثانية، ويتألف من 18 منفذًا، كل منها بسرعة 100 جيجابايت/ثانية، ويتكون من أربعة أزواج تفاضلية، حيث يحتوي كل منفذ على اثنين من Serdes بسرعة 224 جيجابت في الثانية (2x224G PAM4 يعادل 400Gbps عرض النطاق الترددي أحادي الاتجاه لكل منفذ).

ربط NVLINK 4.0

فيما يتعلق بـ Hopper، يستخدم NVLINK 4.0 112G Serdes، مع خط إشارة تفاضلي واحد قادر على 100 جيجابت في الثانية، مما يؤدي إلى ارتباط فرعي NVLINK فردي تراكمي يبلغ 4x100 جيجابت في الثانية = 50 جيجابت في الثانية. تحتوي منتجات Hopper التي تدعم NVLINK 4.0 على 18 رابطًا فرعيًا (منفذًا)، لذلك يدعم H100 واحد 50 جيجابايت/ثانية * 18 = 900 جيجابايت/ثانية. يمكن لنظام واحد يحتوي على 8 بطاقات استخدام 4 NVSwitches للاتصال، كما هو موضح في الصورة.

من الممكن أيضًا إضافة مفتاح المستوى الثاني لإنشاء مجموعة مكونة من 256 بطاقة.

تستخدم واجهة التوسعة الوحدات الضوئية OSFP، والتي يمكنها دعم 16 خط إشارة تفاضلية، مما يسمح لـ OSFP واحد بدعم 4 منافذ NVLINK.

يحتوي محول NVLink الموجود في الصورة على 32 موصلًا للوحدة الضوئية OSFP، مما يدعم إجمالي 32 * 4 = 128 NVLINK 4 Ports.

GB200 NVL72

يتمتع نظام GB200 NVL72 بالمواصفات التالية، مع التركيز بشكل أساسي على التوصيل البيني NVLINK:

يحتوي كل GB200 على وحدة المعالجة المركزية Grace ARM ذات 72 نواة ووحدتي معالجة رسوميات Blackwell.

يتكون النظام بأكمله من صواني الحساب وصواني التبديل. تحتوي كل علبة حوسبة على نظامين فرعيين GB200، بإجمالي 4 وحدات معالجة رسومات Blackwell.

تحتوي كل علبة محول على شريحتي تبديل NVLINK، مما يوفر إجمالي 72 * 2 = 144 منفذ NVLINK. يظهر الهيكل الداخلي لشريحة تبديل واحدة، مع 36 منفذًا في الأعلى والأسفل، مما يوفر عرض نطاق ترددي يبلغ 7.2 تيرابايت/ثانية. باستخدام حسابات الشبكة، يعادل هذا 28.8 تيرابت في الثانية من سعة التحويل، أي أقل قليلاً من شريحة التبديل الحالية الرائدة التي تبلغ 51.2 تيرابت في الثانية، ولكن هذا يرجع إلى تنفيذ وظيفة SHARP (NVLS).

يدعم الحامل بأكمله 18 صينية حوسبة و9 أدراج محولات، مما يشكل بنية NVL72 مع 72 شريحة Blackwell متصلة بالكامل.

يحتوي كل نظام فرعي GB200 على 2 * 18 = 36 منفذ NVLink5. لا يستخدم التوصيل البيني الخارجي للنظام وحدات OSFP الضوئية، بل يستخدم اتصال لوحة الكترونية معززة نحاسية مباشرة، كما هو موضح في الرسم التخطيطي.

الهيكل العام لربط NVL72 هو كما يلي:

يحتوي كل جهاز B200 على 18 منفذ NVLINK، ويوجد 18 شريحة تبديل NVLINK عبر 9 صواني التبديل. لذلك، يتصل كل منفذ من منافذ B200 بشريحة NVSwitch واحدة، مما يؤدي إلى إجمالي 72 منفذًا لكل NVSwitch، وهذه هي الطريقة التي يربط بها نظام NVL72 جميع شرائح B72 البالغ عددها 200 شريحة بشكل كامل.

NVL576

نلاحظ أنه في خزانة NVL72، لم تعد جميع المفاتيح تحتوي على واجهات إضافية لتشكيل مجموعة مفاتيح أكبر من طبقتين. من صور NVIDIA الرسمية، تم ترتيب 16 خزانة في صفين، وعلى الرغم من أن المجموع هو بالضبط 72 * 8 = 576 بطاقة مجموعة مبردة بالسائل، إلا أن كابلات التوصيل بين البطاقات تبدو أكثر من خلال شبكة Scale-Out RDMA interconnection، وليس شبكة Scale-Up NVLINK interconnection.

بالنسبة لمجموعة مكونة من 32,000 بطاقة، يتم ذلك أيضًا من خلال خزائن NVL72، وصف واحد من 9 خزائن، و4 NVL72 و5 خزائن شبكة، وصفين من 18 خزانة تشكل حاوية فرعية، ومتصلة من خلال شبكة RDMA Scale-Out.

بالطبع، هذا ليس ما يسمى NVL576. إذا كان NVL576 مطلوبًا، فيجب تكوين كل 72 GB200 بـ 18 NVSwitches، وهو ما لن يتناسب مع خزانة واحدة. نلاحظ أن المسؤول ذكر أن هناك إصدارًا بخزانة واحدة من NVL72، بالإضافة إلى إصدار بخزانتين، وفي إصدار الخزانة المزدوجة، تحتوي كل صينية حسابية على نظام فرعي GB200 واحد فقط.

من ناحية أخرى، نلاحظ وجود موصلات كبلات نحاسية احتياطية على NVSwitch، والتي من المحتمل أن تكون مخصصة لوصلات لوحة الكترونية معززة نحاسية مختلفة.

من غير المعروف ما إذا كانت هذه الواجهات ستحتوي على أقفاص OSFP إضافية فوق اللوحة الإلكترونية المعززة للتوصيل البيني النحاسي للتوصيل البيني NVSwitch من الطبقة الثانية، ولكن هذه الطريقة لها ميزة واحدة: إصدار الخزانة المفردة غير قابل للتطوير، في حين أن إصدار الخزانة المزدوجة قابل للتطوير، كما يظهر في الصورة.

يحتوي إصدار الخزانة المزدوجة على 18 صينية NVSwitch، والتي يمكن ربطها ببعضها البعض لتشكل NVL72. على الرغم من تضاعف عدد المحولات، إلا أن كل محول يوفر 36 منفذًا للوصلة الصاعدة للتوسع المستقبلي إلى المجموعة المكونة من 576 بطاقة. تحتوي الخزانة الواحدة على إجمالي 36*2*9 = 648 منفذًا للوصلة الصاعدة، ويلزم وجود 16 خزانة لتشكيل NVL576، مما يؤدي إلى إجمالي 648*16 = 10,368 منفذًا للوصلة الصاعدة، والتي يمكن إنشاؤها بواسطة 9 مستويات تبديل من الطبقة الثانية ، تحتوي كل منها على 36 مستوى فرعيًا، مكونة من 18 صينية تبديل. يظهر أدناه هيكل التوصيل البيني لـ NVL576.

فحص NVL576 من منظور الأعمال

أشعر بالتشكك فيما إذا كان هناك عملاء حقيقيون لشبكة NVLink Scale-Up واحدة ضخمة مثل NVL576. حتى أن AWS اختارت فقط تقديم NVL72 في خدماتها السحابية. تتمثل المشكلات الرئيسية في تحديات الموثوقية وقابلية التوسع في بنية الشبكة ذات المستويين، مما يجعل NVL576 ليس حلاً مثاليًا بسبب تعقيد نظامه العالي.

من ناحية أخرى، عند النظر في متطلبات الحوسبة للجيل التالي من النماذج الكبيرة، فإن الورقة التعريفية "كيفية بناء شبكات منخفضة التكلفة لنماذج اللغات الكبيرة (دون التضحية بالأداء)؟" يناقش هذا. تشير الورقة إلى شبكة Scale-Up القائمة على NVLink باعتبارها "مجال النطاق الترددي العالي (HBD)"، وتحلل العدد الأمثل للبطاقات داخل HBD:

بالنسبة لنموذج GPT-1T، لا تزال مكاسب الأداء كبيرة جدًا عندما تكون K> 36 مقارنةً بـ K = 8، لكن الفوائد الهامشية للتحجيم من K> 72 إلى K = 576 لا تبرر زيادة تعقيد النظام. بالإضافة إلى ذلك، مع نمو حجم شبكة NVLINK القابلة للتوسيع، تبدأ فوائد الأداء لعرض النطاق الترددي RDMA بين HBDs في التناقص. التوازن النهائي هو استخدام NVL72 مع RDMA Scale-Out لإنشاء مجموعة مكونة من 32,000 بطاقة.

تطور أنظمة الربط البيني: قصة سيسكو

البنية الموزعة بسبب اختناق الحساب/الذاكرة

في الأيام الأولى، استخدمت أجهزة توجيه Cisco معالج PowerPC واحدًا لإجراء إعادة التوجيه. مع انتشار الإنترنت، كان سبب اختناق الأداء هو العمليات التي تستهلك الذاكرة بشكل مكثف مثل عمليات البحث في جدول التوجيه. أدى هذا إلى الظهور التدريجي لأساليب مثل تبديل العمليات/CEF، والتي تربط معالجات متعددة عبر ناقل البيانات:

تشبه هذه الطرق الإصدارات المبكرة من NVLINK 1.0 / NVLINK 2.0، حيث تم ربط الرقائق مباشرة عبر ناقل، مثل جيل باسكال.

ظهور نسيج التبديل

في عام 1995، اقترح Nick Mckeown استخدام نسيج التبديل CrossBar لدعم أجهزة توجيه Gigabit ذات النطاق الأعلى في ورقته البحثية "Fast Switched Backplane for a Gigabit Switched Router" - والتي أصبحت فيما بعد أجهزة توجيه سلسلة 12000 المتطورة من Cisco.

تتطابق أنسجة المحولات في هذه الأنظمة من الناحية المفاهيمية مع NVSwitch وNVSwitch Tray الحاليين اللذين يبنيان أنظمة NVL8~NVL72. يتعلق الأمر كله بربط شرائح متعددة لبناء نظام واسع النطاق عندما تصطدم شريحة واحدة بجدار الذاكرة.

يشبه تصميم الهيكل الفردي لـ Cisco 12000، مع Switch Fabric في المنتصف و9 أدراج تبديل، تصميم GB200، حيث يحتوي كل من الجزء العلوي والسفلي على 8 فتحات لبطاقات الخطوط، بما يتوافق مع أدراج الحوسبة في GB200.

التكنولوجيا الأساسية هنا هي تصميم VOQ (قائمة انتظار المخرجات الافتراضية) وخوارزمية جدولة iSLIP. عندما ينفذ النموذج الكل إلى الكل، قد تقوم عدة أجهزة B200 بالكتابة إلى نفس B200 في وقت واحد، مما يتسبب في حظر رأس الخط (HOLB). يضيف البشر بذكاء مخازن مؤقتة قبل وبعد التقاطعات، وهي قائمة انتظار الإدخال وقائمة انتظار الإخراج:

لسوء الحظ، يمكن لقائمة انتظار الإخراج أن تزيد من استخدام عرض النطاق الترددي ولكنها تتطلب سرعة N*R، بينما يمكن لقائمة انتظار الإدخال المعالجة بسرعة R ولكنها تعاني من HOLB. تم حساب الحد الأقصى للإنتاجية لمفتاح IQ المحدود بـ HOLB ليكون 58.6%.

الحل البسيط لمشكلة IQ HOLB هو استخدام قائمة انتظار الإخراج الافتراضية (VOQ)، حيث يحتوي كل منفذ إدخال على قائمة انتظار لكل مخرج، مما يؤدي إلى التخلص من HOLB مع الحفاظ على التخزين المؤقت لسرعة R.

بالطبع، يستخدم NVLINK من NVIDIA تصميمًا قائمًا على الائتمان، ويعتبر تحكيم توزيع الائتمان مجالًا يستحق البحث المتعمق للشركات الناشئة المحلية في مجال GPU.

العمارة متعددة المراحل وتطور الوصلات البصرية

يشبه NVL576 نظام توجيه الناقل (CRS-1) من Cisco الذي تم تقديمه في عام 2003.

في ذلك الوقت، قامت شركة Cisco ببناء نظام شبكة تحويل متعدد المراحل لمواجهة الطلب الضخم على النطاق الترددي أثناء فقاعة الإنترنت.

شبكة التبديل ثلاثية المراحل داخل خزانة واحدة، والتي تم إنشاؤها باستخدام Switch Trays، تعادل GB3 NVL200 الحالي غير القابل للتطوير. ويتوافق هيكل الخزانات المتعددة بعد ذلك مع NVL72. في ذلك الوقت، كان بإمكان Cisco التوسع من خزانة واحدة تحتوي على 576 بطاقة Line Card إلى نظام يحتوي على 16 خزانات قماشية + 8 خزانة Line Card، مما أدى إلى بناء مجموعة واسعة النطاق من 72 Line Card. تستخدم اتصالات Cisco الداخلية أيضًا التوصيلات البينية الضوئية.

تظهر الموصلات الضوئية بين الهيكل في الصورة.

تجدر الإشارة إلى أنه خلال هذا الوقت، قام بيل دالي، الذي أصبح الآن كبير العلماء في NVIDIA، بتأسيس Avici واستخدم اتصالات 3D-Torus لبناء أجهزة توجيه بحجم Terabit.

يذكرنا الاتصال البيني 3D-Torus بأحد أجهزة TPU الخاصة بشركة Google. لاحقًا، قامت شركة Huawei OEM'd بنظام Avici ووصفته بأنه NE5000، قبل تطوير منتج جهاز التوجيه الأساسي الخاص بها NE5000E. وفي الوقت نفسه، أدى ظهور Juniper أيضًا إلى فرض ضغط كبير على شركة Cisco في مجال جهاز التوجيه الأساسي. ربما ستواجه هيمنة NVIDIA أيضًا المزيد من التحديات في المستقبل.

من ناحية أخرى، تم تقديم المفاتيح الضوئية المعتمدة على MEMS أيضًا في تلك الحقبة، والتي يبدو أنها تحتوي على بعض أوجه التشابه مع استخدام Google الحالي للمفاتيح الضوئية.

التطور المستقبلي لـ NVIDIA

في مؤتمر HOTI لعام 2023 حول أنظمة الربط البيني، ألقى بيل دالي كلمة رئيسية بعنوان "مجموعات المسرعات، الكمبيوتر العملاق الجديد"، ناقش فيها ثلاثة مواضيع رئيسية من منظور الشبكات الموجودة على الرقاقة وأنظمة التوصيل البيني:

طوبولوجيا:

• CLOS/3D-Torus/Dragonfly
• التوجيه:
• التحكم في التدفق

تختلف اتصالات الأجهزة المختلفة في نطاقات التردد واستهلاك الطاقة.

ويكمن التحدي في كيفية الجمع بينها بشكل عضوي، مع الأخذ في الاعتبار عوامل مثل الطاقة والتكلفة والكثافة ومسافة الاتصال.

الوصلات البصرية

من خلال هذه القياسات الأبعاد، تصبح Co-Package Optic DWDM خيارًا قابلاً للتطبيق:

مخطط مفهوم النظام لبناء الوصلات الضوئية هو كما يلي:

الهدف النهائي هو بناء نظام ربط بصري واسع النطاق.

في هذا الجانب، سترى أنه مطابق تقريبًا لنظام CRS-1 متعدد الهياكل الذي بنته شركة Cisco، حيث يعادل حامل GPU هيكل Cisco LineCard، ويعادل Switch Rack هيكل Cisco القماشي. كلاهما يستخدم الوصلات الضوئية وتقنية DWDM لتقليل تعقيد الاتصال وزيادة عرض النطاق الترددي.

على مستوى بنية الشريحة، يتم استخدام المحرك البصري كشريحة للتوصيل البيني.

بالنسبة لبنية التوصيل البيني، هناك ميل أكبر نحو اعتماد طوبولوجيا Dragonfly واستخدام المفاتيح الضوئية OCS.

أما بالنسبة لخوارزميات التحكم في التدفق والتحكم في الازدحام، فقد ناقش بيل آليات مشابهة لـ HOMA/NDP والتوجيه التكيفي. ليس من الضروري أن تكون بهذا التعقيد، حيث لدينا خوارزميات MultiPath CC أفضل والتي لا تتطلب أي ميزات تبديل جديدة.

الخوارزميات وتكامل الأجهزة الخاصة

من ناحية أخرى، كان Transformer موجودًا منذ 7 سنوات، وهو عبارة عن خوارزمية ممتازة تعمل على الموازنة بين المشغلين المرتبطين بالحوسبة والمشغلين المرتبطين بالذاكرة. ومع ذلك، هل هناك خوارزمية أكثر تعقيدًا في الصناعة؟

يتم البحث في نماذج الاهتمام المتفرق مثل Monarch Mixer، والنماذج التي لا تتطلب الانتباه مثل Mamba/RMKV، بالإضافة إلى الخوارزميات المستندة إلى نظرية الفئة والهندسة الجبرية والطوبولوجيا الجبرية. هناك أيضًا تنسيقات رقمية مختلفة مثل FP4/FP6 التي تدعمها Blackwell، وربما Log8 في المستقبل.

تاريخيًا، اعتمدت شركة Cisco أيضًا على الخوارزميات والأجهزة الخاصة لتحسين أداء الشريحة الواحدة تدريجيًا والتغلب على تعقيد هياكل التوصيل البيني. لقد استخدموا خوارزميات مثل TreeBitMap لإجراء عمليات بحث واسعة النطاق في جدول التوجيه على ذاكرة الوصول العشوائي الديناميكية (DRAM) العادية.

ومع تطوير الشبكات متعددة النواة والشبكات الموجودة على الرقاقة، قاموا ببناء معالجات شبكات SPP/QFP/QFA عالية الأداء، وقد عادت هذه التقنيات إلى الظهور في معالجات AWS Nitro وNVIDIA BlueField وIntel IPU DPU.

وفي الختام

قام FibeMall بتحليل أحدث بنية التوصيل البيني لـ Blackwell GPU واستكشف بناء النظام الموزع وهندسة التوصيل البيني التي واجهتها Cisco وNVIDIA عندما لم يتمكن أداء الشريحة الواحدة من مواكبة الطلب الهائل خلال موجتين تكنولوجيتين، كما تمت مناقشته في "لحظة Cisco من NVIDIA". كما قامت بتحليل الكلمة الرئيسية لـ Bill Dally لعام 2023 HOTI، مما يوفر رؤية واضحة لمسار التطوير المستقبلي لـ NVIDIA.

ومع ذلك، نلاحظ أيضًا أنه خلال ذروة فقاعة الإنترنت، ظهرت شركات مثل Juniper وAvici كمنافسين لشركة Cisco، كما هزمت NVIDIA أيضًا 3Dfx كمنافس في تلك الحقبة قبل أن تهيمن على السوق الاحترافية. كل عصر له فرصه، والفائزون ليسوا ببساطة أولئك الذين يكدسون المزيد من الموارد، بل أولئك الذين يبتكرون من خلال الجمع بين الخوارزميات والقوة الحاسوبية والأجهزة.

من وجهة نظر المنافس، فإن صعوبة جوهر الحوسبة نفسها، بصرف النظر عن النظام البيئي CUDA، ليست كبيرة. في الآونة الأخيرة، كان جيم كيلر وبعض لاعبي HBM في كوريا الجنوبية واليابان نشطين، وما إذا كانت BUDA+RISC-V+HBM ستصبح قوة ناشئة جديدة أم لا، فإن الأمر يستحق المشاهدة.

من منظور استبدال أنظمة التوصيل البيني IB/NVLINK، تمتلك Ethernet بالفعل شرائح تبديل بسرعة 51.2 تيرابت في الثانية، وبروتوكولات الاتصال المستندة إلى اتصالات Ethernet عالية السرعة بـ HBM، التي تدعم الحوسبة داخل الشبكة مثل SHARP، تم تصميمها بالفعل في NetDAM منذ ثلاث سنوات.