Qu'est-ce que le réseau InfiniBand et la différence avec Ethernet ?

Histoire et normes

Développé à la fin des années 1990, InfiniBand a été conçu pour les interconnexions haut débit et faible latence dans les environnements HPC. Il fonctionne selon les normes de l'InfiniBand Trade Association (IBTA), et ses versions modernes, comme HDR et NDR, prennent en charge des débits allant jusqu'à 400 Gbit/s. Datant des années 1970, Ethernet est régi par les normes IEEE 802.3 et a évolué de 10 Mbit/s à 400 Gbit/s et au-delà, ce qui en fait un choix flexible pour diverses applications. Comprendre leur contexte historique et leurs normes permet de clarifier leur rôle dans les réseaux modernes.

Qu'est-ce que le réseau InfiniBand ?

L'architecture InfiniBand apporte la consolidation de la structure au centre de données La mise en réseau du stockage peut s'exécuter simultanément avec les structures de clustering, de communication et de gestion sur la même infrastructure, préservant ainsi le comportement de plusieurs structures.

InfiniBand est une technologie d'interconnexion de réseau standard ouverte avec une bande passante élevée, un faible délai et une fiabilité élevée. Cette technologie est définie par IBTA (InfiniBand trade alliance). Cette technologie est largement utilisée dans le domaine des clusters de supercalculateurs. Dans le même temps, avec l'essor de l'intelligence artificielle, c'est aussi la technologie d'interconnexion réseau privilégiée pour les serveurs GPU.

L'interconnexion haut débit (HSI) est devenue essentielle au développement des ordinateurs hautes performances, la puissance de calcul des unités centrales de traitement (UC) augmentant à un rythme effréné. L'HSI est une nouvelle technologie proposée pour améliorer les performances de l'interface de composants périphériques (PCI). Après des années de développement, les HSI prenant en charge le calcul haute performance (HPC) sont désormais principalement Gigabit Ethernet et InfiniBand, dont InfiniBand est l'infrastructure haute performance à la croissance la plus rapide. InfiniBand est une technologie hautes performances à faible latence, développée sous la supervision de l'InfiniBand Trade Association (IBTA).

IBTA a été fondée en 1999 par la fusion de deux organisations industrielles, le Future I/O Developers Forum et le NGI/O Forum. Il travaille sous la direction d'un comité de planification et d'exploitation composé de HP, IBM, Intel, Mellanox, Oracle, QLogic, Dell, Bull et autres. L'IBTA est spécialisée dans les tests de conformité et d'interopérabilité des produits, et ses membres ont travaillé pour faire avancer l'établissement et la mise à jour de la spécification InfiniBand.

La norme InfiniBand prend en charge la signalisation à débit de données unique (SDR) à un débit de base de 2.5 Gbits/s par voie pour permettre un débit de données brut de 10 Gbits/s sur des câbles 4X (le type de câble InfiniBand le plus couramment utilisé). La signalisation à double débit de données (DDR) et à quatre débits de données (QDR) permet d'adapter les voies simples jusqu'à 5 Gbits/s et 10 Gbits/s par voie, respectivement, pour un débit de données maximal potentiel de 40 Gbits/s sur 4X et 120 Gbits/s plus de câbles 12X.

Comparaison des technologies de mise en réseau

À l'heure actuelle, le dernier produit InfiniBand est le HDR produit par Mellanox, qui peut fournir une bande passante de bout en bout allant jusqu'à 200 Gbit/s pour le réseau, apporter une expérience réseau inégalée pour le calcul haute performance, l'intelligence artificielle et d'autres domaines, et maximiser le potentiel de calcul dans le cluster.

En tant que technologie d'interconnexion de grappes d'ordinateurs, InfiniBand présente des avantages significatifs par rapport à Ethernet/Fibre Channel et à la technologie obsolète Omni-Path, et est la principale technologie de communication réseau recommandée par l'InfiniBand Trade Association (IBTA). Depuis 2014, la plupart des supercalculateurs TOP500 ont adopté la technologie réseau InfiniBand. Ces dernières années, les applications liées à l'IA/au Big Data ont également adopté les réseaux IB à grande échelle pour réaliser des déploiements de clusters hautes performances, avec 62 % des centres de supercalcul Top100 utilisant la technologie InfiniBand (données de juin 2022).

Présentation d'Infiniband

InfiniBand est un lien de communication pour le flux de données entre les processeurs et les périphériques d'E/S, prenant en charge jusqu'à 64,000 XNUMX périphériques adressables. Architecture InfiniBand (IBA) est une spécification standard de l'industrie qui définit un cadre d'entrée/sortie commuté point à point pour l'interconnexion des serveurs, des infrastructures de communication, des périphériques de stockage et des systèmes embarqués.

InfiniBand est idéal pour connecter plusieurs flux de données (clustering, communication, stockage, gestion) en une seule connexion, avec des milliers de nœuds interconnectés, en raison de son omniprésence, de sa faible latence, de sa bande passante élevée et de son faible coût de gestion. La plus petite unité IBA complète est un sous-réseau, et plusieurs sous-réseaux sont connectés par des routeurs pour former un grand réseau IBA.

Les systèmes InfiniBand se composent d'adaptateurs de canal, de commutateurs, de routeurs, de câbles et de connecteurs. Le CA est divisé en un adaptateur de canal hôte (HCA) et un adaptateur de canal cible (TCA). Les commutateurs IBA sont similaires en principe aux autres commutateurs réseau standard, mais doivent répondre aux exigences de haute performance et de faible coût d'InfiniBand. Un HCA est un point de périphérique par lequel un nœud d'extrémité IB, tel qu'un serveur ou un périphérique de stockage, se connecte à un réseau IB. Les TCA sont une forme spéciale d'adaptateurs de canal, principalement utilisés dans les environnements embarqués tels que les périphériques de stockage.

L'architecture InfiniBand est illustrée dans la figure.

Qu'est-ce que le HDR InfiniBand 200G ?

InfiniBand prend en charge la transmission SDR/DDR/QDR/FDR/EDR pour augmenter la bande passante de la liaison. Récemment, Mellanox a publié 200G InfiniBand prenant en charge le HDR. Mellanox récemment sorti InfiniBand 200G avec prise en charge HDR. Mellanox 200Gb / s Les réseaux HDR InfiniBand prennent en charge une latence ultra-faible, un débit de données élevé et des moteurs d'accélération de calcul réseau intelligents. Les utilisateurs peuvent utiliser les pilotes logiciels Mellanox standard sur le cloud, comme ils le feraient dans un environnement Bare Metal. Avec la prise en charge des verbes RDMA, tous les logiciels MPI basés sur InfiniBand tels que Mellanox HPC-X, MVAPICH2, Platform MPI, Intel MPI, etc. peuvent être utilisés.

De plus, les utilisateurs peuvent également profiter de la fonction de déchargement matériel de la communication de cluster MPI pour des gains de performances supplémentaires, ce qui améliore également l'efficacité des applications métier. 200G InfiniBand dispose d'une large gamme d'applications, notamment les moteurs d'accélération informatique en réseau, les adaptateurs HDR InfiniBand, les commutateurs HDR InfiniBand Quantum et le câblage 200G.

Applications InfiniBand

En ce qui concerne le câblage InfiniBand 200G, la dernière pièce de la solution Mellanox 200Gbs est sa gamme de Câbles LinkX. Mellanox propose des câbles en cuivre 200G à connexion directe atteignant jusqu'à 3 mètres et 2 câbles répartiteurs 100G pour permettre les liaisons HDR100, ainsi que des câbles optiques actifs 200G atteignant jusqu'à 100 mètres. Tous les câbles LinkX de la gamme 200 Gb/s sont livrés en standard QSFP56 packages.

Quels sont les avantages du réseau InfiniBand ?

• Liens série à large bande passante

– SDR : 10Gb/s

– DDR : 20Gb/s

– QDR : 40Gb/s

– FDR : 56 Go/s

– EDR : 100Gb/s

– HDR : 200Gb/s

- Rapport de non-remise : 400 Gb/s

• Latence ultra faible

– Moins de 1 us application à application

• Tissu fiable, sans perte et autogéré

– Contrôle de flux au niveau du lien

– Contrôle de la congestion pour éviter le blocage HOL

• Déchargement complet du processeur

– Protocole de transport fiable basé sur le matériel

– Kernel Bypass (les applications de niveau utilisateur ont un accès direct au matériel)

• Mémoire exposée à l'accès aux nœuds distants – lecture RDMA et écriture RDMA

– Opérations atomiques

• Qualité de service

– Canaux d'E/S indépendants au niveau de l'adaptateur

– Voies virtuelles au niveau du lien

• Évolutivité/flexibilité du cluster

– Jusqu'à 48K nœuds dans le sous-réseau, jusqu'à 2^128 dans le réseau

– Routes parallèles entre les nœuds d'extrémité

– Plusieurs topologies de clusters possibles

• Gestion de cluster simplifiée

– Gestionnaire de tournées centralisé

– Diagnostics et mises à niveau intrabandes

Qu'est-ce qu'un réseau Ethernet ?

Ethernet fait référence à la norme de spécification LAN en bande de base créée par la société Xerox et développée conjointement par Xerox, Intel et la société DEC. La norme générale Ethernet a été publiée le 30 septembre 1980. Il s'agit de la norme de protocole de communication la plus générale adoptée par le réseau local existant. Il transmet et reçoit des données via des câbles. Réseau Ethernet est utilisé pour créer des réseaux locaux et connecter plusieurs ordinateurs ou autres appareils tels que des imprimantes, des scanners, etc. Dans un réseau filaire, cela se fait à l'aide de câbles à fibres optiques, tandis que dans un réseau sans fil, cela se fait via la technologie de réseau sans fil. Les principaux types de réseaux Ethernet sont Fast Ethernet, Gigabit Ethernet, 10 Gigabit Ethernet et Switch Ethernet.

À l'heure actuelle, l'organisation de normalisation IEEE 802.3 organisée par l'IEEE a publié des normes d'interface Ethernet de 100GE, 200GE et 400GE. Le réseau Ethernet est la technologie de transmission avec le débit le plus élevé à l'heure actuelle.

InfiniBand contre Ethernet: Quelle est la différence?

En tant que technologies d'interconnexion, InfiniBand et Ethernet ont leurs propres caractéristiques et différences. Elles se développent et évoluent dans leurs différents domaines d'application, et sont devenues deux Technologies d'Interconnexion indispensables dans notre monde des réseaux.

Types de réseaux Ethernet

En termes de réseau Ethernet, avec la technologie IP, ils constituent la pierre angulaire de tout l'édifice Internet dans le monde. Toutes les personnes et tous les appareils intelligents comptent sur Ethernet pour réaliser l'interconnexion de toutes choses, ce qui est lié à l'intention initiale de sa conception d'obtenir une meilleure compatibilité. Il peut rendre différents systèmes mieux interconnectés, ce qui confère à Ethernet une très forte adaptabilité depuis sa naissance. Après des décennies de développement, il est devenu le standard d'Internet.

En termes de réseau InfiniBand, il s'agit d'une norme d'interconnexion pour résoudre le goulot d'étranglement de la transmission de données dans les scénarios de calcul haute performance. Il se positionne comme une application haut de gamme depuis sa formulation. L'interconnexion n'est pas la principale contradiction et la communication performante est le principal point d'entrée. Infiniband est un type de connexion plus récent qui a été récemment publié. La grande chose à ce sujet est la vitesse dont les utilisateurs disposent. Alors que la vitesse de votre connexion dépendra en fin de compte du fil que vous choisissez, les vitesses pour eux peuvent aller jusqu'à 40 Gbps ou plus.

Par conséquent, par rapport à la technologie Ethernet, InfiniBand est intrinsèquement différent d'Ethernet en raison d'un positionnement différent, principalement en termes de bande passante, de délai, de fiabilité du réseau et de mode de mise en réseau. InfiniBand crée directement un canal privé et protégé entre les nœuds via des commutateurs pour transmettre des données et des messages sans que le processeur ne participe à l'accès direct à la mémoire à distance (RDMA). Une extrémité de l'adaptateur est connectée au CPU via l'interface PCI Express, et l'autre extrémité est connectée au sous-réseau InfiniBand via le port réseau InfiniBand. Par rapport à d'autres protocoles de communication réseau, cela offre des avantages évidents, notamment une bande passante plus élevée, une latence plus faible et une évolutivité améliorée.

Comparaison technique d'InfiniBand et d'Ethernet

Architecture de base et topologie

InfiniBand utilise une architecture de matrice commutée, permettant des connexions point à point avec une latence minimale. Sa topologie, souvent en arbre gras ou en tore, est optimisée pour les clusters HPC et IA, prenant en charge l'accès direct à la mémoire à distance (RDMA) pour un transfert de données efficace. Ethernet, basé sur une architecture en couches (par exemple, TCP/IP), prend en charge diverses topologies comme l'étoile ou le maillage, ce qui le rend adaptable, mais potentiellement moins efficace pour les tâches spécifiques à l'IA. La conception simplifiée d'InfiniBand lui confère un avantage dans les environnements sensibles à la latence, tandis que la flexibilité d'Ethernet convient à des applications plus larges.

Spécifications techniques clés

InfiniBand exploite des protocoles comme RDMA sur Ethernet convergé (RoCE) et prend en charge les câbles cuivre et fibre optique, avec des options haut débit comme le NDR (400 Gbit/s). Ethernet, avec des normes comme 100 GbE et 400 GbE, prend en charge un câblage similaire, mais s'appuie sur TCP/IP ou UDP pour le transfert de données, ce qui peut engendrer une surcharge. Le matériel d'InfiniBand, comme les adaptateurs de canal hôte (HCA), est optimisé pour des charges de travail spécifiques, tandis que les commutateurs et les cartes réseau d'Ethernet sont plus généralistes, ce qui impacte les performances dans des scénarios de niche.

Comparaisons de latence et de vitesse

InfiniBand excelle en matière de latence, atteignant souvent des délais inférieurs à la microseconde, essentiels pour l'entraînement de l'IA où les GPU ou les TPU échangent des ensembles de données volumineux. Ethernet, bien que rapide (par exemple, 100 GbE avec une latence d'environ 1 à 2 µs), présente généralement des retards dus à la surcharge du protocole. En termes de vitesse, les deux technologies offrent des débits comparables (par exemple, 400 Gbit/s), mais le RDMA et la gestion de la congestion d'InfiniBand garantissent des performances plus constantes sous des charges de travail d'IA importantes.

Bande passante et taux de transfert de données

La bande passante élevée d'InfiniBand (jusqu'à 400 Gbit/s par port en NDR) répond aux besoins de transfert de données massifs liés à l'entraînement des modèles d'IA et aux simulations à grande échelle. Ethernet offre ces débits dans les configurations haut de gamme, mais peut rencontrer des goulots d'étranglement dans les réseaux encombrés en raison de sa dépendance à TCP/IP. Pour les centres de données traitant des pétaoctets de données, le débit prévisible d'InfiniBand constitue un atout majeur.

Évolutivité dans les réseaux en expansion

InfiniBand s'adapte efficacement aux grands clusters, grâce à son architecture fabric qui minimise la latence à mesure que le nombre de nœuds augmente. Sa prise en charge native du partitionnement et de la qualité de service (QoS) garantit des performances optimales dans les environnements d'IA complexes. Ethernet s'adapte parfaitement aux environnements d'entreprise, mais peut nécessiter des configurations avancées (par exemple, des architectures spine-leaf) pour égaler l'efficacité d'InfiniBand dans les clusters HPC ou IA.

Performances et évolutivité

Pour les charges de travail d'IA, la faible latence et la bande passante élevée d'InfiniBand offrent des performances supérieures, notamment pour l'entraînement distribué sur des clusters de GPU. Ethernet est performant dans les centres de données polyvalents, mais peut rencontrer des difficultés pour répondre aux exigences extrêmes de la synchronisation des modèles d'IA. Les deux technologies sont évolutives, mais la conception d'InfiniBand est mieux adaptée aux réseaux massifs et étroitement couplés, tandis qu'Ethernet excelle dans les environnements hétérogènes.

Scénarios d'application et cas d'utilisation

InfiniBand domine les déploiements en centres de données et dans le cloud pour l'IA, le HPC et l'analyse du Big Data, propulsant des systèmes comme les plateformes DGX de NVIDIA. Il est également répandu dans les institutions scientifiques et de recherche, prenant en charge les simulations en physique ou en génomique. Ethernet est privilégié dans les centres de données d'entreprise, les fournisseurs de cloud comme AWS et les applications nécessitant une compatibilité étendue, comme l'hébergement web ou les réseaux de stockage. Pour les besoins spécifiques à l'IA, les performances exceptionnelles d'InfiniBand en font le choix incontournable.

InfiniBand vs Omni-Path : Avantages d'InfiniBand par rapport à Omni-Path

Bien que NVIDIA ait lancé la solution InfiniBand 400G NDR, certains clients utilisent encore la solution 100G. Pour les réseaux hautes performances 100G, il existe deux solutions communes, Omni-Path et InfiniBand, qui ont le même débit et des performances similaires, mais la structure du réseau est très différente. Par exemple, pour un cluster de 400 nœuds, InfiniBand ne nécessite que 15 commutateurs NVIDIA Quantum série 8000 et 200 câbles de dérivation 200G et 200 câbles directs 200G, tandis qu'Omni-Path nécessite 24 commutateurs et 876 câbles directs 100G (384 nœuds). InfiniBand est très avantageux en termes de coût d'équipement initial et de coût d'exploitation et de maintenance ultérieur, et la consommation d'énergie globale est bien inférieure à celle d'Omni-Path, qui est plus respectueuse de l'environnement.

Présentation du produit HDR InfiniBand

L'EDR est progressivement retiré du marché en termes de demande des clients, le taux de NDR est trop élevé et seuls les principaux clients essaient de l'utiliser. Le HDR est largement utilisé avec la flexibilité du HDR 100G et du HDR 200G.

Commutateur HDR

Il existe deux types de commutateurs HDR. L'un est HDR CS8500. Un commutateur 29U fournit un maximum de 800 ports HDR 200Gb/s, et chaque port de 200 Go peut être divisé en 2X100G pour prendre en charge 1600 ports HDR100 100Gb/s.

L'autre type est la série QM8000. Le panneau 1U dispose de 40 ports QSFP200 56G, qui peuvent être divisés en 80 ports HDR 100G au maximum pour connecter des cartes réseau 100G HDR. Dans le même temps, chaque port prend également en charge EDR et se connecte directement à la carte réseau d'EDR. Il convient de noter que le port HDR 200G ne peut être ralenti qu'à 100G et connecté à l'adaptateur réseau EDR, et ne peut pas être divisé en 2X100G pour connecter deux adaptateurs réseau EDR.

Il existe deux options pour le commutateur HDR 200G : QM8700 et QM8790. La seule différence entre les deux modèles est le mode de gestion. Le QM8700 fournit l'interface de contrôle pour la gestion hors bande, tandis que le QM8790 nécessite la plate-forme NVIDIA Unified Fabric Manager (UFM®) pour la gestion.

Pour QM8700 et QM8790, il existe deux options de débit d'air pour chaque modèle de commutateur. L'un d'eux est le 8790-HS2F pour le flux d'air P2C (flux d'air avant et arrière). Le module de ventilation est marqué en bleu. Si vous ne reconnaissez pas les marquages, vous pouvez également les identifier en faisant flotter votre main sur l'entrée et la sortie d'air du commutateur.

8790-HS2R est la marque rouge sur le module de ventilation du flux d'air C2P (conduit avant arrière). Ici P2C et C2P P signifie Power power, C signifie Cable (line interface), P2C (Power to Cable), C2P (Cable to Power) ici le système de référence est Power power power pour l'avant, Cable line interface side pour l'arrière.

Les QM8700 et QM8790 sont généralement utilisés de deux manières dans la pratique, l'une consiste à s'interconnecter avec des cartes réseau HDR 200G en utilisant directement 200G pour 200G AOC/DAC ; l'autre utilisation courante consiste à s'interconnecter avec des cartes réseau HDR 100G à l'aide de câbles 200G à 2X100G, dans lesquels un port physique QSFP200 4G (50X56G) du commutateur est divisé en 2 ports virtuels 100G (2X50G). 4X50G) Le port QSFP56 du commutateur est divisé en deux ports virtuels 100G (2X50G), et après la division, le symbole du port est modifié de x/y à x/Y/z, où "x/Y" indique le précédent symbole du port avant la scission, et "z" désigne le numéro du port à voie unique résultant (1,2), puis chaque port sous-physique est traité comme un port unique.

Adaptateur réseau HDR

Les adaptateurs réseau HDR sont beaucoup plus diversifiés que les commutateurs. L'adaptateur réseau HDR100 prend en charge un taux de transmission de 100G. Les deux ports HDR100 peuvent être connectés au commutateur HDR via des câbles 200G à 2x100G. Contrairement à la carte réseau 100G EDR, le port 100G de la carte réseau HDR100 prend en charge les transmissions 4X25G NRZ et 2X50G PAM4. La carte réseau HDR prend en charge un taux de transmission de 200G et peut être connectée au commutateur via un câble direct de 200G. En plus des deux débits d'interface, vous pouvez sélectionner des adaptateurs réseau à port unique, à double port et PCIe de chaque débit en fonction des exigences de service. Les modèles courants d'adaptateurs réseau InfiniBand HDR fournis par FiberMall sont les suivants :

L'architecture du réseau InfiniBand est simple, mais la sélection de solutions est variée. Le débit 100G a à la fois une solution EDR 100G et une solution HDR 100G; Le taux 200 a également deux options HDR et 200G NDR. Les adaptateurs réseau, les connecteurs et les commutateurs utilisés dans différentes solutions sont assez différents.

Paquets InfiniBand et transfert de données

Un paquet est l'unité de base de la transmission de données InfiniBand. Pour que les informations se propagent efficacement dans un réseau InfiniBand, les informations sont divisées par l'adaptateur de canal en un certain nombre de paquets. Un paquet IBA complet comprend les champs Local Route Header, Global Route Header, Base Transport Header, Extended Transport Header, Payload (PYLD), Invariant CRC (ICRC) et Variant CRC (VCRC), comme illustré dans la figure ci-dessous.

LRH: 8 octets, utilisés par le commutateur pour déterminer les ports source et destination locaux lors de la transmission de paquets et pour réguler la classe de service et la voie virtuelle (VL) pour la transmission de paquets.

GRH: 40 octets, utilisé pour router les paquets entre les sous-réseaux et assurer une bonne transmission des paquets entre les sous-réseaux. Il est spécifié par le champ Link Next Header (LNH) dans le LRH, en utilisant la spécification d'en-tête IPv6 définie dans la RFC 2460.

BTH: 12 octets, spécifiant la paire de file d'attente (QP) de destination, l'opcode d'indication, le numéro de série du paquet et la segmentation.

ETH: 4-28 octets, fournissant un service datagramme fiable. Charge utile (PYLD) : 0-4096 octets, les données d'application de bout en bout étant envoyées.

CICR: 4 octets, encapsule les données qui restent inchangées dans le paquet lors de son envoi de l'adresse source à l'adresse de destination.

CRVC: 2 octets, encapsule la variable IBA et les paquets bruts (raw) pendant la liaison.

VCRC peut être reconfiguré dans la matrice.

Architecture en couches InfiniBand

Selon la définition de l'IBTA, l'architecture InfiniBand se compose d'une couche physique, d'une couche de liaison, d'une couche réseau et d'une couche de transport, et son architecture en couches est illustrée dans la figure.

Couche physique: La couche physique dessert la couche liaison et assure l'interface logique entre ces deux couches. La couche physique se compose de modules tels que les connecteurs de signal de port, les connexions physiques (électriques et optiques), la gestion du matériel, la gestion de l'alimentation et les lignes de codage, dont les rôles principaux sont de :

(1) Établir des connexions physiques ;

(2) Notifier à la couche liaison si une connexion physique est valide ;

(3) Surveiller l'état de la connexion physique, transmettre des signaux de contrôle et des données à la couche liaison lorsque la connexion physique est valide, et transmettre les informations de contrôle et de données provenant de la couche liaison.

Lier la couche: La couche liaison est responsable de la gestion de l'envoi et de la réception des données de liaison par paquets, fournissant des services tels que l'adressage, la mise en mémoire tampon, le contrôle de flux, la détection d'erreurs et l'échange de données. La qualité de service (QoS) est principalement reflétée par cette couche. La machine d'état est utilisée pour définir les opérations logiques de la couche de liaison en tant qu'opérations accessibles de l'extérieur et ne spécifie pas les opérations internes.

Couche réseau: La couche réseau est responsable du routage des paquets entre les sous-réseaux IBA, y compris les opérations de monodiffusion et de multidiffusion. La couche réseau ne spécifie pas le routage multiprotocole (par exemple, le routage IBA sur des types non IBA) et ne spécifie pas non plus comment les paquets d'origine sont acheminés entre les sous-réseaux IBA.

Couche de transport: Chaque donnée IBA contient un en-tête de transport. L'en-tête de transport contient les informations requises par le nœud final pour effectuer l'opération spécifiée. En manipulant QP, les clients de communication de l'adaptateur de canal IBA au niveau de la couche transport forment une file d'attente de travail « d'envoi » et une file d'attente de travail « de réception ».

Le mécanisme de commutation d'InfiniBand

La structure commutée utilisée dans InfiniBand est une architecture d'interconnexion point à point basée sur un commutateur, orientée vers la tolérance aux pannes et l'évolutivité du système.

Les commutateurs IBA sont les blocs de construction de routage de base pour le routage de sous-réseau interne (la fonctionnalité de routage inter-sous-réseau est fournie par les routeurs IBA). L'interconnexion des commutateurs est réalisée en relayant les paquets entre les liaisons.

Les commutateurs InfiniBand implémentent des fonctions telles que Subnet Manager Agent (SMA), Performance Manager Agent (PMA) et Baseboard Manager Agent (BMA). SMA fournit une interface permettant aux gestionnaires de sous-réseau d'obtenir des données d'enregistrement et de table à l'intérieur du commutateur via des paquets de gestion de sous-réseau, mettant en œuvre des fonctions telles que la notification de message, le mappage du niveau de service (SL) à la voie virtuelle (VL), l'arbitrage VL, le transfert multidiffusion et les caractéristiques du fournisseur. . PMA fournit une interface permettant aux gestionnaires de performances de surveiller les informations de performances telles que le débit de données et l'accumulation d'erreurs du commutateur. BMA fournit un canal de communication entre le gestionnaire de plinthes et le gestionnaire d'étagère inférieure.

Les principales fonctions de transfert de données dans les commutateurs InfiniBand sont :

(1) Sélection du port de sortie: Sur la base de l'identificateur local de destination (DLID) du paquet, le commutateur trouve le numéro de port du port de sortie à partir de la table de transfert.

(2) Sélectionner la sortie VL: SL et VL sont pris en charge et le commutateur détermine le VL du port de sortie utilisé par les paquets de différents niveaux de priorité en fonction de la table de mappage SL-VL.

(3) Contrôle du flux de données: Un mécanisme de contrôle de flux au niveau de la liaison basé sur le crédit est utilisé.

(4) Prise en charge de la monodiffusion, de la multidiffusion et de la diffusion: Le commutateur peut convertir des paquets de multidiffusion ou des paquets de diffusion en plusieurs paquets de monodiffusion pour échange.

(5) Partitionnement: Seuls les hôtes d'une même partition peuvent communiquer entre eux. Chaque partition a une clé de partition unique et le commutateur vérifie si le DLID du paquet se trouve dans la partition correspondant à la clé.

(6) Vérification des erreurs: y compris la vérification des erreurs d'incohérence, la vérification des erreurs de codage, la vérification des erreurs de cadrage, la vérification de la longueur des paquets, la vérification de la version de l'en-tête des paquets, la vérification de la validité du niveau de service, la conformité du contrôle de flux et la vérification de l'unité de transmission maximale.

(7) Arbitrage VL: Prend en charge le sous-réseau VL (y compris la gestion VL15 et les données VL). Le commutateur utilise l'arbitrage VL pour s'assurer que les paquets de haute priorité sont mieux servis.

À l'heure actuelle, les principaux fabricants de commutateurs InfiniBand sont Mallanox, QLogic, Cisco, IBM, etc.

Pour les hôtes, le côté client de la couche de transport est une couche logicielle Verbs, où le client transmet des tampons ou des commandes vers et depuis ces files d'attente, et le matériel transmet des données de tampon vers et depuis celles-ci. Lorsque QP est établi, il intègre l'un des quatre types de service de transport IBA (connexion fiable, informations d'auto-adressage fiables, informations d'auto-adressage non fiables, connexion non fiable) ou un service encapsulé dans un protocole non IBA. Le service de transport décrit comment fonctionnent les données de transport de fiabilité et QP et ce qui est transmis.

En tant que partenaire de niveau NVIDIA Elite, FiberMall peut fournir des Solutions InfiniBand selon les besoins des différents clients, et nos ingénieurs techniques seniors ont une riche expérience dans la conception de solutions réseau haute performance InfiniBand et les services de mise en œuvre de projets et peuvent fournir des solutions optimales en fonction de différents scénarios d'application. Nous pouvons fournir des solutions de portefeuille de commutateurs QM8700/QM8790, HDR NIC, AOC/DAC/modules optiques pour obtenir des performances et une évolutivité exceptionnelles, et améliorer le retour sur investissement pour le HPC, l'IA et d'autres applications avec un coût inférieur et d'excellentes performances.

Considérations relatives aux coûts et aux opérations

Coût d'InfiniBand par rapport à Ethernet

L'investissement initial d'InfiniBand est plus élevé en raison du matériel spécialisé (par exemple, les HCA, les commutateurs InfiniBand) et des coûts de licence. Ethernet bénéficie d'une adoption généralisée, avec des commutateurs et des cartes réseau moins coûteux. Cependant, pour les déploiements d'IA à grande échelle, les gains de performance d'InfiniBand peuvent compenser les coûts initiaux en réduisant les temps de formation. Les coûts à long terme dépendent de l'échelle, Ethernet étant souvent plus économique pour les petites installations.

Frais d'entretien et de fonctionnement

InfiniBand requiert une expertise spécialisée pour la configuration et la maintenance, ce qui augmente les coûts d'exploitation. La familiarité du personnel informatique avec Ethernet réduit les besoins de formation, mais les configurations Ethernet complexes (par exemple, pour RDMA sur Ethernet) peuvent néanmoins exiger une expertise. Ces deux solutions nécessitent une maintenance régulière, comme l'inspection des câbles et les mises à jour du micrologiciel, mais la nature propriétaire d'InfiniBand peut compliquer le dépannage.

Consommation d'énergie et gains d'efficacité

La conception optimisée d'InfiniBand se traduit souvent par une consommation énergétique réduite par unité de données transférée, notamment dans les scénarios à haut débit. La consommation d'énergie d'Ethernet varie selon les équipements, mais les commutateurs haut de gamme peuvent consommer davantage d'énergie sous de fortes charges. Pour les centres de données privilégiant le développement durable, l'efficacité d'InfiniBand est un atout majeur.

Choisir la bonne technologie

Meilleures façons d'optimiser l'infrastructure pour les charges de travail d'IA

Pour optimiser l'infrastructure d'IA, adaptez l'interconnexion aux exigences de la charge de travail. InfiniBand est adapté aux tâches gourmandes en ressources GPU, comme le deep learning, où une faible latence est essentielle. Ethernet est idéal pour les charges de travail mixtes ou les environnements nécessitant une intégration avec les réseaux existants. Les stratégies clés incluent l'utilisation du RDMA (pour les deux technologies), l'optimisation de la topologie et la garantie d'un câblage de haute qualité.

Infrastructure d'IA : Cloud, Edge ou On-Premise

Dans les environnements cloud, Ethernet domine grâce à sa standardisation et à sa compatibilité avec les fournisseurs hyperscale. Les clusters d'IA sur site utilisent souvent InfiniBand pour les tâches critiques en termes de performances. Les environnements Edge privilégient Ethernet pour sa flexibilité et son coût réduit, bien qu'InfiniBand émerge dans le HPC Edge. Les configurations hybrides peuvent combiner les deux, utilisant Ethernet pour la connectivité externe et InfiniBand pour les clusters internes.

Choisir la bonne technologie pour vos besoins en réseau d'IA

Le choix entre InfiniBand et Ethernet dépend de :

• Besoins de performances : InfiniBand pour les tâches d’IA à faible latence et à haut débit ; Ethernet pour la mise en réseau à usage général.
• Budget : Ethernet pour les déploiements sensibles aux coûts ; InfiniBand pour les projets axés sur les performances.
• Échelle : InfiniBand pour les grands clusters d'IA ; Ethernet pour les environnements plus petits ou mixtes.
• Expertise : Ethernet si le personnel est familier avec TCP/IP ; InfiniBand si des compétences spécialisées sont disponibles.

Foire aux questions (FAQ)

Ethernet est-il meilleur qu'InfiniBand ?

Ethernet est plus adapté aux réseaux polyvalents, sensibles aux coûts ou largement compatibles. InfiniBand excelle dans les applications d'IA, de calcul haute performance et de latence critique grâce à ses performances.

InfiniBand est-il en cuivre ou en fibre ?

InfiniBand prend en charge à la fois le cuivre (pour les courtes distances, par exemple 5 à 10 mètres) et la fibre (pour les distances plus longues, jusqu'à des kilomètres), selon le déploiement.

InfiniBand appartient-il à NVIDIA ?

InfiniBand est une norme ouverte gérée par l'IBTA. NVIDIA développe le matériel InfiniBand (par exemple, les adaptateurs ConnectX), mais ne possède pas la technologie.

Quelle est la vitesse d'InfiniBand ?

L'InfiniBand moderne (par exemple, NDR) atteint 400 Gbit/s par port, avec une latence inférieure à la microseconde, ce qui en fait l'une des interconnexions les plus rapides disponibles.

Pourquoi InfiniBand est-il si rapide ?

La vitesse d'InfiniBand provient de son architecture de structure commutée, de sa prise en charge RDMA et de ses protocoles optimisés, minimisant les frais généraux et maximisant le débit.

Qui utilise InfiniBand ?

InfiniBand est utilisé par les centres HPC, les laboratoires de recherche en IA (par exemple, Meta AI, Google DeepMind), les fournisseurs de cloud et les institutions scientifiques pour des tâches hautes performances.

Comment optimiser mon réseau pour les charges de travail d’IA ?

Utilisez InfiniBand pour les clusters GPU, optimisez la topologie (par exemple, fat-tree), assurez un câblage de haute qualité et exploitez RDMA pour les transferts de données à faible latence.