Réseau informatique intelligent InfiniBand vs. RoCE

Lorsque nous approfondissons le domaine des réseaux informatiques d’IA, nous constatons qu’il existe deux architectures principales sur le marché : InfiniBand et RoCEv2.

Ces deux architectures de réseau sont en concurrence en termes de performances, de coût, de polyvalence et d'autres dimensions clés. Nous analyserons les caractéristiques techniques de ces deux architectures, leurs scénarios d'application dans les réseaux informatiques intelligents IA, ainsi que leurs avantages et limites respectifs. Cet article vise à évaluer la valeur d'application potentielle et l'orientation future du développement d'InfiniBand et de RoCEv2 dans les réseaux informatiques IA, afin de fournir des informations approfondies et des conseils professionnels pour l'industrie.

InfiniBand

Les réseaux InfiniBand sont principalement gérés de manière centralisée via un gestionnaire de sous-réseau (SM). Le SM est généralement déployé sur un serveur connecté au sous-réseau et agit comme contrôleur central du réseau. Plusieurs périphériques peuvent être configurés comme SM dans un sous-réseau, mais un seul est désigné comme SM maître, qui est responsable de la gestion de tous les commutateurs et cartes réseau via la distribution interne et le téléchargement de messages de données de gestion (MAD). Chaque port de carte réseau et chaque puce de commutation sont identifiés par un identifiant unique (ID local, LID) attribué par le SM pour garantir l'unicité et l'exactitude du périphérique au sein du réseau. Les principales responsabilités du SM incluent la maintenance des informations de routage du réseau et le calcul et la mise à jour de la table de routage de la puce de commutation. La fonction SM Agent (SMA) à l'intérieur de la carte réseau permet à la carte réseau de traiter indépendamment les messages envoyés par le SM sans l'intervention du serveur, améliorant ainsi l'automatisation et l'efficacité du réseau.

Schéma d'architecture du réseau InfiniBand

• Mécanisme de contrôle de flux réseau InfiniBand

Le réseau InfiniBand est basé sur un mécanisme de crédit et chaque liaison est équipée d'un tampon prédéfini. L'expéditeur ne commencera à envoyer des données qu'après avoir confirmé que le récepteur dispose d'un tampon suffisant et que la quantité de données envoyées ne peut pas dépasser la capacité maximale du tampon prédéfini actuellement disponible pour le récepteur. Lorsque l'extrémité réceptrice reçoit un message, elle libère le tampon et informe l'extrémité émettrice de la taille du tampon prédéfini actuellement disponible, préservant ainsi le bon fonctionnement du réseau et la continuité de la transmission des données.

• Fonctionnalités du réseau InfiniBand :

Contrôle de flux au niveau de la liaison et routage adaptatif Les réseaux InfiniBand s'appuient sur des mécanismes de contrôle de flux au niveau de la liaison pour empêcher l'envoi de données excessives, évitant ainsi le débordement de la mémoire tampon ou la perte de paquets de données. Dans le même temps, la technologie de routage adaptatif du réseau InfiniBand peut effectuer une sélection de routage dynamique en fonction des circonstances spécifiques de chaque paquet de données, ce qui permet d'optimiser en temps réel les ressources du réseau et d'équilibrer la charge de manière optimale dans les environnements de réseau à très grande échelle.

RoCEv2

Le protocole RoCE (RDMA over Converged Ethernet) est un protocole de communication réseau en cluster qui peut exécuter RDMA (Remote Direct Memory Access) sur Ethernet. Il existe deux versions principales du protocole : RoCEv1 et RoCEv2. En tant que protocole de couche de liaison, RoCEv1 nécessite que les deux parties communicantes soient situées dans le même réseau de couche 2. RoCEv2 est un protocole de couche réseau qui utilise la couche réseau Ethernet et la couche de transport UDP pour remplacer la couche réseau InfiniBand, offrant ainsi une meilleure évolutivité. Contrairement à la gestion centralisée des réseaux InfiniBand, RoCEv2 utilise une architecture purement distribuée, généralement composée de deux couches, qui présente des avantages significatifs en termes d'évolutivité et de flexibilité de déploiement.

Schéma d'architecture du réseau RoCEv2

• Mécanisme de contrôle de flux du réseau RoCEv2

Le contrôle de flux prioritaire (PFC) est une stratégie de contrôle de flux saut par saut qui exploite pleinement le cache du commutateur en configurant correctement le filigrane pour obtenir une transmission sans perte dans les réseaux Ethernet. Lorsque la mémoire tampon d'un port de commutateur en aval est surchargée, le commutateur demande au périphérique en amont d'arrêter la transmission. Les données envoyées seront stockées dans le cache du commutateur en aval. Lorsque le cache revient à la normale, le port demandera de reprendre l'envoi de paquets de données, maintenant ainsi le bon fonctionnement du réseau. La notification explicite de congestion (ECN) définit un mécanisme de contrôle de flux et de notification de congestion de bout en bout basé sur la couche IP et la couche de transport. L'objectif du contrôle de congestion est atteint en transmettant des informations de congestion spécifiques au serveur sur le commutateur, puis le serveur les envoie au client pour avertir l'extrémité source de ralentir. La notification de congestion quantifiée du centre de données (DCQCN) est une combinaison de mécanismes de notification explicite de congestion (ECN) et de contrôle de flux prioritaire (PFC), conçue pour prendre en charge la communication Ethernet sans perte de bout en bout. Le concept de base consiste à utiliser ECN pour avertir l'expéditeur de réduire le débit de transmission en cas de congestion du réseau, afin d'éviter l'activation inutile du PFC et d'éviter le débordement de la mémoire tampon causé par une congestion sévère. Grâce à ce contrôle de flux précis, DCQCN est en mesure d'éviter la perte de données due à la congestion tout en maintenant un fonctionnement efficace du réseau.

• Fonctionnalités du réseau RoCEv2 : forte compatibilité et optimisation des coûts

Les réseaux RoCE utilisent la technologie RDMA pour assurer une transmission de données efficace sans occuper les cycles CPU des serveurs distants, ce qui permet d'utiliser pleinement la bande passante et d'améliorer l'évolutivité du réseau. Cette approche réduit considérablement la latence du réseau et augmente le débit, améliorant ainsi les performances globales du réseau. Un autre avantage important de la solution RoCE est qu'elle peut être intégrée de manière transparente à l'infrastructure Ethernet existante, ce qui signifie que les entreprises peuvent réaliser un bond en avant en termes de performances sans avoir à investir dans de nouveaux équipements ou à remplacer des équipements. Cette méthode de mise à niveau du réseau rentable est essentielle pour réduire les dépenses d'investissement d'une entreprise, ce qui fait de RoCE la solution préférée pour améliorer les performances du réseau dans les centres de calcul intelligents.

Différences techniques entre InfiniBand et RoCEv2

Les diverses demandes du marché en matière de réseaux ont conduit au développement conjoint des architectures de réseau InfiniBand et RoCEv2. Les réseaux InfiniBand ont démontré des avantages significatifs en termes de performances de service de couche applicative grâce à leurs technologies avancées, telles que des performances de transfert efficaces, un temps de récupération rapide des pannes, une évolutivité améliorée et une efficacité d'exploitation et de maintenance. En particulier, ils peuvent fournir d'excellentes performances de débit réseau dans des scénarios à grande échelle.

Tableau comparatif des technologies InfiniBand Network et RoCEv2

Le réseau RoCEv2 est apprécié pour sa grande polyvalence et son faible coût. Il est non seulement adapté à la construction de réseaux RDMA hautes performances, mais également parfaitement compatible avec l'infrastructure Ethernet existante. Cela confère à RoCEv2 des avantages évidents en termes d'étendue et d'applicabilité, et peut répondre à des applications réseau de différentes échelles et besoins. Les caractéristiques et avantages respectifs de ces deux architectures offrent une multitude d'options pour la conception de réseaux de centres de calcul d'IA afin de répondre aux besoins spécifiques des différents utilisateurs.