Comment configurer un pont Infiniband pour des performances réseau améliorées

Alors que les progrès dans le domaine du calcul haute performance (HPC) et des applications centrées sur les données progressent rapidement, le besoin de solutions d'interconnexion fiables et efficaces telles qu'Infiniband et Gigabit Ethernet est essentiel. La technologie Infiniband est devenue l'une des meilleures options pour les organisations qui souhaitent améliorer les performances du réseau en fournissant une bande passante élevée et une communication à faible latence. Cet article fournit un guide étape par étape sur la façon de configurer un pont Infiniband pour maximiser les performances du réseau multi-nœuds. Le but ultime est que les lecteurs comprennent les principes fondamentaux du travail avec des outils de pointe comme les ponts Infiniband. Cela les aidera à réaliser des performances inégalées taux de transfert de données tout en améliorant l'utilisation des ressources, créant ainsi des infrastructures de réseau évolutives plus puissantes.

Qu’est-ce qu’un pont Infiniband ?

Comprendre la technologie Infiniband

Infiniband est une technologie de communication utilisée dans le calcul haute performance (HPC) et les entreprises les centres de données. Il utilise commuté architecture Fabric pour permettre plusieurs chemins de données qui augmentent le débit tout en réduisant la latence. Infiniband prend en charge plusieurs débits de données compris entre 2.5 Gbit/s et 200 Gbit/s ou plus, ce qui le rend adapté aux applications exigeantes en performances. Le protocole possède des fonctionnalités avancées telles que la qualité de service (QoS), une messagerie fiable et l'accès direct à la mémoire à distance (RDMA). RDMA permet de transférer directement la mémoire de deux ordinateurs sans impliquer le processeur, réduisant ainsi les frais généraux. Ainsi, Infiniband est le mieux adapté aux environnements nécessitant une bande passante élevée avec une faible latence et une utilisation efficace des ressources.

Comparaison d'Infiniband et d'Ethernet

Infiniband et Ethernet sont deux technologies de mise en réseau distinctes possédant leurs propres atouts. Infiniband est conçu pour le calcul haute performance, offrant une latence plus faible et une bande passante plus élevée d'environ 40 Gbit/s à 200 Gbit/s. Il utilise des fonctionnalités telles que RDMA qui permettent un transfert de données efficace, ce qui le rend idéal pour les applications gourmandes en données. D'un autre côté, Ethernet est plus flexible et largement utilisé dans les réseaux généraux, allant de 10 Mbps à 400 Gbps. Même s'il y a eu des développements dans l'Ethernet, comme l'Ethernet à faible latence (LLE), l'infiniband surpasse toujours lorsque les performances et la bande passante comptent le plus, tandis qu'Ethernet reste adapté aux situations standard. Les deux peuvent fonctionner ensemble lorsque le trafic de gestion sur la configuration du réseau domestique utilise souvent Ethernet, mais Infiniband s'adresse aux applications à haut débit dans le même environnement.

Composants clés d'un pont Infiniband

1. Couche Physique : Son rôle est de transmettre des données brutes via des connexions physiques. Il fixe les spécifications électriques et optiques des câbles et connecteurs.
2. Couche de liaison : elle fournit une communication fiable en détectant et en corrigeant les erreurs essentielles dans toute opération de sous-réseau Infiniband. Cette couche s'occupe également des fonctions de gestion des liens comme l'initialisation des liens et la gestion de leurs transitions d'état.
3. Couche réseau : l'objectif principal de cette couche est d'acheminer les paquets entre les appareils au sein d'un réseau Infiniband. La résolution d'adresses et certaines fonctionnalités de gestion de réseau sont également gérées ici.
4. Couche de transport : pour garantir que les messages sont transmis avec précision, elle inclut entre autres le contrôle du flux, notamment en proposant des services orientés connexion ainsi que des services sans connexion qui garantissent un transfert de données fiable.
5. Interface de gestion : utilisée pour surveiller les opérations du pont en plus de permettre de les configurer. Les administrateurs peuvent l'utiliser en plus de la prise en charge des diagnostics ou des mesures de performances.

Comment configurer un pont Infiniband ?

Configuration du commutateur Infiniband

Vous trouverez ci-dessous des étapes simples pour configurer un commutateur infiniband.

1. Connectez-vous à l'interface de gestion : utilisez un port de gestion dédié pour accéder à l'interface graphique ou à la CLI du commutateur.
2. Attribuer une adresse IP : configurez une adresse IP appropriée pour l'interface de gestion, en vous assurant qu'elle se trouve dans le sous-réseau du réseau.
3. Configurer les paramètres de port : définissez les paramètres souhaités pour chaque port, notamment la vitesse, le type de liaison et la taille MTU.
4. Activer les services : activez les services nécessaires tels que les protocoles de routage, les VLAN ou la QoS, selon les besoins de la configuration du réseau.
5. Test de connectivité : vérifiez votre configuration en testant la connectivité des appareils et en surveillant les erreurs via des outils de diagnostic.

Configuration de l'interface réseau sous Linux

Vous trouverez ci-dessous des étapes simples pour configurer un commutateur infiniband.

1. Connectez-vous à l'interface de gestion : utilisez un port de gestion dédié pour accéder à l'interface graphique ou à la CLI du commutateur.
2. Attribuer une adresse IP : configurez une adresse IP appropriée pour l'interface de gestion, en vous assurant qu'elle se trouve dans le sous-réseau du réseau.
3. Configurer les paramètres de port : définissez les paramètres souhaités pour chaque port, notamment la vitesse, le type de liaison et la taille MTU.
4. Activer les services : activez les services nécessaires tels que les protocoles de routage, les VLAN ou la QoS, selon les besoins de la configuration du réseau.
5. Test de connectivité : vérifiez votre configuration en testant la connectivité des appareils et en surveillant les erreurs via des outils de diagnostic.

Intégration au réseau Ethernet

Pour ajouter un appareil à un réseau Ethernet, procédez comme suit :

1. Connexion à Ethernet : utilisez le câble approprié pour connecter physiquement l'appareil au réseau Ethernet. Assurez-vous que le câble répond aux normes de vitesse (par exemple, Cat5e pour 1 Gbit/s).
2. Configuration réseau : faites correspondre les paramètres de votre appareil avec ceux du réseau en attribuant une adresse IP statique ou en activant DHCP. Vous pouvez le faire en utilisant une interface graphique ou une CLI.
3. Vérifiez la connectivité : utilisez les commandes ping et d'autres outils pour tester si les appareils sont correctement connectés et surveillez les voyants d'état de la liaison sur les appareils.
4. Configurer les VLAN : configurez les paramètres VLAN sur votre appareil au cas où il est censé en faire partie.
5. Surveiller les performances du réseau : vérifiez les performances de la connexion à l'aide d'outils de surveillance tels que les systèmes de détection de latence et de perte de paquets, qui vous aideront à découvrir tout problème.

Quels sont les avantages de l’utilisation d’Ethernet sur Infiniband ?

Capacités améliorées de transfert de paquets

Ethernet améliore les capacités de transfert de paquets en prenant en charge des protocoles standard tels que le protocole de résolution d'adresse (ARP), le protocole de message de contrôle Internet (ICMP) et la technologie Gigabit Ethernet. Ces protocoles permettent un routage et une livraison efficaces des paquets de données sur un réseau. De plus, Ethernet peut fonctionner avec plusieurs technologies de couche deux telles que Spanning Tree Protocol (STP) et Rapid Spanning Tree Protocol (RSTP), créant des topologies sans boucle qui augmentent la fiabilité et les performances du réseau. À mesure que les vitesses Ethernet ont progressé (en particulier les technologies Ethernet 10G, 40G et 100G), sa capacité à gérer de plus grandes quantités de trafic tout en réduisant la latence est devenue encore plus efficace qu'Infiniband pour certains scénarios de réseau.

Performances IP sur Infiniband améliorées

L'IP sur Infiniband peut bénéficier de bien meilleures performances en utilisant les caractéristiques de débit élevé et de faible latence d'Infiniband. L'accès direct à la mémoire à distance (RDMA) est l'une des fonctionnalités avancées prises en charge par Infiniband, qui permet un accès direct à la mémoire entre deux ordinateurs sans nécessiter l'intervention du processeur, réduisant ainsi la latence tout en augmentant l'utilisation de la bande passante. De plus, la capacité d'Infiniband à prendre en charge plusieurs connexions parallèles augmente l'efficacité et la fiabilité de la transmission des données dans les environnements informatiques hautes performances. Par conséquent, les applications nécessitant un transfert de données rapide avec des délais minimes peuvent être optimisées grâce à ces fonctionnalités, ce qui en fait une bonne option pour certains types de réseaux où de très grandes quantités de données sont transférées rapidement sur de courtes périodes.

Latence réseau réduite et débit accru

La latence du réseau a un impact considérable sur les performances de communication des données et l'efficacité des applications. En donnant la priorité à l'importance des différents paquets de données, les mécanismes de qualité de service (QoS) peuvent contribuer à réduire cette latence. En période de forte demande de services, la QoS garantit aux utilisateurs une meilleure expérience en permettant d'envoyer les informations importantes en premier.

Le débit peut également être augmenté grâce à des techniques d'optimisation de la bande passante telles que la compression des données et la mise en forme du trafic. La compression des données entraîne des fichiers plus petits, ce qui entraîne des vitesses d'envoi plus rapides. Prévenir la congestion en contrôlant le flux d’informations permet un débit cohérent sur les réseaux.

Des protocoles de routage avancés associés à des périphériques réseau plus puissants peuvent conduire à des améliorations encore plus importantes des performances globales. MPLS (Multiprotocol Label Switching), qui réduit les décisions de routage complexes prises à chaque saut, doit être utilisé car il augmente la vitesse lors du transfert de paquets, améliorant ainsi à la fois la latence et le débit sur n'importe quel système donné.

Problèmes courants et dépannage des ponts Infiniband

Résolution des problèmes de MTU

Dans un réseau Infiniband, la première étape pour résoudre les problèmes de MTU consiste à identifier la meilleure taille de MTU pour votre environnement particulier. Tester différentes MTU vous aidera à trouver celle qui a le moins de latence et le débit le plus élevé. Généralement, les réseaux Infiniband fonctionnent avec une MTU de 65520 XNUMX, mais cela peut varier en fonction du matériel utilisé ou de la topologie du réseau.

1. Test Ping : la commande ping avec l'option « Ne pas fragmenter » vérifie les paramètres MTU. Réduisez progressivement la taille de la charge utile jusqu’à atteindre le maximum pouvant être envoyé sans fragmentation. Cela donne un point de référence pour la taille MTU idéale.
2. Configuration réseau : tous les appareils sur le chemin, y compris les routeurs, les commutateurs et les serveurs, doivent avoir les mêmes valeurs configurées concernant leur mtus respectif ; sinon, des paquets abandonnés se produiront, entraînant des niveaux de performances globalement médiocres.
3. Surveillance et diagnostics : utilisez des outils de surveillance pour suivre les modèles de trafic sur votre infrastructure réseau afin de détecter toute anomalie pouvant suggérer l'existence de problèmes liés spécifiquement aux MTU au sein desdits systèmes, tels que Wireshark, où l'analyse de capture de paquets devient essentielle lors des processus de dépannage impliqués.

Une gestion efficace de la configuration de ces paramètres permet de réduire les pertes tout en améliorant les performances sur tous les nœuds connectés via les interconnexions InfiniBand utilisées ici.

Dépannage de la configuration IP

Dans un réseau Infiniband, les étapes ci-dessous peuvent aider à résoudre systématiquement les problèmes de configuration IP.

1. Veuillez confirmer votre adresse IP : vérifiez les adresses uniques et qui se chevauchent entre les appareils de votre réseau. Pour Windows, utilisez ipconfig, tandis que les utilisateurs Linux doivent utiliser ifconfig ou ip a pour vérifier les paramètres IP actuels.
2. Vérifiez les masques de sous-réseau : des masques de sous-réseau incompatibles peuvent entraver la communication entre les appareils sur le même segment de réseau, entraînant des problèmes de connectivité. Assurez-vous que tous les appareils sont configurés avec les masques de sous-réseau corrects au sein d'un sous-réseau infiniband.
3. Configuration de la passerelle : assurez-vous que chaque appareil a sa passerelle par défaut correctement définie. L'adresse de cette passerelle doit correspondre à un routeur actif situé dans la même section d'un réseau plus large, lui permettant de communiquer avec des réseaux externes.
4. Paramètres DNS : si une résolution de nom est requise, assurez-vous que des paramètres DNS précis sont appliqués ici, car des entrées incompatibles/incorrectes pourraient empêcher les appareils de résoudre les noms d'hôte, ce qui entraînerait des problèmes d'accès.
5. Utiliser les outils de diagnostic : utilisez des outils de diagnostic tels que ping qui teste la connectivité entre deux ordinateurs ainsi que traceroute (ou tracert pour Windows) qui permet d'identifier les problèmes de routage. Les outils d'analyse réseau peuvent également être utilisés lorsque les appareils qui ne répondent pas doivent être détectés.

Un examen attentif de ces éléments de configuration vous permettra de repérer et de résoudre la plupart des problèmes liés à l'IP dans un réseau InfiniBand, favorisant ainsi une meilleure communication et de meilleures performances.

Résoudre les problèmes de perte et de transfert de paquets

Pour résoudre efficacement les problèmes de perte et de transfert de paquets dans un réseau Infiniband, suivez ces bonnes pratiques :

1. Identifiez la source de la perte de paquets : utilisez des outils de gestion des réseaux pour observer la façon dont les données se déplacent dans un système et découvrir où les paquets sont perdus. Des liens qui transportent trop de trafic, des appareils en panne ou des configurations mal définies pourraient tous être responsables de ce problème.
2. Optimiser la configuration du réseau : vérifiez si les paramètres de qualité de service (QoS) ont été correctement appliqués afin de donner la priorité aux informations importantes. Assurez-vous également que les tampons des commutateurs et des routeurs sont suffisamment grands pour faire face aux charges maximales, ce qui réduira les pertes de paquets.
3. Mettre à jour le micrologiciel et les pilotes : actualisez régulièrement les logiciels installés dans les commutateurs réseau ainsi que les pilotes utilisés par les cartes d'interface réseau (NIC). Ces mises à niveau sont accompagnées, entre autres, de meilleures fonctionnalités de performances visant à résoudre les causes sous-jacentes de la perte de paquets.
4. Évaluez la topologie du réseau : examinez la disposition du réseau et recherchez les endroits où il pourrait y avoir une congestion en raison de chemins inefficaces éventuellement pontés via Ethernet. L'ajout de redondance et de différentes options de routage devrait atténuer les effets causés par les liaisons défaillantes et les zones à forte utilisation au sein d'un système.
5. Effectuer des tests de performances : entre les appareils, utilisez des outils de type iperf pour effectuer des tests de débit. Le but ici est de vérifier si votre réseau peut supporter la charge requise tout en identifiant les zones susceptibles de tomber en panne sous la pression.

En abordant systématiquement chaque facteur, vous améliorerez la fiabilité et l'efficacité en ce qui concerne le transfert de paquets via votre infiniband, réduisant ainsi les pertes totales subies dans l'ensemble de l'infrastructure, ce qui augmentera finalement les niveaux de performances à travers les frontières.

Comment les ponts Infiniband peuvent-ils améliorer les performances des machines virtuelles ?

Optimisation du transfert de données pour les machines virtuelles

Il existe différentes manières d'optimiser le transfert de données afin d'améliorer les performances des machines virtuelles (VM). Tout d'abord, vous pouvez utiliser un pont Ethernet qui augmentera l'efficacité de votre réseau domestique. Les ponts Infiniband augmentent considérablement le débit de données et réduisent la latence grâce aux capacités à haut débit et à faible latence des réseaux Infiniband. Ceci est important pour la communication entre les machines virtuelles et les hôtes impliqués dans des applications gourmandes en données.

Une autre méthode consiste à utiliser des technologies de réseau virtuel telles que des réseaux superposés ou des réseaux locaux virtuels (VLAN). Ces méthodes créent une meilleure gestion et segmentation du trafic qui permettent une allocation plus efficace des ressources tout en réduisant la congestion au sein de l'infrastructure réseau.

Enfin, l'intégration de technologies de déduplication et de compression peut contribuer à rationaliser davantage le transfert de données entre les machines virtuelles, minimisant ainsi ce qui doit être envoyé sur le réseau, optimisant ainsi l'utilisation de la bande passante à tout moment. En utilisant ces techniques, les organisations seront en mesure de rendre leurs environnements virtualisés beaucoup plus rapides, avec des vitesses d'accès améliorées et des niveaux d'efficacité globale du système en augmentation également !

Configuration de KVM avec Infiniband

Pour configurer KVM (Kernel-based Virtual Machine) avec Infiniband, vous devez suivre quelques étapes qui favoriseront l'interaction et les performances. Le système d'exploitation hôte doit d'abord installer les pilotes Infiniband nécessaires pour permettre la communication entre les instances KVM et le matériel Infiniband. Cela signifie généralement installer OpenFabrics Enterprise Distribution (OFED), qui contient des bibliothèques et des utilitaires essentiels.

Ensuite, vous devez configurer des interfaces réseau virtuelles pour vos machines virtuelles. Généralement, cela se fait en créant une interface de pont qui connecte les machines virtuelles KVM au réseau Infiniband. Pour créer un pont, utilisez des outils tels que brctl et assurez-vous que les machines virtuelles sont configurées avec des interfaces réseau qui utilisent ce pont afin de déplacer efficacement les données.

Pensez également à modifier certains paramètres du KVM, comme l'allocation de mémoire ou l'utilisation du processeur, afin qu'ils puissent mieux correspondre aux capacités de haute performance d'InfiniBand. Enfin, il est recommandé d'activer les optimisations requises comme le transfert de données à grande échelle (LSO) ou la mise à l'échelle côté réception (RSS), ce qui augmenterait encore les vitesses de transfert tout en diminuant les niveaux de latence.

Si ces étapes sont suivies, KVM tirera parti de l'utilisation d'InfiniBand, ce qui se traduira par des performances améliorées de la VM avec des frais opérationnels réduits.

Avantages pour Proxmox et autres machines virtuelles

En ce qui concerne Proxmox et d'autres environnements de machines virtuelles, l'intégration de la technologie Infiniband présente de nombreux avantages. Tout d'abord, Infiniband offre un débit très élevé et une faible latence, ce qui améliore considérablement les vitesses de transfert de données entre les machines virtuelles, ce qui conduit à des performances applicatives améliorées ainsi qu'à une meilleure réactivité. Il prend également en charge l'accès direct à la mémoire à distance (RDMA), permettant un déplacement efficace des données sans impliquer le processeur, libérant ainsi des ressources pour d'autres tâches tout en améliorant l'efficacité globale du système.

De plus, l'utilisation d'InfiniBand avec la virtualisation peut contribuer à améliorer l'évolutivité du réseau. Cela est particulièrement important dans les environnements virtuels à haute densité où la demande en ressources augmente, car davantage de connexions simultanées peuvent être gérées sans aucune baisse de la qualité de service fournie par l'infrastructure. Les utilisateurs de Proxmox ont beaucoup à gagner des interfaces et des outils de gestion faciles qui exploitent ces capacités offertes par InfiniBand pour optimiser le stockage dans les performances réseau de leurs machines virtuelles. De manière générale, l'intégration de cette technologie dans la virtualisation simplifie non seulement les opérations, mais renforce également les capacités et l'efficacité des écosystèmes virtuels par rapport à ce qu'elles étaient avant son introduction.

Sources de référence

InfiniBand

Ethernet

Réseau informatique

Foire Aux Questions (FAQ)

Q : Quel est le but de configurer un pont InfiniBand pour améliorer les performances du réseau ?

R : La principale raison de configurer un pont Infiniband est de regrouper le transfert de données à haut débit sur le réseau afin d'améliorer les performances et la connectivité entre les différents nœuds et sous-réseaux du réseau. Cette disposition fonctionne mieux dans les clusters informatiques ainsi que dans les centres de données.

Q : Comment configurer un pont Infiniband à l'aide d'appareils Mellanox ?

R : Pour configurer un pont Infiniband avec des appareils Mellanox, vous devez installer les pilotes appropriés, modifier vos paramètres réseau et utiliser les outils de gestion fournis par Mellanox pour créer et contrôler le pont InfiniBand. Vérifiez que chaque nœud a été correctement connecté à la structure InfiniBand tout en garantissant la configuration appropriée de votre commutateur IB.

Q : Quel est le rôle de l’interface ponctuelle dans un réseau Infiniband ?

R : L'interface point (IP sur Infiniband) permet aux applications IP traditionnelles de s'exécuter sur un réseau InfiniBand. Cette interface permet également de connecter des réseaux Ethernet via un pontage entre InfiniBand, permettant ainsi la communication sur des types de réseaux plus divers.

Q : Comment l’utilisation d’une passerelle Infiniband améliore-t-elle les performances ?

R : Une passerelle Infiniband peut supprimer les responsabilités de gestion du trafic des processeurs, ce qui réduit la latence et augmente ainsi les niveaux de débit. De plus, il fournit des connexions transparentes entre les réseaux Infinband et Ethernet, permettant une utilisation efficace de plusieurs protocoles réseau.

Q : Puis-je utiliser un port comme IB et un port comme Ethernet dans une carte Infiniband ?

R : Oui, en effet ; Certaines cartes à bande infinitive à double port prennent en charge les configurations hybrides dans lesquelles un port peut être configuré pour des bandes infinies (IB) tandis qu'un autre est destiné uniquement à des fins de communication Ethernet. Cette fonctionnalité est pratique lorsque vous souhaitez que les deux types soient impliqués en même temps sans avoir de composants matériels distincts dédiés exclusivement à l'une ou l'autre option seule.

Q : Quel est l'objectif du protocole RDMA sur Ethernet convergé (RoCE) ?

R : Le protocole permet un transfert de données à grande vitesse avec des latences très faibles et des surcharges CPU négligeables entre les nœuds de serveur connectés à une structure Ethernet commune, qui prend en charge les fonctionnalités RDMA d'Infiniband.

Q : Comment puis-je savoir si ma carte réseau est compatible avec les appareils InfiniBand ?

R : Pour garantir que votre carte réseau fonctionne correctement avec un périphérique Infiniband, les deux doivent être sur le même sous-réseau et être conformes à des normes similaires telles que 4X ou PCIe. Vous pouvez vérifier la compatibilité des spécifications du fabricant et utiliser les pilotes/micrologiciels correspondants pour éliminer les problèmes de configuration réseau.

Q : Qu'est-ce que cela signifie lorsque nous parlons d'avoir un pont virtuel dans notre configuration InfiniBand ?

R : Un pont virtuel crée des réseaux virtuels sur un réseau fédérateur physique composé d'InfiniBand. Cela conduit à une meilleure utilisation des ressources au sein des réseaux et à l'isolation des différents types de flux de trafic entre plusieurs locataires partageant une même infrastructure, simplifiant ainsi les tâches de gestion associées à ces environnements.

Q : Lors de la création d'un cluster Infiniband, quelles considérations doivent être prises en compte concernant les capacités de déchargement du processeur ?

R : Les capacités de déchargement sont cruciales car elles réduisent le temps de traitement en transférant les charges de travail des processeurs hôtes vers les cartes réseau. Cela se traduit par une réduction des temps de latence tout en augmentant les niveaux de débit essentiels aux performances des systèmes HPC.

Q : Pourquoi quelqu'un voudrait-il ajouter des ports Ethernet 10 Gbe à son infrastructure existante, qui comprend un réseau InfiniBand ?

R : L'ajout de ports Ethernet 10 GbE permet des connexions flexibles entre les anciens réseaux Ethernet et les nouvelles infrastructures InfiniBand plus rapides, permettant un mouvement transparent des données dans les environnements hybrides.