高性能コンピューティング (HPC) とデータ中心のアプリケーションの進歩が急速に進む中、Infiniband やギガビット イーサネットなどの信頼性が高く効率的な相互接続ソリューションの必要性が高まっています。Infiniband テクノロジは、高帯域幅と低遅延通信を提供することでネットワーク パフォーマンスを向上させたい組織にとって最適なオプションの 1 つとなっています。この記事では、マルチノード ネットワーク パフォーマンスを最大化するために Infiniband ブリッジを設定する方法について、手順を追って説明します。最終的な目標は、読者が Infiniband ブリッジなどの最先端のツールを使用する基本原理を理解することです。これにより、比類のないパフォーマンスを実現できます。 データ転送速度 リソースの使用率を向上させ、より強力でスケーラブルなネットワーク インフラストラクチャを構築します。
Infiniband ブリッジとは何ですか?
Infiniband テクノロジーを理解する
Infinibandは、高性能コンピューティング（HPC）やエンタープライズで使用される通信技術です。 データセンター。 それは使用しています 切り替え ファブリック アーキテクチャにより、複数のデータ パスが可能になり、スループットが向上し、レイテンシが短縮されます。Infiniband は 2.5 Gbps から 200 Gbps 以上の複数のデータ レートをサポートしているため、パフォーマンスが要求されるアプリケーションに適しています。このプロトコルには、サービス品質 (QoS)、信頼性の高いメッセージング、リモート ダイレクト メモリ アクセス (RDMA) などの高度な機能があります。RDMA を使用すると、CPU を介さずに XNUMX 台のコンピューターのメモリを直接転送できるため、オーバーヘッドが削減されます。したがって、Infiniband は、低レイテンシでリソースを効率的に使用しながら高帯域幅を必要とする環境に最適です。
Infiniband とイーサネットの比較
Infiniband と Ethernet は、それぞれ独自の長所を持つ 40 つの異なるネットワーク技術です。Infiniband は高性能コンピューティング向けに構築されており、低レイテンシと約 200 Gbps から 10 Gbps の高帯域幅を誇ります。RDMA などの機能を使用して効率的なデータ転送を可能にするため、データ量の多いアプリケーションに最適です。一方、Ethernet はより柔軟で、400 Mbps から XNUMX Gbps の速度で一般的なネットワークに広く使用されています。Ethernet には低レイテンシ Ethernet (LLE) などの開発が行われていますが、パフォーマンスと帯域幅が最も重要になる場合は Infiniband が依然として優位に立っており、Ethernet は標準的な状況に適しています。ホーム ネットワーク セットアップ上の管理トラフィックで Ethernet が使用されることが多い場合は、この XNUMX つを併用できますが、Infiniband は同じ環境内の高スループット アプリケーションに対応します。
Infiniband ブリッジの主要コンポーネント
- 物理層: 物理接続を介して生データを送信することがその役割です。ケーブルとコネクタの電気的および光学的仕様を設定します。
- リンク層: Infiniband サブネット操作に不可欠なエラーを検出して修正することで、信頼性の高い通信を実現します。この層は、リンクの初期化や状態遷移の管理などのリンク管理機能も処理します。
- ネットワーク層: この層の主な目的は、Infiniband ネットワーク内のデバイス間でパケットをルーティングすることです。アドレス解決や一部のネットワーク管理機能もここで処理されます。
- トランスポート層: メッセージが正確に送信されるように、信頼性の高いデータ転送を保証するコネクション指向サービスとコネクションレスサービスの両方の提供など、フロー制御が含まれます。
- 管理インターフェイス: ブリッジの動作を監視し、設定できるようにするために使用されます。管理者は、診断やパフォーマンス メトリックのサポートに加えてこれを使用できます。
Infiniband ブリッジを構成するにはどうすればいいですか?
Infiniband スイッチの設定
以下は、InfiniBand スイッチを構成するための簡単な手順です。
- 管理インターフェイスへの接続: 専用の管理ポートを使用してスイッチの GUI または CLI にアクセスします。
- IP アドレスの割り当て: 管理インターフェイスに適切な IP アドレスを設定し、ネットワークのサブネット内にあることを確認します。
- ポート設定を構成する: 速度、リンク タイプ、MTU サイズなど、各ポートの必要なパラメータを設定します。
- サービスの有効化: ネットワーク設定に必要なルーティング プロトコル、VLAN、QoS などの必要なサービスをアクティブ化します。
- 接続のテスト: 診断ツールを使用してデバイスの接続をテストし、エラーを監視することで構成を確認します。
Linux でのネットワーク インターフェイスの設定
以下は、InfiniBand スイッチを構成するための簡単な手順です。
- 管理インターフェイスへの接続: 専用の管理ポートを使用してスイッチの GUI または CLI にアクセスします。
- IP アドレスの割り当て: 管理インターフェイスに適切な IP アドレスを設定し、ネットワークのサブネット内にあることを確認します。
- ポート設定を構成する: 速度、リンク タイプ、MTU サイズなど、各ポートの必要なパラメータを設定します。
- サービスの有効化: ネットワーク設定に必要なルーティング プロトコル、VLAN、QoS などの必要なサービスをアクティブ化します。
- 接続のテスト: 診断ツールを使用してデバイスの接続をテストし、エラーを監視することで構成を確認します。
イーサネットネットワークとの統合
イーサネット ネットワークにデバイスを追加するには、次の手順に従います。
- イーサネットへの接続: 適切なケーブルを使用して、デバイスをイーサネット ネットワークに物理的に接続します。ケーブルが速度の標準を満たしていることを確認します (たとえば、5 Gbps の場合は Cat1e)。
- ネットワーク構成: 静的 IP を割り当てるか、DHCP を有効にして、デバイスの設定をネットワークの設定と一致させます。これは、GUI または CLI を使用して行うことができます。
- 接続を確認する: ping コマンドやその他のツールを使用して、デバイスが正しく接続されているかどうかをテストし、デバイスのリンク ステータス LED を監視します。
- VLAN を構成する: デバイスが VLAN の一部となる場合は、デバイス上で VLAN 設定を構成します。
- ネットワーク パフォーマンスの監視: 遅延やパケット損失検出システムなどの監視ツールを使用して接続パフォーマンスをチェックし、問題を発見するのに役立ちます。
Infiniband よりもイーサネットを使用する利点は何ですか?
強化されたパケット転送機能
イーサネットは、アドレス解決プロトコル (ARP)、インターネット制御メッセージ プロトコル (ICMP)、ギガビット イーサネット テクノロジなどの標準プロトコルをサポートすることで、パケット転送機能を強化します。これらのプロトコルにより、ネットワーク全体でデータ パケットを効率的にルーティングおよび配信できます。さらに、イーサネットは、スパニング ツリー プロトコル (STP) やラピッド スパニング ツリー プロトコル (RSTP) などの複数のレイヤー 10 テクノロジと連携して、ループのないトポロジを作成し、ネットワークの信頼性とパフォーマンスを向上させることができます。イーサネットの速度が進歩するにつれて (特に 40G、100G、XNUMXG イーサネット テクノロジ)、大量のトラフィックを処理しながらレイテンシを削減する能力は、特定のネットワーク シナリオでは Infiniband よりもさらに効果的になっています。
IP Over Infiniband のパフォーマンスの向上
IP over Infiniband は、Infiniband の高スループットと低レイテンシの特性を利用することで、はるかに優れたパフォーマンスを実現できます。Remote Direct Memory Access (RDMA) は、Infiniband がサポートする高度な機能の 1 つで、CPU を介さずに 2 台のコンピュータ間で直接メモリにアクセスできるため、レイテンシが短縮され、帯域幅の使用率が向上します。さらに、複数の並列接続をサポートできる Infiniband の能力により、高性能コンピューティング環境でのデータ転送の効率と信頼性が向上します。したがって、遅延を最小限に抑えた高速データ転送を必要とするアプリケーションは、これらの機能によって最適化できるため、短期間で大量のデータを高速転送する必要がある特定の種類のネットワークには最適なオプションとなります。
ネットワーク遅延の削減とスループットの向上
ネットワーク遅延は、データ通信のパフォーマンスとアプリケーションの効率に大きく影響します。さまざまなデータ パケットの重要性を優先することで、サービス品質 (QoS) メカニズムはこの遅延を軽減するのに役立ちます。サービス需要が高い場合、QoS は重要な情報を最初に送信できるようにすることで、ユーザーのエクスペリエンスを向上させます。
スループットは、データ圧縮やトラフィック シェーピングなどの帯域幅最適化技術によっても向上します。データを圧縮するとファイル サイズが小さくなり、送信速度が速くなります。情報の流れを制御して輻輳を防ぐと、ネットワーク全体で一貫したスループットを実現できます。
高度なルーティング プロトコルと、より強力なネットワーク デバイスを組み合わせると、全体的なパフォーマンスがさらに向上します。各ホップで行われる複雑なルーティング決定を削減する MPLS (マルチプロトコル ラベル スイッチング) を使用すると、パケット転送時の速度が向上し、特定のシステム全体の待ち時間とスループットの両方が改善されるため、これを使用する必要があります。
Infiniband ブリッジの一般的な問題とトラブルシューティング
MTU の問題の解決
Infiniband ネットワークでは、MTU の問題をトラブルシューティングするための最初のステップは、特定の環境に最適な MTU サイズを特定することです。さまざまな MTU をテストすると、どの MTU が最小のレイテンシと最高のスループットを実現するかがわかります。通常、Infiniband ネットワークは 65520 の MTU で動作しますが、これは使用するハードウェアやネットワーク トポロジによって異なる場合があります。
- Ping テスト: 「断片化しない」オプションを指定した ping コマンドは、MTU 設定を検証します。断片化せずに送信できる最大値に達するまで、ペイロード サイズを徐々に減らします。これにより、理想的な MTU サイズの参照ポイントが得られます。
- ネットワーク構成: ルータ、スイッチ、サーバーを含むパス内のすべてのデバイスは、それぞれの MTU に関して同じ設定値を持つ必要があります。そうでない場合、パケットがドロップされ、全体的なパフォーマンス レベルが低下します。
- 監視と診断: 監視ツールを使用して、ネットワーク インフラストラクチャ全体のトラフィック パターンを追跡し、Wireshark などのシステム内の MTU に特に関連する問題があることを示唆する異常を検出します。これらのシステムでは、パケット キャプチャ分析がトラブルシューティング プロセス中に不可欠になります。
これらの設定を効果的に構成管理することで、ここで使用される InfiniBand 相互接続を介して接続されたすべてのノード全体のパフォーマンスを向上させながら、損失を削減できます。
IP 構成のトラブルシューティング
Infiniband ネットワークでは、以下の手順で IP 構成の問題を体系的に解決できます。
- IP アドレスを確認してください: ネットワーク内のデバイス間で一意のアドレスと重複するアドレスを確認してください。Windows の場合は ipconfig を使用し、Linux ユーザーは ifconfig または ip a を使用して現在の IP 設定を確認する必要があります。
- サブネット マスクを確認する: サブネット マスクが一致しないと、同じネットワーク セグメント上のデバイス間の通信が妨げられ、接続の問題が発生する可能性があります。InfiniBand サブネット内のすべてのデバイスが正しいサブネット マスクで構成されていることを確認してください。
- ゲートウェイ構成: 各デバイスのデフォルト ゲートウェイが正しく設定されていることを確認します。このゲートウェイのアドレスは、広域ネットワークの同じセクション内にあるアクティブなルーターに対応している必要があり、これにより外部ネットワークとの通信が可能になります。
- DNS設定: 名前解決が必要な場合は、ここで正確なDNS設定が適用されていることを確認してください。不一致または誤ったエントリがあると、デバイスがホスト名を解決できなくなり、アクセスの問題が発生する可能性があります。
- 診断ツールを使用する: 2 台のコンピューター間の接続をテストする ping や、ルーティングの問題を特定するのに役立つ traceroute (Windows の場合は tracert) などの診断ツールを使用します。応答しないデバイスを検出する必要がある場合は、ネットワーク スキャン ツールも使用できます。
これらの構成要素を注意深く調べることで、InfiniBand ネットワーク内の IP 関連の問題のほとんどを特定して修正できるようになり、通信とパフォーマンスが向上します。
パケット損失とパケット転送の問題への対処
Infiniband ネットワークでのパケット損失と転送の問題に効果的に対処するには、次のベスト プラクティスに従ってください。
- パケット損失の原因を特定する: ネットワーク管理ツールを使用して、システム内でデータがどのように移動するかを監視し、パケットが失われている場所を見つけます。この問題の原因は、トラフィックが多すぎるリンク、壊れたデバイス、または誤って設定された構成のすべてである可能性があります。
- ネットワーク構成の最適化: 重要な情報に優先順位を付けるには、サービス品質 (QoS) 設定が適切に適用されているかどうかを確認します。また、スイッチとルーターのバッファが最大負荷に対応できる大きさであることを確認して、パケットのドロップを減らします。
- ファームウェアとドライバーの更新: ネットワーク スイッチにインストールされているソフトウェアと、ネットワーク インターフェイス カード (NIC) で使用されるドライバーを定期的に更新します。これらのアップグレードには、パケット損失の根本的な原因を解決することを目的とした、パフォーマンスを向上させる機能などが含まれます。
- ネットワーク トポロジを評価する: ネットワーク レイアウトを確認し、イーサネット経由でブリッジされている可能性のある非効率的なパスが原因で輻輳が発生する可能性のある場所を探します。冗長性とさまざまなルーティング オプションを追加すると、システム内のリンク障害や使用率の高い領域によって引き起こされる影響が軽減されます。
- パフォーマンス テストの実施: デバイス間で、iperf のようなツールを使用してスループット テストを実行します。ここでの目的は、ネットワークが必要な負荷に耐えられるかどうかを確認し、負荷がかかると失敗する可能性のある領域を特定することです。
各要素に体系的に取り組むことで、InfiniBand を介したパケット転送の信頼性と効率が向上し、インフラストラクチャ全体で発生する総損失が軽減され、最終的に境界全体でパフォーマンス レベルが向上します。
Infiniband ブリッジは仮想マシンのパフォーマンスをどのように向上させるのでしょうか?
VM のデータ転送の最適化
仮想マシン (VM) のパフォーマンスを向上させるためにデータ転送を最適化する方法はいくつかあります。まず、イーサネット ブリッジを使用して、ホーム ネットワークの効率を高めることができます。Infiniband ブリッジは、Infiniband ネットワークの高速で低遅延の機能により、データ スループットを大幅に向上させ、遅延を減らします。これは、データ集約型アプリケーションに関係する VM とホスト間の通信にとって重要です。
もう 1 つの方法は、オーバーレイ ネットワークや仮想 LAN (VLAN) などの仮想ネットワーク テクノロジを使用することです。これらの方法により、トラフィック管理とセグメンテーションが改善され、ネットワーク インフラストラクチャ内の輻輳を軽減しながら、より効果的なリソース割り当てが可能になります。
最後に、重複排除と圧縮のテクノロジーを組み込むと、VM 間のデータ転送をさらに効率化できるため、ネットワーク経由で送信されるデータを最小限に抑え、常に帯域幅の使用率を最適化できます。これらの技術を利用することで、組織は仮想化環境を大幅に高速化でき、結果としてアクセス速度が向上し、全体的なシステム効率レベルも向上します。
Infiniband を使用した KVM の構成
Infiniband を使用して KVM (カーネルベースの仮想マシン) を構成するには、相互作用とパフォーマンスを向上させるいくつかの手順に従う必要があります。ホスト オペレーティング システムは、まず、KVM インスタンスと Infiniband ハードウェア間の通信を可能にするために必要な Infiniband ドライバーをインストールする必要があります。これは通常、必須のライブラリとユーティリティを含む OpenFabrics Enterprise Distribution (OFED) をインストールすることを意味します。
次に、VM の仮想ネットワーク インターフェイスを設定する必要があります。通常、これは KVM 仮想マシンを Infiniband ネットワークに接続するブリッジ インターフェイスを作成することによって行われます。ブリッジを作成するには、brctl などのツールを使用し、データを効率的に移動するためにこのブリッジを利用するネットワーク インターフェイスを使用して VM が構成されていることを確認します。
また、メモリ割り当てや CPU 使用率など、KVM の一部のパラメータを変更して、InfiniBand の高性能機能により適合させることも検討してください。最後に、Large Send Offload (LSO) や Receive Side Scaling (RSS) などの必要な最適化を有効にすると、レイテンシ レベルを下げながら転送速度をさらに上げることができます。
これらの手順に従うと、KVM は InfiniBand の使用を活用し、運用オーバーヘッドが削減され、VM のパフォーマンスが向上します。
Proxmoxとその他の仮想マシンの利点
Proxmox とその他の仮想マシン環境に関して言えば、Infiniband テクノロジの統合には多くの利点があります。まず、Infiniband は非常に高いスループットと低いレイテンシを提供し、仮想マシン間のデータ転送速度を大幅に向上させ、アプリケーションのパフォーマンスと応答性を向上させます。また、リモート ダイレクト メモリ アクセス (RDMA) もサポートしているため、CPU を介さずに効率的なデータ移動が可能になり、他のタスクのためにリソースを解放しながら、システム全体の効率性を向上させることができます。
さらに、Infiniband を仮想化と併用すると、ネットワークのスケーラビリティが向上します。これは、リソース需要が増加する高密度仮想環境では特に重要です。インフラストラクチャが提供するサービス品質を低下させることなく、より多くの同時接続を処理できるためです。Proxmox ユーザーは、InfiniBand が提供するこれらの機能を利用して VM のネットワーク パフォーマンス内のストレージを最適化する、簡単な管理インターフェイスとツールから多くのメリットを得ることができます。一般的に、このテクノロジを仮想化に組み込むと、操作が簡素化されるだけでなく、仮想エコシステムの機能と効率が導入前よりもさらに向上します。
参照ソース
よくある質問（FAQ）
Q: ネットワーク パフォーマンスを向上させるためにブリッジ InfiniBand を構成する目的は何ですか?
A: ブリッジ Infiniband を構成する主な理由は、ネットワーク全体の高速データ転送を統合して、ネットワーク内のさまざまなノードとサブネット間のパフォーマンスと接続性を向上させることです。この構成は、コンピューティング クラスターとデータ センターで最も効果的に機能します。
Q: Mellanox デバイスを使用して Infiniband ブリッジを設定するにはどうすればよいですか?
A: Mellanox デバイスで Infiniband ブリッジを構成するには、適切なドライバーをインストールし、ネットワーク設定を変更し、Mellanox が提供する管理ツールを使用してブリッジ InfiniBand を作成および制御する必要があります。IB スイッチが適切に構成されていることを確認しながら、各ノードが InfiniBand ファブリックに正しく接続されていることを確認してください。
Q: Infiniband ネットワークにおけるポイント インターフェイスの役割は何ですか?
A: ポイント (IP over Infiniband) インターフェイスを使用すると、従来の IP ベースのアプリケーションを InfiniBand ネットワーク上で実行できます。また、このインターフェイスを使用すると、InfiniBand 間のブリッジを介してイーサネット ネットワークを接続することも可能になり、より多様なタイプのネットワークを介した通信が可能になります。
Q: Infiniband ゲートウェイを使用するとパフォーマンスがどのように向上しますか?
A: Infiniband ゲートウェイは CPU からトラフィック管理の責任を取り除き、レイテンシを短縮してスループット レベルを向上させます。さらに、Infiniband とイーサネット ネットワーク間のシームレスな接続を提供し、複数のネットワーク プロトコルを効率的に使用できるようにします。
Q: Infiniband カードで 1 つのポートを IB として、もう 1 つのポートをイーサネットとして使用できますか?
A: はい、もちろんです。デュアル ポートの無限帯域カードの中には、1 つのポートを無限帯域 (IB) 用に構成し、もう 1 つのポートをイーサネット通信専用にできるハイブリッド構成をサポートするものもあります。この機能は、どちらかのオプション専用のハードウェアを別に用意することなく、両方のタイプを同時に使用したい場合に便利です。
Q: RDMA over Converged Ethernet (RoCE) プロトコルの目的は何ですか?
A: このプロトコルにより、Infiniband の RDMA 機能をサポートする共通のイーサネット ファブリックに接続されたサーバー ノード間で、非常に低いレイテンシと無視できる CPU オーバーヘッドで高速データ転送が可能になります。
Q: NIC が InfiniBand デバイスと互換性があるかどうかはどうすればわかりますか?
A: NIC が Infiniband デバイスで正常に動作することを保証するには、両方が同じサブネット上にあり、4X や pcie などの同様の標準に準拠している必要があります。製造元の仕様で互換性を確認し、一致するドライバー/ファームウェアを使用して、ネットワーク構成の問題を排除できます。
Q: InfiniBand セットアップで仮想ブリッジを使用するというのはどういう意味ですか?
A: 仮想ブリッジは、InfiniBand で構成された物理バックボーン上に仮想ネットワークを作成します。これにより、ネットワーク内のリソース利用率が向上し、1 つのインフラストラクチャを共有する複数のテナント間で異なるタイプのトラフィック フローが分離されるため、これらの環境に関連する管理タスクが簡素化されます。
Q: Infiniband クラスターを構築する場合、CPU オフロード機能に関してどのような点を考慮する必要がありますか?
A: オフロード機能は、ホスト CPU から NIC にワークロードを転送することで処理時間を短縮するため、非常に重要です。これにより、レイテンシ時間が短縮され、HPC システムのパフォーマンスにとって重要なスループット レベルが向上します。
Q: InfiniBand ネットワークを含む既存のインフラストラクチャに 10GbE イーサネット ポートを追加する必要があるのはなぜですか?
A: 10 GbE イーサネット ポートを追加すると、古いイーサネット ネットワークと新しい高速 InfiniBand インフラストラクチャ間の柔軟な接続が可能になり、ハイブリッド環境全体でシームレスなデータ移動が可能になります。