InfiniBand と RoCE の違いは何ですか?

2024 年 1 月 19 日

ミア

光伝送コンサルタント

データセンターネットワークアーキテクチャ

クロスバーアーキテクチャ

初期の電話交換網 (クロスバースイッチ) から派生したアーキテクチャの一種
複数の入力ポート、複数の出力ポート、およびスイッチマトリックスで構成されます。
非常に柔軟で効率的で、異なるデバイス間の任意の接続を実現できます。

クロの建築

シャルル・クロという人物によって提唱され、1952年に誕生しました。
Clos アーキテクチャは、主に多段回線交換ネットワークの構造を記述します。
Clos アーキテクチャは、クロスバー構造を改良したもので、ノンブロッキングネットワークを提供できます。 Clos の利点は、コストを節約し、効率を向上できることです。

ファットツリーアーキテクチャ

ファットツリーは CLOS ネットワークアーキテクチャの一種です。

従来のツリー構造と比較すると、ファットツリーは根元近くの枝が太くなり、より本物の木に似ています。リーフからルートまで、ネットワーク帯域幅は収束しません。

基本的な考え方: 多数の低パフォーマンスのスイッチを使用して、大規模なノンブロッキングネットワークを構築します。どのような通信パターンであっても、ネットワークカードの帯域幅を達成できるパスが常に存在します。

ファットツリーアーキテクチャがデータセンターに導入された後、データセンターは従来の 3 層構造になりました。

アクセス層: すべてのコンピューティングノードを接続するために使用されます。通常はラックスイッチ (TOR、トップオブラック) の形式です。

アグリゲーションレイヤー: アクセス層の相互接続、およびアグリゲーションエリアの第 2 層と第 3 層の境界として使用されます。ファイアウォール、負荷分散などのさまざまなサービスもここに展開されます。

コアレイヤー: アグリゲーション層の相互接続、およびデータセンター全体と外部ネットワーク間の第 3 層通信の実装に使用されます。

ファットツリーアーキテクチャの欠点は次のとおりです。

資源の無駄遣い: 従来の 3 層構造では、下位層のスイッチは 2 つのリンクを介して 2 つの上位層のスイッチに接続されます。 STP プロトコル (スパニングツリープロトコル) が使用されるため、実際にトラフィックを伝送するリンクは 1 つだけです。もう一方のアップリンクはブロックされています (バックアップのみに使用されます)。これにより、帯域幅の無駄が発生します。

大規模なフォールトドメイン：STP プロトコルは、独自のアルゴリズムにより、ネットワークトポロジが変化したときに再収束する必要があるため、障害が発生しやすくなり、VLAN 全体のネットワークに影響を与える可能性があります。

東西の交通には適さない: サーバーとサーバー間の通信には、アクセススイッチ、アグリゲーションスイッチ、コアスイッチを経由する必要があります。

スパインリーフネットワーク

Fat-Tree 構造と同様に、CLOS ネットワークモデルに属します。

従来の 3 層ネットワークアーキテクチャと比較して、Spine-Leaf ネットワークはフラット化され、2 層アーキテクチャになりました。

リーフスイッチは、物理サーバーに直接接続される TOR (Top Of Rack) として、従来の 2 層アーキテクチャのアクセススイッチに相当します。リーフスイッチの上には第 XNUMX 層のネットワークがあり、それぞれが独立した LXNUMX ブロードキャストドメインです。 XNUMX つのリーフスイッチの下にあるサーバーが通信する必要がある場合、それらはスパインスイッチによって転送される必要があります。

スパインスイッチ。コアスイッチに相当します。リーフスイッチとスパインスイッチは、ECMP (Equal Cost Multi Path) を通じて複数のパスを動的に選択します。

スパインスイッチのダウンリンクポートの数によって、リーフスイッチの数が決まります。リーフスイッチのアップリンクポートの数によって、スパインスイッチの数が決まります。彼らは共同してスパインとリーフのネットワークの規模を決定します。

スパインリーフネットワークの利点

高い帯域幅使用率

各リーフスイッチのアップリンクは負荷分散方式で動作し、帯域幅を最大限に活用します。

予測可能なネットワーク遅延

上記のモデルでは、リーフスイッチ間の通信パスの数を決定でき、各パスに必要なスパインスイッチは 1 つだけです。 East-West ネットワークの遅延は予測可能です。

優れたスケーラビリティ

帯域幅が不十分な場合は、スパインスイッチの数を増やして帯域幅を水平方向に拡張できます。サーバー数が増加した場合、スパインスイッチの数も増加してデータセンターの規模を拡大できます。計画と拡張は非常に便利です。

スイッチの要件の軽減

North-South トラフィックは、リーフノードまたはスパインノードから発信できます。東西トラフィックは複数のパスに分散されます。高価な高性能、高帯域幅スイッチは必要ありません。

高いセキュリティと可用性

従来のネットワークでは STP プロトコルが使用されており、デバイスに障害が発生すると再収束し、ネットワークのパフォーマンスに影響を与えたり、障害を引き起こしたりすることがあります。スパインリーフアーキテクチャでは、デバイスに障害が発生した場合、再収束する必要はなく、トラフィックは他の通常のパスを通過し続けます。ネットワーク接続は影響を受けず、帯域幅は 1 つのパスの帯域幅だけ減少します。パフォーマンスへの影響は無視できます。

RDMA (リモートダイレクトメモリアクセス) プロトコル

従来の TCP/IP では、ネットワークカードからのデータが最初にカーネルメモリにコピーされ、次にアプリケーションストレージ領域にコピーされるか、データがアプリケーション領域からカーネルメモリにコピーされてから、インターネットに送信されます。ネットワークカード。この I/O 動作モードでは、カーネルメモリの変換が必要です。データフローの伝送パスの長さが長くなり、CPU 負荷が増加し、伝送遅延も増加します。

RDMA のカーネルバイパスメカニズムにより、アプリケーションとネットワークカードの間で直接データの読み取りおよび書き込みが可能になり、サーバー内のデータ送信遅延が 1us 近くに短縮されます。

同時に、RDMA のメモリゼロコピーメカニズムにより、受信側はカーネルメモリの関与をバイパスして送信側のメモリからデータを直接読み取ることができるため、CPU 負荷が大幅に軽減され、CPU 効率が向上します。

InfiniBandの背景

InfiniBand (略称 IB) は強力な通信技術プロトコルです。英語に訳すと「無限帯域」となります。これは、PCI (Peripheral Component Interconnect) バスを置き換えるために 1990 年代に誕生しました。 PCI バスは Intel によって PC アーキテクチャに導入されましたが、アップグレード速度が遅いため、I/O パフォーマンスが大幅に制限され、システム全体のボトルネックになりました。

InfiniBandの開発経緯

1990 年代には、Intel、Microsoft、SUN が「Next Generation I/O (NGIO)」技術標準の開発を主導し、IBM、Compaq、HP が「Future I/O (FIO)」の開発を主導しました。

1999 年に、FIO Developers Forum と NGIO Forum が合併して設立されました。貿易協会 (IBTA)。

2000 年に、InfiniBand アーキテクチャ仕様バージョン 1.0 が正式にリリースされました。

1999 年 XNUMX 月、インテルとガリレオテクノロジーを退職した数人の従業員がイスラエルにチップ会社を設立し、同社を Mellanox と名付けました。

Mellanox 設立後、NGIO に加わりました。その後、Mellanox は InfiniBand 陣営に加わりました。 2001 年に、彼らは最初の InfiniBand 製品を発売しました。から始まる

2003 年、InfiniBand はコンピュータクラスタ相互接続という新しい応用分野に注目しました。

2004 年には、もう XNUMX つの重要な InfiniBand 非営利組織、OFA (Open Fabrics Alliance) が誕生しました。

2005 年、InfiniBand はストレージデバイスの接続という別の新しいシナリオを発見しました。

それ以来、InfiniBand は急速な発展段階に入りました。

InfiniBand ネットワークアーキテクチャ

InfiniBand はチャネルベースの構造であり、次の 4 つの主要コンポーネントで構成されます。

HCA (ホストチャネルアダプター)。ホストを InfiniBand ネットワークに接続します。
TCA (ターゲットチャネルアダプター)。ターゲットデバイス (ストレージなど) を InfiniBand ネットワークに接続します。
InfiniBand リンクは、ケーブル、ファイバー、またはオンボードリンクであり、チャネルアダプターをスイッチまたはルーターに接続します。
InfiniBand スイッチおよびルーター。InfiniBand ネットワークにネットワーク接続とルーティングを提供します。
チャネルアダプタは、InfiniBand チャネルを確立するために使用されます。すべての伝送はチャネルアダプタで開始または終了し、セキュリティを確保したり、特定の QoS (サービス品質) レベルで動作します。

Mellanox は、2020 年に Nvidia に買収されました。それ以来、AI 大規模モデルのトレーニングに広く使用されています。

RoCE

RoCEの誕生

2010 年 2014 月、IBTA は、InfiniBand の RDMA テクノロジーをイーサネットに「移植」した RoCE (RDMA over Converged Ethernet) をリリースしました。 2 年に、彼らはより成熟した RoCEv2 を提案しました。 RoCEvXNUMX により、イーサネットは InfiniBand との技術的パフォーマンスの差を大幅に縮め、その固有のコストと互換性の利点と組み合わせて、反撃を開始しました。

RoCE V2

RoCE v1: イーサネットリンク層に基づく RDMA プロトコル (スイッチは、物理層での信頼性の高い伝送を確保するために、PFC などのフロー制御テクノロジをサポートする必要があります)。これにより、同じ VLAN 内の 2 つのホスト間の通信が可能になります。 RoCE V1: 単一の VLAN にバインドされる RoCE v2 の制限を克服します。 IP および UDP ヘッダーを含むパケットのカプセル化を変更することで、RoCE 2 を L3 および LXNUMX ネットワーク全体で使用できるようになりました。