DPU技術開発

クラウドコンピューティングや仮想化技術の発展に伴い、ネットワークカードも進化しており、機能やハードウェア構成の観点からXNUMX段階に分けられます。

従来のベーシックネットワークカード（NIC）

データ パケットの送受信を担当し、ハードウェア オフロード機能は少なくなっています。ハードウェアは、ASIC ハードウェア ロジックを使用してネットワーク物理リンク層と MAC 層のパケット処理を実装し、後の NIC 標準カードでは CRC チェックなどの機能もサポートされています。プログラミング機能はありません。

スマートネットワークカード（SmartNIC）

OVS/vRouter ハードウェア オフロードなどの特定のデータ プレーン ハードウェア オフロード機能を備えています。ハードウェア構造は、FPGA または FPGA とプロセッサ コア (ここではプロセッサ機能が弱い) を備えた統合プロセッサを使用して、データ プレーン ハードウェア オフロードを実現します。

FPGAベースのDPU

これは、データプレーンとコントロールプレーンの両方のオフロードをサポートし、コントロールプレーンとデータプレーンに一定のプログラミング可能性を備えたスマートネットワークカードです。ハードウェア構造の開発に関しては、Intel CPUなどのFPGAベースの汎用CPUプロセッサを追加します。

シングルチップ DPU

これはシングルチップの汎用プログラマブルDPUチップであり、豊富なハードウェアオフロードアクセラレーションとプログラマビリティ機能を備え、さまざまなクラウドコンピューティングシナリオと統合リソース管理機能をサポートしています。ハードウェア側では、シングルチップSoC形式を採用し、パフォーマンスと消費電力のバランスをとっています。ハードウェア設計におけるFPGAベースのDPUの主な課題は、チップ面積と消費電力にあります。面積の面では、PCIeインターフェースの構造サイズがボード上のチップ面積を制限します。消費電力の面では、ボードの放熱設計がチップとボード全体の消費電力に密接に関係しています。これら2つの要因が、FPGAソリューションの継続的な開発を制限しています。DPU SoCソリューションは、NICからFPGAベースのDPUまでのソフトウェアとハ​​ードウェアの経験と成果を活用しており、DPUを中心としたデータセンターアーキテクチャの重要な進化パスです。

DPUはソフトウェアデファインドチップの代表格であり、「ソフトウェアデファインド、ハードウェアアクセラレーション」の概念に基づき、中核となるデータ処理をチップ上に集積した汎用プロセッサです。 DPUの汎用プロセッシングユニットでコントロールプレーン業務を処理し、専用プロセッシングユニットでデータプレーンの処理性能を確保することで、性能と汎用性のバランスを実現しています。 DPU 専用プロセッシング ユニットは一般的なインフラストラクチャ仮想化のパフォーマンス ボトルネックを解決するために使用され、汎用プロセッシング ユニットは DPU の汎用性を確保することで、DPU をクラウド インフラストラクチャのさまざまなシナリオに幅広く適用できるようにし、仮想化ソフトウェア フレームワークのスムーズな移行を実現します。 DPUに。

NICの開発と応用

従来の基本ネットワーク カード NIC はネットワーク アダプタとも呼ばれ、コンピュータ ネットワーク システムで最も基本的かつ重要な接続デバイスです。その主な機能は、送信する必要のあるデータをネットワーク デバイスが認識できる形式に変換することです。ネットワーク技術の発展に伴い、従来の基本ネットワーク カードの機能も増え、当初はいくつかの簡単なハードウェア オフロード機能 (CRC チェック、TSO/UF0、LSO/LR0、VLAN など) を備え、SR-IOV とトラフィック管理 QoS をサポートしていました。従来の基本ネットワーク カードのネットワーク インターフェイス帯域幅も、当初の 100M、1000M から 10G、25G、さらには 100G に進化しました。

クラウド コンピューティング仮想化ネットワークでは、従来の基本ネットワーク カードは、主に XNUMX つの方法で仮想マシンへのネットワーク アクセスを提供します。

(1) ネットワーク カードはトラフィックを受信し、オペレーティング システムのカーネル プロトコル スタックを通じて仮想マシンに転送します。

(2) DPDK ユーザー モード ドライバーがネットワーク カードを引き継ぎ、データ パケットがオペレーティング システムのカーネル プロトコル スタックをバイパスして、仮想マシンのメモリに直接コピーできるようにします。

(3) SR-IOV テクノロジーを使用して、物理ネットワーク カード PF をネットワーク カード機能を備えた複数の仮想 VF に仮想化し、VF を仮想マシンに直接渡します。

VxLAN などのトンネル プロトコルや OpenFlow、0VS などの仮想スイッチング テクノロジにより、ネットワーク処理の複雑さは徐々に増しており、より多くの CPU リソースが必要になります。そこで、SmartNIC が誕生しました。

SmartNICの開発と応用

SmartNIC は、従来の基本ネットワーク カードのネットワーク転送機能に加えて、豊富なハードウェア オフロード アクセラレーション機能も提供し、クラウド コンピューティング ネットワークの転送速度を向上させ、ホスト CPU のコンピューティング リソースを解放します。

SmartNIC には汎用プロセッサ CPU が搭載されておらず、コントロール プレーンを管理するにはホスト CPU が必要です。SmartNIC の主なオフロード アクセラレーション オブジェクトはデータ プレーンであり、仮想スイッチ 0VS/vRouter のデータ プレーン Fastpath オフロード、RDMA ネットワーク オフロード、NVMe-oF ストレージ オフロード、IPsec/TLS データ プレーン セキュリティ オフロードなどが含まれます。

ただし、クラウド コンピューティング アプリケーションのネットワーク速度は向上し続けているため、ホストは依然としてトラフィックの分類、追跡、制御のために貴重な CPU リソースを大量に消費しています。ホスト CPU の「ゼロ消費」を実現する方法が、クラウド ベンダーの次の研究の方向性になりました。

FPGAベースのDPUの開発と応用

SmartNIC と比較すると、FPGA ベースの DPU はハードウェア アーキテクチャに汎用 CPU 処理ユニットを追加し、FPGA+CPU アーキテクチャを形成して、ネットワーク、ストレージ、セキュリティ、管理などの一般的なインフラストラクチャの高速化とオフロードを容易にします。この段階では、DPU の製品形式は主に FPGA+CPU です。FPGA+CPU ハードウェア アーキテクチャに基づく DPU は、優れたソフトウェアおよびハードウェアのプログラマビリティを備えています。

DPU 開発の初期段階では、ほとんどの DPU メーカーがこのスキームを選択しました。このスキームは開発時間が比較的短く、反復が速いため、カスタマイズされた機能の開発を迅速に完了できるため、DPU メーカーが製品を迅速に発売して市場を掌握するのに便利です。しかし、ネットワーク帯域幅が 25G から 100G に移行すると、FPGA+CPU ハードウェア アーキテクチャに基づく DPU はチップ プロセスと FPGA 構造によって制限されるため、より高いスループットを追求する際にチップ面積と消費電力を適切に制御することが困難になります。したがって、この DPU アーキテクチャの継続的な開発が制限されます。

DPU SoC NIC の開発と応用

DPU SoC は、ASIC をベースとしたハードウェア アーキテクチャであり、ASIC と CPU の利点を組み合わせ、専用アクセラレータの優れたパフォーマンスと汎用プロセッサのプログラム可能な柔軟性のバランスをとります。これは、クラウド コンピューティング テクノロジーの開発を推進するシングルチップ DPU テクノロジー ソリューションです。

前の段落で述べたように、DPU はクラウド コンピューティングにおいて重要な役割を果たしますが、従来の DPU ソリューションは主に FPGA ベースのスキームで提供されます。 25G サーバーから次世代 100G サーバーへのサーバーの移行に伴い、コスト、消費電力、機能などが深刻な課題に直面しています。シングルチップ DPU SoC は、コストと消費電力の面で大きな利点があるだけでなく、高いスループットと柔軟なプログラミング機能も備えています。アプリケーションの管理と仮想マシンとコンテナの展開だけでなく、ベアメタル アプリケーションもサポートします。

DPU テクノロジーの継続的な開発により、汎用プログラマブル DPU SoC は、クラウド ベンダーのデータセンター構築における重要なコンポーネントになりつつあります。 DPU SoC は、データセンター内のコンピューティング リソースとネットワーク リソースの経済的かつ効率的な管理を実現します。豊富な機能とプログラム可能な機能を備えた DPU SoC は、さまざまなクラウド コンピューティング シナリオと統合リソース管理をサポートし、データ センター コンピューティング リソースの利用を最適化できます。

DPU の設計、開発、使用において、国内外のチップ大手と大手クラウド サービス プロバイダーは多くの研究開発リソースを投資し、継続的な探求と実践を通じて優れた費用対効果を実現しています。

AWS (Amazon クラウド) の DPU

AWS は、世界をリードするクラウド コンピューティング サービスおよびソリューション プロバイダーです。 AWS Nitro DPU システムは、AWS クラウド サービスの技術的基盤となっています。 AWS は Nitro DPU システムを使用して、ネットワーク、ストレージ、セキュリティ、監視機能を分解して専用のハードウェアとソフトウェアに転送し、サーバー上のほぼすべてのリソースをサービス インスタンスに提供することでコストを大幅に削減します。 Amazon Cloud に Nitro DPU を適用すると、サーバーの年間収益が数千ドル増加します。 Nitro DPU システムは主に次の部分で構成されます。

(1) ニトロカード。システム全体のパフォーマンスを向上させる、ネットワーク、ストレージ、制御用の一連の専用ハードウェア。

(2) Nitro セキュリティチップ。仮想化とセキュリティ機能を専用のハードウェアとソフトウェアに移管し、攻撃対象領域を削減し、安全なクラウド プラットフォームを実現します。

(3) ニトロハイパーバイザー。メモリと CPU の割り当てを管理し、ベアメタルと区別できないパフォーマンスを提供できる軽量のハイパーバイザー管理プログラム。

Nitro DPU システムは、キー、ネットワーク、セキュリティ、サーバー、モニタリング機能を提供し、顧客の仮想マシンの基盤となるサービス リソースを解放し、AWS がより多くのベアメタル インスタンス タイプを提供できるようにし、特定のインスタンスのネットワーク パフォーマンスを向上させることもできます。 100Gbps.

NVIDIA DPU

NVIDIA は、AI およびハイ パフォーマンス コンピューティング (HPC) 分野で広く使用されているグラフィックス プロセッシング ユニット (GPU) を主に設計および販売する半導体会社です。 2020 年 6.9 月、NVIDIA はネットワーク チップおよびデバイス企業である Mellanox を XNUMX 億ドルで買収し、BlueField シリーズの DPU を発売しました。

NVIDIA BlueField-3 DPU (図 7 を参照) は、BlueField-2 DPU の高度な機能を継承しており、AI およびアクセラレーション コンピューティング用に設計された最初の DPU です。 BlueField-3 DPU は、最大で次のことを実現します。 400Gbpsネットワーク 接続をオフロード、高速化、分離することができ、ソフトウェア定義のネットワーク、ストレージ、セキュリティ、管理機能をサポートします。

インテルIPU

Intel IPU は、強化されたアクセラレータとイーサネット接続を備えた高度なネットワーク デバイスであり、密に結合された専用のプログラマブル コアを使用してインフラストラクチャ機能を高速化し、管理できます。IPU は完全なインフラストラクチャ オフロードを提供し、インフラストラクチャ アプリケーションを実行するためのホスト コントロール ポイントとして機能して、追加のセキュリティ レイヤーを提供します。Intel IPU を使用すると、すべてのインフラストラクチャ サービスをサーバーから IPU にオフロードできるため、サーバーの CPU リソースが解放され、クラウド サービス プロバイダーに独立した安全なコントロール ポイントが提供されます。

2021 年、インテルはインテル アーキテクチャー デイでオーク スプリングス キャニオンおよびマウント エバンスの IPU 製品を発表しました。このうち、Oak Springs Canyon は FPGA ベースの IPU 製品であり、Mount Evans IPU は ASIC ベースの IPU 製品です。

Intel Oak Springs Canyon IPU には、Intel Agilex FPGA と Xeon-D CPU が搭載されています。 Intel Mount Evans IPU は、Intel と Google が共同設計した SoC (System-on-a-Chip) です。 Mount Evans は主に、I0 サブシステムとコンピューティング サブシステムの 16 つの部分に分かれています。ネットワーク部分ではパケット処理に ASIC を使用しており、FPGA よりもはるかに高いパフォーマンスと低い消費電力を実現します。コンピューティング サブシステムは、非常に強力なコンピューティング能力を備えた 1 個の ARM Neoverse NXNUMX コアを使用します。

Alibaba Cloud の DPU

Alibaba CloudもDPU技術を常に模索しています。2022年のAlibaba Cloud Summitで、Alibaba CloudはShenlongアーキテクチャに基づくクラウドインフラストラクチャプロセッサCIPUを正式にリリースしました。CIPUの前身はMoCカード（Micro Server on a Card）で、機能と位置付けの点でDPUの定義を満たしています。MoCカードは独立したI0、ストレージ、処理ユニットを持ち、ネットワーク、ストレージ、デバイスの仮想化作業を引き受けます。第XNUMX世代と第XNUMX世代のMoCカードは、コンピューティング仮想化の狭義のゼロオーバーヘッド問題を解決し、ソフトウェアは依然として仮想化のネットワークとストレージ部分を実装しています。第XNUMX世代のMoCカードは、一部のネットワーク転送機能の強化を実現し、ネットワークパフォーマンスが大幅に向上しています。第XNUMX世代のMoCカードは、ネットワークとストレージの完全なハードウェアオフロードを実現し、RDMA機能もサポートしています。

Feitian システム用に設計されたデータセンター プロセッサ システムとして、Alibaba Cloud CIPU は、Alibaba Cloud が新世代の完全なソフトウェアおよびハードウェア クラウド コンピューティング アーキテクチャ システムを構築する上で重要な意味を持ちます。

火山エンジンの DPU

Volcano Engineも自社開発DPUの道を常に模索しています。自社開発DPUはソフトとハードを統合した仮想化技術を採用し、ユーザーに弾力性と拡張性に優れた高性能コンピューティングサービスを提供することを目標としています。Volcano Engineのエラスティックコンピューティング製品では、第2022世代エラスティックベアメタルサーバー、第2023世代クラウドサーバーに自社開発DPUが搭載されており、製品の機能や応用シーンで幅広く検証されています。XNUMX年に正式に商用化されたVolcano Engineの第XNUMX世代EBMインスタンスは、Volcano Engineの自社開発DPUを搭載した最初のインスタンスです。従来の物理マシンの安定性とセキュリティの利点を維持し、安全な物理的分離を実現できるだけでなく、仮想マシンの弾力性と柔軟性の利点も備えています。これは、さまざまな利点を備えた新世代の高性能クラウドサーバーです。 XNUMX年上半期にリリースされたVolcano Engineの第XNUMX世代ECSインスタンスも、Volcano Engineが自社開発した最新のDPUのアーキテクチャと自社開発の仮想スイッチおよび仮想化技術を組み合わせ、ネットワークとストレージのIOパフォーマンスが大幅に向上しました。