AIサーバーの5つの主要コンポーネントの詳細

DGX A100 は一般的な家庭用コンピュータに似ており、次の XNUMX つの主要なハードウェア モジュールに分けられます。

1. ファン モジュール: 前面にあるファン モジュールは 8 つのファンで構成されており、従来のサーバーに見られる標準的な XNUMXU 構成と一致しています。
2. ハード ドライブ: フロント ファン モジュールの下に配置された DGX A100 には 3.84 TB のハード ドライブが 30 台搭載されており、合計 XNUMX TB の内部ストレージ容量を提供します。
3. GPU ボード トレイ: AI サーバーの背面には、重要なコンポーネントが集まっています。GPU ボード トレイはシステムの中核であり、AI サーバーを通常のサーバーと区別するものです。DGX A100 アーキテクチャでは、GPU ボード トレイには GPU コンポーネント、モジュール ボード、NVSwitch コンポーネントが含まれており、これらはすべてさまざまな種類の PCB で構成されています。
4. CPU マザーボード トレイ: この部品は、通常のサーバーと AI サーバーの両方を含むすべてのサーバーのコア コンポーネントとして機能します。CPU マザーボード、システム メモリ、ネットワーク カード、および PCIE スイッチが含まれています。CPU マザーボードとシステム メモリは、PCB 全体の使用量に大きく貢献します。
5. 電源モジュール: DGX A100 の背面セクションにも XNUMX つの電源モジュールが搭載されており、内部には厚い銅の PCB が使用されています。

機能的な観点から、AI サーバーの PCB 値の計算は次の 3 つの部分に分類できます。

GPUボードコンポーネント

合計金額 12,000 ドル、キャリア ボード (52%)、PCB (48%) GPU ボードは、GPU キャリア、NVSwitch、OCP アクセラレータ モジュール (OAM)、ユニット ベースボード (UBB) の XNUMX つの主要コンポーネントで構成されています。

GPU キャリア: NVIDIA A100 GPU と DRAM は、高度な 2.5D/3D パッケージング テクノロジを採用しています。キャリア ボードのサイズは 70 x 70 mm から 100 x 100 mm で、14 から 16 層あり、GPU の数に直接対応しています。DGX A100 の 8 個の GPU 構成を考慮すると、各 AI サーバーには 8 個の GPU キャリア ボードが必要です。業界調査によると、100 個の GPU キャリア ボードの価値は約 650 ドル (5,200 人民元に相当) で、サーバー XNUMX 台あたりの合計価値は XNUMX ドルになります。

NVSwitch: NVLink 標準に基づく NVSwitch は、GPU 間の通信を容易にします。NVSwitch のキャリアは GPU キャリアのものと似ていますが、製造要件がよりシンプルです。主な役割は、高速データ転送の処理です。調査によると、30 つの NVSwitch の価値は約 195 ドル (100 元) です。6 つの NVSwitch を搭載した DGX A1,170 の場合、合計価値は XNUMX ドルになります。

OAM (OCP アクセラレータ モジュール): OAM は GPU アクセラレータ モジュールとも呼ばれ、GPU チップを搭載します。OAM の数は GPU の数と直接対応します (DGX A8 の場合は 100)。PCIE バージョン (267.7mm x 111.15mm) と同様の寸法に基づくと、OAM の推定面積は約 0.03 平方メートルです。OAM は高速信号伝送のため、特定の PCB タイプを必要とします。DGX A100 SXM バージョンの場合、20 層、超低損失 CCL 材料、4 層 HDI テクノロジが使用され、単価は 12,000 平方メートルあたり 14 ドルになります。PCIE バージョンでは、4 層、超低損失、高 Tg FR7,000 CCL 材料が使用され、単価は 100 平方メートルあたり 2,880 ドルになります。全体として、ハイエンド AI サーバー (DGX AXNUMX のように構成) の OAM の単価は XNUMX ドルです。

UBB (ユニット ベースボード): UBB は、GPU プラットフォーム全体をマウントするために使用される PCB です。各 AI サーバーには 100 つの UBB が必要です。DGX A0.30 の仕様と業界調査に基づいて、UBB 領域は約 26 平方メートルと推定されます。これらのボードは、超低損失 CCL 材料を使用した 10,000 層スルーホール PCB を使用し、単価は 3,000 平方メートルあたり XNUMX ドルになります。サーバーあたりの UBB の合計値は XNUMX ドルです。

NVIDIA DGX A100 GPU ボードは、GPU キャリア、NVSwitch、OCP アクセラレータ モジュール (OAM)、ユニット ベースボード (UBB) の 0.624 つの主要パーツで構成されています。これらのコンポーネントを組み合わせると、合計 PCB 面積は 12,250 平方メートルとなり、サーバー XNUMX 台あたりの価値は XNUMX ドルになります。具体的には、次のようになります。

GPU キャリアは 6,370 ドル (総額の 52%) を貢献します。

PCB レベルのコンポーネントは 5,880 ドル (総額の 48%) を占めます。

CPU マザーボード コンポーネント

CPU マザーボード アセンブリには、CPU キャリア、CPU メインボード、および機能アクセサリ ボードが含まれます。これらのアクセサリには、システム メモリ カード、ネットワーク カード、拡張カード、およびストレージ OS ドライバ ボードが含まれます。内訳は次のとおりです。

CPU キャリア: 仕様は GPU キャリアと同様ですが、CPU キャリア 100 台あたりの推定価値は 100 ドルです。DGX A2 が 1,300 つの CPU で構成されている場合、サーバー XNUMX 台あたりの合計価値は約 XNUMX ドルになります。

CPU メインボード: CPU チップ、PCIE スイッチ チップ、TPM モジュール、およびさまざまな機能アクセサリ カードを収容する CPU メインボードは、64 コア AMD Rome CPU および PCIE 4.0 バス標準の設計に準拠しています。10 ～ 12 層の低損失 CCL 材料とスルーホール設計を採用しています。CPU メインボードの推定面積は 0.38 平方メートルで、サーバー 1,140 台あたりの価格は XNUMX ドルになります。

機能アクセサリ ボード: これらのボードはさまざまな目的に使用されます。

CPU メモリ カード (32 枚、合計 2TB RAM) の標準サイズは、0.004 枚あたり約 XNUMX 平方メートルです。

ネットワーク カード (Mellanox ConnectX シリーズ) には 10 種類 (シングル ポート 8Gb/s IB 200 種類、デュアル ポート 2Gb/s Ethernet 200 種類) があります。各カードの占有面積は約 0.012 平方メートルです。

ライザー カード (PCIE インターフェイスを拡張するためのもの) は、約 0.01 平方メートルの領域をカバーします。

ストレージ OS ドライバー ボード (1.92 つの 2 TB M.XNUMX NVMe ドライブを収容) も同様の領域を占めます。

機能アクセサリ ボードの合計面積は 0.27 平方メートルで、サーバー 405 台あたり約 XNUMX ドルに相当します。

CPU マザーボードの概要: NVIDIA DGX A100 CPU マザーボード アセンブリの PCB 総面積は 0.662 平方メートルで、サーバー 2,845 台あたりの価格はおよそ XNUMX ドルです。内訳は次のとおりです。

キャリアレベルのコンポーネントは、総価値の 46% を占めます。

PCB レベルのメインボード コンポーネントは、総価値の 40% を占めます。

PCB レベルの機能アクセサリ コンポーネントは、総価値の 14% を占めます。

その他のコンポーネント

ユニットあたりの合計価値 226 元 GPU ボードアセンブリと CPU モジュールアセンブリ以外のコンポーネントには、電源、ハードドライブ、フロントコントロールコンソールボードが含まれます。業界調査によると、これらのコンポーネントは主に 6 ～ 10 層の FR4/中損失グレード CCL (銅張積層板) を使用しており、単価は 1000 平方メートルあたり 1500 ～ 100 元です。DGX AXNUMX の仕様を参考に、使用量と面積を次のように計算します。

• 電源: DGX A100 には 6 つの電源が搭載されていることを考慮すると、Delta Electronics 0.019W サーバー電源 (モデル DPS-2200-AB-2200) の仕様 (2 x 73.5 mm) に基づいて、各電源の個別の PCB 領域は 265.0 平方メートルであると推定されます。
• ハード ドライブ: DGX A8 には 100 台のハード ドライブがあり、業界標準の 0.008 インチ ドライブに従って、各ドライブの PCB 領域は 3.5 平方メートルと推定されます。
• フロント コントロール コンソール ボード: このボードは主に外部デバイスの制御に使用され、8 つのハード ドライブの間に配置されます。業界調査によると、その面積は約 0.010 平方メートルと推定されます。

GPU ボード アセンブリ、CPU モジュール アセンブリ、およびその他のコンポーネントを組み合わせると、DGX A100 の PCB の総面積は 1.474 平方メートル、単価は 15,321 元と推定されます。具体的には、次のようになります。

GPUボードアセンブリは12,000ユニットあたり80元の貢献をしており、総額のXNUMX％を占めています。

CPUモジュールアセンブリの単価は2,845元で、全体の19%を占めています。

その他のコンポーネントは226ユニットあたり1元で、総額のXNUMX%を占めます。

ボード分類別に見ると、キャリアボードレベルは単価7,670元（50.1％）、PCBボードレベルは7,651元（49.9％）を占めています。