InfiniBand 대 RoCE 지능형 컴퓨팅 네트워크

AI 컴퓨팅 네트워크 분야를 더 깊이 파고들면 시장에는 InfiniBand와 RoCEv2라는 두 가지 주요 아키텍처가 있다는 것을 알 수 있습니다.

이 두 네트워크 아키텍처는 성능, 비용, 다재다능성 및 기타 주요 차원에서 서로 경쟁합니다. 이 두 아키텍처의 기술적 특성, AI 지능형 컴퓨팅 네트워크에서의 적용 시나리오, 각각의 장점과 한계를 분석합니다. 이 글은 AI 컴퓨팅 네트워크에서 InfiniBand와 RoCEv2의 잠재적인 적용 가치와 미래 개발 방향을 평가하여 산업에 대한 심층적인 통찰력과 전문적인 지침을 제공하는 것을 목표로 합니다.

인피니밴드

네트워크 아키텍처 InfiniBand 네트워크는 주로 서브넷 관리자(SM)를 통해 중앙에서 관리됩니다. SM은 일반적으로 서브넷에 연결된 서버에 배포되고 네트워크의 중앙 컨트롤러 역할을 합니다. 서브넷에 SM으로 구성된 장치가 여러 개 있을 수 있지만, 마스터 SM으로 지정된 장치는 하나만 있으며, 마스터 SM은 관리 데이터 메시지(MAD)의 내부 배포 및 업로드를 통해 모든 스위치와 네트워크 카드를 관리할 책임이 있습니다. 각 네트워크 카드 포트와 스위치 칩은 SM이 네트워크 내에서 장치의 고유성과 정확성을 보장하기 위해 할당한 고유 식별자(로컬 ID, LID)로 식별됩니다. SM의 핵심 책임에는 네트워크의 라우팅 정보를 유지 관리하고 스위칭 칩의 라우팅 테이블을 계산하고 업데이트하는 것이 포함됩니다. 네트워크 카드 내부의 SM 에이전트(SMA) 기능을 통해 네트워크 카드는 서버의 개입 없이 SM이 보낸 메시지를 독립적으로 처리할 수 있으므로 네트워크의 자동화와 효율성이 향상됩니다.

InfiniBand 네트워크 아키텍처 다이어그램

• InfiniBand 네트워크 흐름 제어 메커니즘

InfiniBand 네트워크는 신용 메커니즘을 기반으로 하며, 각 링크에는 사전 설정된 버퍼가 장착되어 있습니다. 송신자는 수신자가 충분한 버퍼를 가지고 있는지 확인한 후에만 데이터 전송을 시작하고, 전송되는 데이터 양은 현재 수신자가 사용할 수 있는 사전 설정된 버퍼의 최대 용량을 초과할 수 없습니다. 수신단이 메시지를 수신하면 버퍼를 해제하고 송신단에 현재 사용 가능한 사전 설정된 버퍼 크기를 알려 네트워크의 원활한 작동과 데이터 전송의 연속성을 유지합니다.

• InfiniBand 네트워크 기능:

링크 수준 흐름 제어 및 적응 라우팅 InfiniBand 네트워크는 링크 수준 흐름 제어 메커니즘을 사용하여 과도한 데이터가 전송되는 것을 방지하여 버퍼 오버플로 또는 데이터 패킷 손실을 방지합니다. 동시에 InfiniBand 네트워크의 적응 라우팅 기술은 각 데이터 패킷의 특정 상황에 따라 동적 라우팅 선택을 수행하여 네트워크 리소스의 실시간 최적화와 초대규모 네트워크 환경에서 최적의 로드 밸런싱을 달성할 수 있습니다.

RoCEv2

네트워크 아키텍처 RoCE(RDMA over Converged Ethernet) 프로토콜은 이더넷에서 RDMA(Remote Direct Memory Access)를 수행할 수 있는 클러스터 네트워크 통신 프로토콜입니다. 이 프로토콜에는 RoCEv1과 RoCEv2의 두 가지 주요 버전이 있습니다. 링크 계층 프로토콜인 RoCEv1은 두 통신 당사자가 동일한 2계층 네트워크에 있어야 합니다. RoCEv2는 이더넷 네트워크 계층과 UDP 전송 계층을 사용하여 InfiniBand 네트워크 계층을 대체하는 네트워크 계층 프로토콜로, 더 나은 확장성을 제공합니다. InfiniBand 네트워크의 중앙 관리와 달리 RoCEv2는 일반적으로 두 계층으로 구성된 순수 분산 아키텍처를 사용하며, 이는 확장성과 배포 유연성 측면에서 상당한 이점이 있습니다.

RoCEv2 네트워크의 아키텍처 다이어그램

• RoCEv2 네트워크의 흐름 제어 메커니즘

우선 순위 흐름 제어(PFC)는 이더넷 네트워크에서 손실 없는 전송을 달성하기 위해 워터마크를 적절히 구성하여 스위치 캐시를 최대한 활용하는 홉 바이 홉 흐름 제어 전략입니다. 다운스트림 스위치 포트의 버퍼가 과부하되면 스위치는 업스트림 장치에 전송을 중지하도록 요청합니다. 전송된 데이터는 다운스트림 스위치의 캐시에 저장됩니다. 캐시가 정상으로 돌아오면 포트는 데이터 패킷 전송을 재개하도록 요청하여 네트워크의 원활한 작동을 유지합니다. 명시적 혼잡 알림(ECN)은 IP 계층과 전송 계층을 기반으로 흐름 제어 및 엔드 투 엔드 혼잡 알림 메커니즘을 정의합니다. 혼잡 제어의 목적은 스위치의 서버로 특정 혼잡 정보를 전송한 다음 서버가 클라이언트로 전송하여 소스 엔드에 속도를 늦추라고 알림으로써 달성됩니다. 데이터 센터 양자화 혼잡 알림(DCQCN)은 명시적 혼잡 알림(ECN)과 우선 순위 흐름 제어(PFC) 메커니즘의 조합으로, 엔드 투 엔드 무손실 이더넷 통신을 지원하도록 설계되었습니다. 핵심 개념은 ECN을 사용하여 네트워크 혼잡이 발생할 때 송신자에게 전송 속도를 줄이고, 불필요한 PFC 활성화를 방지하고, 심각한 혼잡으로 인한 버퍼 오버플로를 방지하는 것입니다. 이러한 세분화된 흐름 제어를 통해 DCQCN은 효율적인 네트워크 운영을 유지하면서 혼잡으로 인한 데이터 손실을 방지할 수 있습니다.

• RoCEv2 네트워크 기능: 강력한 호환성 및 비용 최적화

RoCE 네트워크는 RDMA 기술을 사용하여 원격 서버의 CPU 주기를 차지하지 않고도 효율적인 데이터 전송을 달성하여 대역폭을 최대한 활용하고 네트워크 확장성을 향상시킵니다. 이 접근 방식은 네트워크 지연 시간을 크게 줄이고 처리량을 늘려 전반적인 네트워크 성능을 개선합니다. RoCE 솔루션의 또 다른 중요한 장점은 기존 이더넷 인프라에 원활하게 통합할 수 있다는 것입니다. 즉, 기업은 새로운 장비에 투자하거나 장비를 교체하지 않고도 성능 향상을 달성할 수 있습니다. 이 비용 효율적인 네트워크 업그레이드 방법은 기업의 자본 지출을 줄이는 데 중요하므로 RoCE는 지능형 컴퓨팅 센터에서 네트워크 성능을 개선하기 위한 선호 솔루션입니다.

InfiniBand와 RoCEv2의 기술적 차이점

시장에서 네트워크에 대한 다양한 수요로 인해 InfiniBand와 RoCEv2 네트워크 아키텍처가 공동 개발되었습니다. InfiniBand 네트워크는 효율적인 전달 성능, 빠른 오류 복구 시간, 향상된 확장성, 운영 및 유지 관리 효율성과 같은 고급 기술로 인해 애플리케이션 계층 서비스 성능에서 상당한 이점을 입증했습니다. 특히 대규모 시나리오에서 뛰어난 네트워크 처리량 성능을 제공할 수 있습니다.

InfiniBand 네트워크 및 RoCEv2 기술 비교 차트

RoCEv2 네트워크는 강력한 다재다능성과 낮은 비용으로 선호됩니다. 고성능 RDMA 네트워크를 구축하는 데 적합할 뿐만 아니라 기존 이더넷 인프라와도 완벽하게 호환됩니다. 이를 통해 RoCEv2는 폭과 적용성 측면에서 명백한 이점을 얻을 수 있으며 다양한 규모와 요구 사항의 네트워크 애플리케이션을 충족할 수 있습니다. 이 두 아키텍처의 각각의 특성과 장점은 다양한 사용자의 특정 요구 사항을 충족하기 위해 AI 컴퓨팅 센터의 네트워크 설계에 대한 풍부한 옵션을 제공합니다.