칩부터 프로세서, 데이터 센터에 이르기까지 현대 컴퓨팅 아키텍처에서는 각 수준마다 서로 다른 상호 연결 기술이 필요합니다. 이러한 기술은 빠르고 안전한 데이터 전송을 보장할 뿐만 아니라 새로운 컴퓨팅 요구 사항에 대한 강력한 지원도 제공합니다. 이 기사에서는 주로 다양한 수준의 네트워크 상호 연결 기술을 소개하고 현재 컴퓨팅 아키텍처에서 이 기술이 어떻게 작동하는지 보여줍니다. 전체 기사는 시스템 온 칩 Soc 상호 연결, 프로세서 상호 연결 및 데이터 센터 상호 연결의 세 부분으로 나눌 수 있습니다.
사회 상호 연결
인터커넥트의 혁신은 가장 기본적인 수준인 시스템 온 칩(System on a Chip)에서 시작됩니다. 칩에 있든 패키지에 있든 고급 상호 연결은 데이터가 더 빠르게 이동하고 성능이 더 쉽게 확장된다는 것을 의미합니다.
- PIPE(주변 장치 구성 요소 상호 연결 익스프레스 물리 계층 프로토콜)
PIPE는 PCIe(Peripheral Component Interconnect Express)의 물리 계층 프로토콜입니다. PCIe는 그래픽 카드, 솔리드 스테이트 드라이브 등과 같은 컴퓨터 내부의 하드웨어 장치를 연결하는 데 사용되는 범용 컴퓨터 버스 표준입니다. 물리 계층 프로토콜은 하드웨어 간에 데이터가 올바르게 전송될 수 있도록 전기적 특성과 신호 전송 방법을 정의합니다. 장치. PCIe는 다양한 데이터 전송 속도와 인터페이스를 제공하여 다양한 성능 요구 사항을 가진 장치의 연결을 지원합니다.
- LPIF(논리적 PHY 인터페이스)
LPIF는 프로세서 간, 프로세서와 가속기 간, 칩과 칩 간(다이-다이) 고속 상호 연결을 위한 인터페이스 표준입니다. LPIF는 다양한 데이터 전송 요구 사항을 지원하고 서로 다른 주파수의 장치 간 통신을 허용하는 유연하고 확장 가능한 방법을 제공하도록 설계되었습니다. PCIe 6.0, CXL 3.0 및 UPI 3.0을 포함한 여러 프로토콜을 지원합니다.
- CPI(CXL 캐시-메모리 프로토콜 인터페이스)
CPI는 캐시와 메모리를 처리하도록 특별히 설계된 통신 프로토콜인 CXL(Compute Express Link)의 구성 요소입니다. CXL은 CPU, GPU 및 기타 가속기를 연결하도록 설계된 개방형 고속 상호 연결 기술로, 이들 간의 고속 데이터 전송 및 리소스 공유를 가능하게 합니다. CXL의 일부인 CPI는 효율적인 데이터 교환 및 일관성 프로토콜을 지원하기 위해 캐시와 메모리 간의 인터페이스 표준을 정의합니다.
- UFI(범용 플래시 스토리지 인터페이스)
UFI는 다양한 저장 장치가 통일된 방식으로 데이터를 통신하고 전송할 수 있도록 하는 범용 플래시 저장 인터페이스 표준입니다. UFI 표준은 저장 장치의 호환성과 성능을 향상시켜 장치가 빠르고 효율적으로 작동할 수 있도록 설계되었습니다.
- UCIe(Universal Chiplet Interconnect Express)
UCIe는 칩렛 간 연결을 위해 특별히 설계된 새로운 개방형 산업 표준 상호 연결 기술입니다. UCIe는 표준 PCIe 및 CXL은 물론 일반 스트리밍 프로토콜 또는 맞춤형 프로토콜을 포함한 여러 프로토콜을 지원합니다. 그 목표는 표준 물리 계층과 링크 계층을 채택하여 다이 간 통신 프로토콜을 표준화하면서도 상위 계층 프로토콜을 유연하게 유지하는 것입니다. UCIe 기술의 출현은 무어의 법칙 둔화로 인한 과제를 해결하기 위한 것입니다. 여러 개의 Chiplet을 패키징하고 통합하여 대규모 시스템을 구축하여 비용을 절감하고 효율성을 향상시킵니다.
프로세서 상호 연결
서로 다른 컴퓨팅 엔진, 메모리, I/O 및 기타 주변 장치 간에 데이터를 이동하려면 고대역폭과 저지연 상호 연결 기술의 특수 세트가 필요합니다. NVlink, PCIe, CXL 및 UPI와 같은 프로세서 상호 연결 기술을 통해 이러한 모든 요소가 전체적으로 작동하여 장치 간 빠른 데이터 전송을 지원합니다.
- NVLink
NVLink는 NVIDIA GPU를 연결하기 위해 특별히 설계된 고속 상호 연결 기술입니다. 이를 통해 GPU는 기존 PCIe 버스를 우회하여 지점 간 방식으로 서로 통신할 수 있어 더 높은 대역폭과 더 낮은 대기 시간을 달성할 수 있습니다. NVLINK를 사용하면 두 개 이상의 GPU를 연결하여 고속 데이터 전송 및 공유를 달성하고 다중 GPU 시스템에 더 높은 성능과 효율성을 제공할 수 있습니다.
- PCIe(주변 구성 요소 상호 연결 익스프레스)
그래픽 카드, 솔리드 스테이트 드라이브 등과 같은 컴퓨터 내부의 하드웨어 장치를 연결하는 데 사용되는 범용 컴퓨터 버스 표준입니다. PCIe 기술은 고속 직렬 데이터 전송 기능에 널리 사용되며 다양한 장치와 데이터 센터, 인공 지능, 프로세서 상호 연결을 포함한 광범위한 애플리케이션 시나리오. PCIe 인터페이스를 사용하면 장치가 대상 물리적 주소를 알고 있다는 조건만으로 메모리에 액세스하기 위해 DMA 작업을 시작할 수 있습니다. 현재 버전 6.0까지 사용 가능하며, 버전 7.0은 2025년 출시 예정이다.
- CXL(컴퓨팅 익스프레스 링크)
Intel, AMD 및 기타 기업이 공동으로 출시한 새로운 유형의 고속 상호 연결 기술입니다. 최신 컴퓨팅 및 스토리지 시스템의 요구 사항을 충족하기 위해 더 높은 데이터 처리량과 더 낮은 대기 시간을 제공하는 것을 목표로 합니다. CXL 기술을 사용하면 CPU와 장치 간, 장치 간에 메모리를 공유할 수 있어 더 빠르고 유연한 데이터 교환 및 처리가 가능합니다. CXL에는 CXL.io, CXL.cache 및 CXL.memory의 세 가지 하위 프로토콜이 포함되어 있으며 각각 서로 다른 데이터 전송 및 메모리 공유 작업에 사용됩니다. 현재 버전 3.1까지 사용 가능합니다.
CXL의 주목할만한 기능은 메모리 일관성을 지원한다는 것입니다. 즉, 복잡한 데이터 복사 없이 여러 장치 간에 데이터를 공유할 수 있습니다. 이러한 일관성은 데이터 액세스 효율성을 향상시키고 대기 시간을 줄여 컴퓨팅 속도를 높일 수 있으므로 다중 프로세서 시스템 및 대규모 컴퓨팅 작업에 특히 중요합니다. 추가적으로 CXL은 off다양한 장치와 애플리케이션에서 사용할 수 있는 유연성을 제공하므로 범용 상호 연결 솔루션이 됩니다.
- UPI(울트라 경로 상호 연결)
멀티 코어 프로세서 및/또는 다중 프로세서 간의 고속 통신을 위해 Intel에서 개발한 지점 간 연결 프로토콜입니다. 이는 이전 QPI(QuickPath Interconnect) 기술을 대체하도록 설계되었으며 더 높은 대역폭, 더 낮은 대기 시간 및 더 나은 에너지 효율성을 제공합니다.
- 무한 원단
효율적인 데이터 전송 및 통신을 달성하기 위해 AMD 프로세서 내부의 다양한 코어, 캐시 및 기타 구성 요소를 연결하는 데 사용되는 AMD에서 개발한 고속 상호 연결 기술입니다. Infinity Fabric은 각각 양방향 데이터 전송을 수행할 수 있는 여러 개의 독립 채널을 포함하는 분산 아키텍처를 사용합니다. 이 설계를 통해 서로 다른 코어 간의 빠르고 짧은 대기 시간 통신이 가능하므로 전반적인 성능이 향상됩니다. 또한 Infinity Fabric은 확장 가능하고 유연합니다. 이는 서로 다른 칩 간의 연결을 허용하고 여러 프로세서를 보다 강력한 시스템으로 결합하는 것을 지원합니다.
데이터 센터 상호 연결
대규모 데이터 센터는 축구장 여러 개와 맞먹는 면적을 차지할 수 있으므로 아키텍처 속도와 지능형 처리 기능에 대한 전례 없는 요구 사항이 발생합니다. 고속, 장거리 상호 연결 기술은 낮은 대기 시간으로 계산을 수행하는 동시에 성능을 크게 향상시킬 수 있습니다. 데이터 센터 수준의 상호 연결 기술은 현대적인 인터넷 서비스와 클라우드 컴퓨팅을 지원하는 기반입니다. 랙 계층의 고속 데이터 전송부터 데이터 센터 네트워크 연결에 이르기까지 이러한 기술은 함께 데이터 센터의 효율성, 안정성 및 확장성을 보장합니다.
상호 연결 기술
- 소프트웨어 정의 네트워킹(SDN)
SDN(소프트웨어 정의 네트워킹)은 네트워크의 데이터 평면에서 제어 평면을 분리하는 네트워크 아키텍처 개념으로, 이를 통해 네트워크 관리자는 소프트웨어 프로그램을 통해 네트워크 동작을 중앙에서 관리하고 구성할 수 있습니다. SDN의 핵심 아이디어는 네트워크 장치에서 네트워크의 지능형 제어 기능을 추상화하여 네트워크 트래픽의 동적 관리 및 최적화를 실현하는 것입니다.
- 이더넷과 RoCE
이더넷은 Xerox PARC에서 시작된 가장 널리 사용되고 성숙한 네트워크 기술입니다. 이는 데이터 센터의 서버 간에 대량의 데이터를 전송할 수 있으며, 이는 많은 가속화된 컴퓨팅 작업에 매우 중요합니다. RoCE 프로토콜에서 이더넷은 RDMA 기능을 통합하여 고성능 컴퓨팅 시나리오에서 통신 성능을 크게 향상시킵니다. AI 및 HPC 워크로드로 인한 새로운 과제를 해결하기 위해 거대 네트워크 기업들은 UEC(Ultra Ethernet Consortium)를 공동으로 설립했습니다. Ultra 이더넷 솔루션 스택은 이더넷의 편재성과 유연성을 활용하여 다양한 워크로드를 처리하는 동시에 확장 가능하고 비용 효율적이며 이더넷에 새로운 활력을 불어넣습니다.
RoCE(RDMA over Converged Ethernet): RoCE 기술을 사용하면 표준 이더넷 네트워크에서 원격 직접 메모리 액세스가 가능합니다. 이더넷 스위치를 최적화하여 RDMA를 지원하고 기존 이더넷과의 호환성을 유지하면서 고성능 네트워크 연결을 제공합니다.
- 인피니 밴드
InfiniBand: 고대역폭, 저지연 네트워크 연결을 제공하고 지점 간 연결 및 RDMA(Remote Direct Memory Access)를 지원하는 고성능 컴퓨팅(HPC)용으로 특별히 설계된 네트워크 기술로 대규모 환경에 적합합니다. 컴퓨팅 및 데이터 센터 환경.
- 네트워크 토폴로지
일반적인 토폴로지에는 스타 네트워크 토폴로지, Fat-tree 토폴로지, Leaf-Spine 토폴로지, 계층적 토폴로지 등이 있습니다. 여기서는 주로 CLOS 네트워크 모델을 기반으로 하는 데이터 센터 네트워크 아키텍처인 Fat-tree와 리프-스파인을 소개합니다.
- 리프-스파인 토폴로지
스파인 레이어(백본 레이어)와 리프 레이어(액세스 레이어)로 구성된 플랫 네트워크 디자인입니다. 각 리프 스위치는 모든 Spine 스위치에 연결되어 풀 메시 토폴로지를 형성합니다. 이 디자인은 고대역폭, 낮은 대기 시간 및 비차단 서버 간 연결을 제공하여 수평 확장이 쉽고 높은 안정성과 관리 용이성을 제공합니다. Leaf-Spine 아키텍처의 장점으로는 지연 시간을 줄이기 위한 평면 설계, 손쉬운 확장성, 낮은 융합 비율, 단순화된 관리 및 멀티 클라우드 관리가 있습니다.
- Fat-Tree 토폴로지
이는 일반적으로 코어 계층, 집계 계층 및 액세스 계층의 세 가지 계층으로 구성된 트리 구조의 네트워크 설계입니다. Fat-Tree 토폴로지의 주요 특징은 대역폭 수렴이 없다는 점, 즉 네트워크 대역폭이 리프에서 루트로 수렴되지 않는다는 점이며, 이는 대규모 비차단 네트워크 구축을 위한 기반을 제공합니다. 각 노드(루트 노드 제외)는 동일한 업스트림 및 다운스트림 대역폭을 보장해야 하며 모든 스위치가 동일할 수 있으므로 비용이 절감됩니다. 그러나 Fat-Tree 토폴로지에는 제한된 확장성, 열악한 내결함성, 특정 고성능 분산 애플리케이션의 불리한 배포, 높은 비용 등의 한계도 있습니다.
- 코어/에지 네트워크
코어 네트워크는 네트워크 내 주요 노드 간 대용량 데이터 전송과 라우팅 서비스 제공을 담당하는 고속, 고신뢰성 네트워크 백본이다. 엣지 네트워크는 네트워크의 액세스 계층으로 최종 사용자와 장치를 직접 연결하여 다양한 서비스를 제공하고 사용자 경험을 최적화합니다.