고성능 컴퓨팅 네트워크의 광 상호 연결

23월 2024일, CIOE(중국 국제 광전자공학 박람회)와 C114 통신 네트워크가 공동 주최한 XNUMX년 중국 고품질 개발 포럼 제XNUMX차 세션이 'AI 시대: 데이터 센터 광 상호 연결의 새로운 추세'라는 주제로 성공적으로 개최되었습니다. 기술". JD 광 상호 연결 설계자인 Chen Cheng은 회의에서 "고성능 컴퓨팅 네트워크의 광 상호 연결"에 대한 기조 연설을 공유했습니다.

JD는 고성능 컴퓨팅 네트워크 분야 초기에 시작하여 여러 세대의 지능형 컴퓨팅 토폴로지에 지속적으로 막대한 투자를 해왔습니다. 애플리케이션 시나리오에는 추천 알고리즘, 지능형 고객 서비스, AI 판매 및 임대, 디지털 휴먼 라이브 스트리밍 등이 포함됩니다.

지능형 컴퓨팅 네트워크 토폴로지는 일반적으로 두 개의 독립적인 네트워크, 즉 주로 CPU 간의 상호 연결을 실현하는 액세스/스토리지 네트워크로 나뉩니다. 두 번째는 주로 GPU 노드 데이터의 병렬 조정을 수행하는 컴퓨팅 네트워크입니다. 전반적으로 광 상호 연결을 위한 지능형 컴퓨팅 네트워크의 요구 사항은 주로 넓은 대역폭, 저렴한 비용 및 낮은 대기 시간이라는 세 가지 측면에 집중되어 있습니다.

광트랜시버와 대용량 대역폭의 관계

데이터 링크 대역폭 측면에서 가장 먼저 달성해야 할 것은 GPU 간의 병렬 다중 채널 통신입니다. 데이터 전송 중에는 링크 대역폭에 주의를 기울여야 합니다. 컴퓨팅 노드의 내부 상호 연결에서는 일반적으로 C2C 풀 메시 방식을 사용할 수 있으며 연결 속도는 수백 GB/s에 달할 수 있습니다.

서로 다른 GPU 내보내기 간의 통신을 달성하려면 PCle을 통해 광 트랜시버를 네트워크 카드에 연결한 다음 직렬-병렬 변환 후 광 트랜시버와 컴퓨팅 네트워크를 통해 교차 포트 연결을 달성해야 합니다. 따라서 현재 많은 제조사에서는 고속 상호접속의 병목현상을 극복하기 위해 광입출력(OIO) 형태를 옹호하고 있으며, 이는 현재의 발전 추세이기도 하다.

네트워크 장비/광 트랜시버 대역폭의 진화 측면에서 현재 지능형 컴퓨팅 네트워크는 주로 50G Serdes 스위치와 광 트랜시버를 배포하며 주요 광 트랜시버 유형은 200G/400G입니다. 단일 노드의 용량이 51.2T에 도달하면 네트워크 확장성에 대한 요구 사항에 따라 다양한 토폴로지 유형이 선택됩니다. 일부 북미 제조업체는 64x800G OSFP를 선택하는 반면 국내 제조업체는 두 가지 범용 산업 체인과 함께 128x400G QSFP 112 패키징을 사용합니다.

네트워크 장비/광트랜시버 대역폭 진화

향후 단일 칩 스위칭 용량이 102.4T에 도달하더라도 플러그형 광 트랜시버는 여전히 고밀도 및 고용량 광 상호 연결 애플리케이션을 지원할 수 있으며 64×1.6T OSFP 및 QSFP224-DD를 선택할 수 있습니다. CPO도 널리 사용되는 솔루션 중 하나입니다. 신뢰성 문제를 지속적으로 해결하고 구축 및 배포 중 유지 관리 문제도 해결합니다.

광 상호 연결 비용을 줄이는 방법은 무엇입니까?

광 상호 연결 비용 절감 문제에서 실리콘 기반 포토닉스 기술은 잠재적인 비용 절감 솔루션 중 하나입니다. 실리콘 포토닉스는 완전히 새로운 기술은 아니지만 데이터 센터 애플리케이션 측면에서는 비교적 새로운 제품입니다. 현재 레인당 112G 모듈의 업스트림 공급망은 소수의 광학 장치 제조업체에 집중되어 있으므로 실리콘 포토닉스 모듈을 사용하여 공급 부족 문제를 해결할 수 있습니다.

특히, 실리콘 광트랜시버는 2km 이내의 모든 데이터센터 애플리케이션 시나리오의 요구 사항을 충족할 수 있으므로 JD는 해당 인증 및 기타 작업도 수행하고 있습니다. 가까운 장래에 현재 네트워크에 실제로 배포될 수 있다고 믿어집니다.

선형 직접 구동 광 트랜시버 LPO/LRO도 현재 널리 사용되는 애플리케이션 추세입니다. 레인당 112G 시대에는 ASIC의 강력한 구동 능력 덕분에 광트랜시버를 단순화할 수 있습니다. 즉, DSP 또는 CDR 부분을 제거할 수 있으므로 광트랜시버의 복잡성을 줄여 비용 절감이라는 목적을 달성할 수 있습니다. .

그러나 호환성 및 상호 운용성 문제와 같은 몇 가지 문제에도 직면해 있습니다. ASIC 칩의 지원, 서로 다른 제조업체 간의 상호 연결, 신규 모듈과 기존 모듈 간의 상호 연결 등을 고려해야 합니다.

진화의 지속가능성 문제도 고려해야 한다. 예를 들어 112G는 이미 LPO를 지원할 수 있지만, 224G로 발전한다면 LPO 지원의 타당성을 고려해야 한다.

지능형 컴퓨팅 네트워크의 낮은 지연 문제

낮은 대기 시간 측면에서 전반적인 조정된 컴퓨팅 보장을 달성하려면 서로 다른 컴퓨팅 노드 간의 GPU 대기 시간 문제로 인해 필연적으로 운영 효율성이 크게 저하됩니다. 그렇다면 일반적으로 대기 시간을 유발하는 요인은 무엇입니까?

첫째, GPU 네트워크는 초기에 InfiniBand(IB) 프로토콜을 기반으로 하여 데이터 전송 시 CPU를 우회하여 서로 다른 컴퓨팅 노드 간 GPU 캐시 간의 데이터 통신을 가능하게 하고 프로토콜 기반 통신 지연을 크게 줄였습니다.

B2B 통신 지연

기존 이더넷 기반 프로토콜에서는 CPU가 전체 통신 프로세스에 참여해야 하므로 지연 시간이 길어집니다. 보다 절충적인 솔루션, 즉 RDMA 솔루션이 지능형 컴퓨팅 네트워크에 사용됩니다. 이더넷 프로토콜 캡슐화를 사용하여 RDMA 커널을 캡슐화할 수 있으므로 이더넷 기능을 공유하여 대기 시간을 줄일 수 있습니다.

두 번째는 링크 지연이다. GPU 간의 통신은 리프-스파인 아키텍처를 거쳐 광신호 변환을 수행하여 데이터 상호 연결을 수행해야 하므로 이 과정에서 다양한 링크에서 필연적으로 다양한 지연이 발생합니다.

예를 들어, 의사결정 모델의 지연 시간에서 최적화할 수 있는 항목은 광트랜시버의 신호 복구 장치로 인해 발생하는 지연입니다. 생성 모델의 지연에서 지연은 주로 데이터 전송 시간으로 인해 발생하는 반면 물리적 링크로 인한 지연은 매우 작은 부분만 차지합니다. 따라서 이 시점에서 시스템 지연은 대역폭 활용에 더 민감하며 다양한 모델에 따라 다양한 지연 방향을 최적화해야 합니다.

마지막으로 Chen Cheng은 기존 데이터 통신 네트워크에 비해 지능형 컴퓨팅 네트워크의 대역폭은 더 빠르게 성장할 것이며, 저렴한 상호 연결은 실리콘 포토닉스, LPO/LRO 등과 같은 신기술 지원에 달려 있다고 결론지었습니다. 모델에는 지연 시간에 대한 요구 사항이 다르며 최적화 방향도 달라집니다.