Сравнение технологий HBM, HBM2, HBM3 и HBM3e

HBM, или память с высокой пропускной способностью, состоит из нескольких слоев DRAM DRAM, расположенных вертикально. Каждый слой кристалла соединен с логическим кристаллом посредством технологии TSV (через кремний), что позволяет разместить 8-слойный и 12-слойный кристалл в небольшом пространстве. Это обеспечивает совместимость между небольшим размером, высокой пропускной способностью и высокой скоростью передачи, что делает его основным решением для высокопроизводительной памяти графического процессора сервера AI.

Текущая расширенная версия HBM3, HBM3E, обеспечивает скорость передачи до 8 Гбит/с и 16 ГБ памяти. Впервые он был выпущен компанией SK Hynix и будет запущен в массовое производство в 2024 году.

Основной сценарий применения HBM — серверы искусственного интеллекта. Последнее поколение HBM3e установлено на H200, выпущенном NVIDIA в 2023 году. По данным Trendforce, поставки ИИ-серверов достигли 860,000 2022 единиц в 2 году, и ожидается, что поставки ИИ-серверов превысят 2026 миллиона единиц в 29 году, при этом совокупный годовой объем поставок составит XNUMX XNUMX единиц. темп роста XNUMX%.

Рост поставок серверов искусственного интеллекта стал катализатором резкого роста спроса на HBM, а с увеличением средней мощности серверов HBM, по оценкам, размер рынка составит примерно 15 миллиардов долларов США через 25 лет, при этом темпы роста превысят 50%.

Поставщики HBM в основном сосредоточены в трех крупнейших производителях систем хранения данных: SK Hynix, Samsung и Micron. По данным Trendforce, ожидается, что в 53 году доля рынка SK Hynix составит 2023%, доля рынка Samsung — 38%, а доля рынка Micron — 9%. Основные изменения в процессе HBM отражаются на CoWoS и TSV.

Принципиальная схема HBM

HBM1 был впервые запущен AMD и SK Hynix в 2014 году как конкурент GDDR. Это четырехслойный стек кристаллов, обеспечивающий пропускную способность 4 ГБ/с и 128 ГБ памяти, что значительно лучше, чем GDDR4 того же периода.

HBM2 был анонсирован в 2016 году и официально запущен в 2018 году. Это 4-слойный кристалл DRAM, но теперь это в основном 8-слойный кристалл, обеспечивающий пропускную способность 256 ГБ/с, скорость передачи 2.4 Гбит/с и 8 ГБ памяти; HBM2E был предложен в 2018 году и официально запущен в 2020 году. Он значительно улучшил скорость передачи и память, обеспечив скорость передачи 3.6 Гбит/с и 16 ГБ памяти. HBM3 был анонсирован в 2020 году и официально запущен в 2022 году. Количество сложенных слоев и каналов управления увеличилось, обеспечивая скорость передачи 6.4 Гбит/с, скорость передачи до 819 ГБ/с и 16 ГБ памяти. HBM3E — это усовершенствованная версия HBM3, выпущенная SK Hynix, обеспечивающая скорость передачи данных до 8 Гбит/с, емкость 24 ГБ, массовое производство которой планируется в 2024 году.

Пути эволюции HBM трех основных производителей систем хранения данных

HBM широко используется в сценариях серверов искусственного интеллекта из-за его высокой пропускной способности, низкого энергопотребления и небольшого размера. Применение HBM в основном сосредоточено на высокопроизводительных серверах. Впервые он был реализован в графическом процессоре NVP100 (HBM2) в 2016 году, а затем применен в V100 (HBM2) в 2017 году, A100 (HBM2) в 2020 году и H100 (HBM2e/HBM3) в 2022 году. Последнее поколение HBM3e установлено на H200, выпущенный NVIDIA в 2023 году, обеспечивает более высокую скорость и большую емкость серверов.

Поставщики HBM в основном сконцентрированы в трех крупнейших производителях: SK Hynix, Samsung и Micron, при этом SK Hynix лидирует. Три крупнейших производителя систем хранения данных в основном отвечают за производство и комплектацию кристаллов DRAM и конкурируют в обновлении технологий. Среди них первый в мире HBM, выпущенный SK Hynix и AMD, первым представил новое поколение HBM3E в 2023 году, первым заняв свою позицию на рынке. В основном она поставляет продукцию NVIDIA, а Samsung — другим производителям облачных технологий. По данным TrendForce, в 2022 году доля рынка SK Hynix составила 50%, доля рынка Samsung — 40%, а доля рынка Micron — около 10%.

Изменения HBM в технологии упаковки касаются главным образом CoWoS и TSV.

1) CoWoS: кристалл DRAM размещается на кремниевом переходнике и соединяется с базовой подложкой посредством процесса упаковки ChiponWafer (CoW). То есть чип подключается к кремниевой пластине посредством процесса упаковки CoW, а затем чип CoW подключается к подложке для интеграции в CoWoS. В настоящее время основным решением для интеграции HBM и графического процессора является CoWoS от TSMC, который обеспечивает более быструю передачу данных за счет сокращения длины межсоединения и широко используется в таких вычислительных чипах, как A100 и GH200.

2) TSV: TSV является основой расширения емкости и пропускной способности, образуя тысячи вертикальных соединений между передней и задней частью чипа путем сверления отверстий по всей толщине кремниевой пластины. В HBM несколько слоев кристалла DRAM складываются и соединяются между собой TVS и выступами припоя, и только нижний кристалл может быть подключен к контроллеру хранилища, а остальные кристаллы соединены между собой через внутренние TSV.