Что такое память GDDR?
GDDR (Graphics Double Data Rate) — тип памяти, разработанный специально для видеокарт. Память GDDR похожа на память DDR, используемую в большинстве компьютеров, но оптимизирована для видеокарт. Память GDDR обычно имеет более высокую пропускную способность, чем память DDR, что означает, что она может передавать больше данных за раз.
GDDR6 — новейший стандарт памяти для графических процессоров с пиковой скоростью передачи данных на контакт 16 Гбит/с. GDDR6 используется в большинстве графических процессоров, включая NVIDIA RTX 6000 Ada и AMD Radeon PRO W7900, и по-прежнему используется в графических процессорах в 2024 году.
NVIDIA также работает с Micron над GDDR6X, преемником GDDR6. Мы говорим это, потому что, помимо кодирования с NRZ на PAM4, между ними нет никаких аппаратных изменений, и поскольку NVIDIA является единственным пользователем, нет одобрения со стороны отраслевого стандарта JEDEC. DDR6X увеличивает пропускную способность на вывод до 21 Гбит/с. GDDR7 — это следующий стандарт GDDR, который должен быть широко принят всеми.
По состоянию на 2024 год максимальная шина памяти для GDDR6 и GDDR6X составляет 384 бита. Память GDDR представляет собой один чип, припаянный к печатной плате, окружающей чип графического процессора.
GDDR-память
Что такое память HBM?
HBM означает High Bandwidth Memory (память с высокой пропускной способностью) — новый тип памяти, разработанный специально для графических процессоров.
Память HBM разработана для обеспечения большей ширины шины памяти, чем память GDDR, что означает, что она может передавать больше данных одновременно. Один чип памяти HBM не такой быстрый, как один чип GDDR6, но это делает его более энергоэффективным, чем память GDDR, что является важным фактором для мобильных устройств.
Память HBM расположена внутри корпуса GPU и сложена — например, HBM имеет стек из четырех DRAM (4-Hi), каждый с двумя 128-битными каналами и общей шириной 1024 бита (4 * 2 канала * 128 бит). Поскольку память HBM встроена в чип GPU как модуль чипа памяти, ошибок и места меньше. Поэтому один GPU не может легко масштабировать свою конфигурацию памяти так же легко, как GPU, оснащенный GDDR.
Последняя и наиболее принятая память HBM — это HBM3 в NVIDIA H100 с 5120-битной шиной и пропускной способностью памяти более 2 ТБ/с. HBM3 также присутствует в AMD Instinct MI300X конкурента с 8192-битной шиной и пропускной способностью памяти более 5.3 ТБ/с. Nvidia также представила новую память HBM3e в своих GH200 и H200 как первые ускорители и процессоры, использующие HBM3e, который имеет большую пропускную способность памяти. Это оборудование, оснащенное памятью HBM, обновляется быстрыми темпами. Одной из важных причин, по которой ускорительные графические процессоры, такие как H100 и MI300X, нуждаются в HBM, является взаимосвязь между несколькими графическими процессорами; для взаимодействия друг с другом широкая ширина шины и высокая скорость передачи данных имеют решающее значение для снижения ограничений передачи данных с одного графического процессора на другой.
HBM-память
GDDR против HBM
Какой тип памяти лучше для GPU? Ответ: это зависит от конкретного сценария.
Графические процессоры, оснащенные памятью GDDR, обычно:
- Более доступны, поскольку являются основными типами графических процессоров
- Дешевле, поскольку GDDR припаивается непосредственно к печатной плате, а не к корпусу графического процессора.
- Большинство основных приложений не максимизируют пропускную способность памяти, но GDDR, как правило, потребляет больше энергии и не так эффективен.
Графические процессоры, оснащенные памятью HBM, обычно:
- Менее доступный, более нишевый
- Очень дорогой, встречается во флагманских ускорителях, таких как H100.
- Только для высокопроизводительных вычислений и высокоуровневых рабочих нагрузок, требующих наибольшей пропускной способности
- Эффективен и обеспечивает большую ширину шины для распараллеливания скоростей на каждом выводе.
Большинству приложений не требуется память HBM. Для рабочих нагрузок, использующих большие объемы данных, более высокая пропускная способность памяти имеет первостепенное значение. Такие рабочие нагрузки, как моделирование, анализ в реальном времени, интенсивное обучение ИИ, сложный вывод ИИ и многое другое, могут выиграть от использования большей пропускной способности памяти.
Также важно учитывать, что самый быстрый GPU, оснащенный GDDR, будет работать отлично, если рабочие нагрузки параллельны друг другу. NVIDIA RTX 6000 Ada — мощный флагманский GPU, идеальный для небольших и средних нагрузок обучения ИИ, рендеринга, аналитики, моделирования и обработки больших объемов данных, с пропускной способностью памяти 960 ГБ/с. Его сокеты — это серверы или рабочие станции с многопроцессорными установками, где работа может быть распараллелена и разделена для еще более высокой производительности.
Однако графические процессоры с поддержкой HBM, такие как NVIDIA H100, могут значительно повысить производительность в корпоративных развертываниях (хотя и за высокую цену). Более высокая производительность и меньшее время ожидания приводят к более быстрым прорывам. Такие развертывания, как ChatGPT, используют кластеры H100, работающих вместе, для выполнения вывода в реальном времени и генерации функций ИИ для миллионов пользователей в определенное время, обрабатывая запросы и предоставляя выходные данные в реальном времени.
Без быстрой высокоскоростной памяти и пиковой производительности корпоративные развертывания могут стать слишком медленными для использования. Хорошим примером этого является запуск ChatGPT. ChatGPT и OpenAI, вероятно, думают, что у них достаточно графических процессоров NVIDIA с поддержкой HBM для обработки большого количества одновременных пользователей, но не имеют представления о том, насколько популярным будет их новый чат-бот с генеративным ИИ. Им пришлось ограничить количество одновременных пользователей, попросив посетителей сайта проявить терпение к сервису, пока они масштабируют свою инфраструктуру. Однако с этой точки зрения ChatGPT может быть невозможен без графических процессоров, использующих эти высокоскоростные межсоединения памяти.
Заключение
Подводя итог, можно сказать, что и память GDDR, и память HBM имеют свои плюсы и минусы. Память GDDR дешевле и является хорошим выбором для приложений, которым требуется высокая пропускная способность, но не требуется абсолютно максимальная производительность. С другой стороны, память HBM дороже, но обеспечивает более высокую пропускную способность, что делает ее хорошим выбором для приложений, которым требуется высокая производительность. При выборе между этими двумя типами памяти важно учитывать сценарий и стоимость.