Хотя OpenAI o1 предложил обучение с подкреплением (RL), оно не разорвало круг по разным причинам. DeepSeek R1 решил загадку RL и подтолкнул всю отрасль к новой парадигме, действительно войдя во вторую половину интеллекта. На рынке было много дискуссий об определении DeepSeek. Следующее ценное обсуждение — как играть в гонку ИИ?
DeepSeek превзошёл OpenAI?
Нет сомнений, что DeepSeek превзошел Meta Llama, но он все еще сильно отстает от игроков первого эшелона, таких как OpenAI, Anthropic и Google. Например, Gemini 2.0 Flash, мощный и полностью модальный, стоит дешевле DeepSeek. Внешний мир недооценивает возможности игроков первого эшелона, представленных Gemini 2.0, исходный код которого не был открыт для достижения сенсационного эффекта.
DeepSeek — это захватывающе, но его нельзя назвать инновацией на уровне парадигмы. Более точное описание — это то, что он открыл исходный код ранее полускрытой парадигмы OpenAI o1, подтолкнув всю экосистему к очень высокой скорости проникновения.
С точки зрения первых принципов, трудно превзойти производителей моделей первого уровня в рамках архитектуры поколения Transformer. Также трудно достичь обгона в рамках того же пути. Сегодня мы с нетерпением ждем, когда кто-то исследует следующее поколение интеллектуальной архитектуры и парадигмы.
DeepSeek догнал OpenAI и Anthropic за один год
Открывает ли DeepSeek новую парадигму?
Как уже упоминалось ранее, строго говоря, DeepSeek не изобрел новую парадигму.
Но значимость DeepSeek заключается в том, что он помогает новой парадигме RL и тестового времени вычислений обрести большую популярность. Если первоначальный выпуск OpenAI o1 представлял загадку для отрасли, DeepSeek был первым, кто публично решил ее.
До того, как DeepSeek выпустила R1 и R1-zero, лишь небольшое количество людей в отрасли практиковали RL и модели рассуждений. Однако DeepSeek предоставил всем дорожную карту, заставив отрасль поверить, что это действительно может улучшить интеллект. Это значительно повысило уверенность и привлекло больше исследователей ИИ к обращению к новым парадигмам исследований.
Только с приходом талантливых людей могут быть инновации в алгоритмах, и только при пристальном следовании открытому исходному коду можно инвестировать больше вычислительных ресурсов. После DeepSeek OpenAI, которая изначально не планировала выпускать новые модели, выпустила o3mini одну за другой, и планы продолжить выпуск o3, а также модели с открытым исходным кодом также находятся на рассмотрении. Anthropic и Google также ускорят исследования RL. Прогресс отрасли в новой парадигме ускорился благодаря DeepSeek, и малые и средние команды также могут попробовать RL в разных областях.
Кроме того, улучшение модели рассуждений еще больше поможет внедрению агента. Исследователи ИИ теперь более уверены в исследовании и изучении агентов. Поэтому можно также сказать, что модель рассуждений с открытым исходным кодом DeepSeek способствовала дальнейшему изучению агента в отрасли.
Таким образом, хотя DeepSeek не изобрел новую парадигму, он подтолкнул всю отрасль к новой парадигме.
Чем технологический подход Anthropic отличается от R1?
Из интервью Дарио мы видим, что понимание Anthropic модели R-1/рассуждения несколько отличается от понимания серии O. Дарио считает, что базовая модель и модель рассуждения должны быть непрерывным спектром, а не независимой серией моделей, как OpenAI. Если вы будете заниматься только серией O, вы скоро упретесь в потолок.
Мне всегда было интересно, почему возможности Sonnet 3.5 в области кодирования, рассуждений и агентных действий внезапно так сильно улучшились, а 4o так и не догнал их?
Они проделали большую работу с RL на этапе предварительной подготовки базовой модели. Суть в улучшении базовой модели. В противном случае, полагаясь исключительно на RL для улучшения модели рассуждений, можно легко свести на нет все преимущества.
Сенсация, которую вызвал DeepSeek, была неизбежной, но также и случайной
С технической точки зрения DeepSeek имеет следующие преимущества:
- Открытый исходный код: Открытый исходный код очень важен. После того, как OpenAI стала компанией с закрытым исходным кодом, начиная с GPT-3, три ведущие компании больше не раскрывали технические подробности, оставив пустую нишу открытого исходного кода. Однако Meta и Mistral не заняли эту позицию. Внезапная атака DeepSeek на этот раз сделала его плавным в области открытого исходного кода.
Если мы дадим 100 баллов сенсационности, то 30 баллов уйдут на улучшение интеллекта, а 70 баллов на открытый исходный код. LLaMA тоже был с открытым исходным кодом раньше, но не имел такого сенсационного эффекта, что показывает, что уровень интеллекта LLaMa недостаточен.
- Дешево: «Ваша маржа — моя возможность» становится все более ценным.
- Сетевое взаимодействие + публичный CoT : Эти два пункта могут принести пользователям хороший пользовательский опыт. DeepSeek разыгрывает обе карты одновременно, что можно назвать королевской бомбой. Опыт, который он дает пользователям C-end, полностью отличается от других чат-ботов. В частности, прозрачность CoT делает процесс мышления модели публичным. Прозрачность может сделать пользователей более доверяющими ИИ и способствовать разрыву круга. Однако появление DeepSeek должно было оказать огромное влияние на Perplexity, но сервер DeepSeek был нестабилен, и команда Perplexity быстро отреагировала и запустила R-1, который, в свою очередь, захватил большое количество пользователей DeepSeek R-1 overflow.
- Обобщение RL: Хотя RL был впервые предложен OpenAI o1, его уровень проникновения не высок из-за различных операций, которые были наполовину скрыты. DeepSeek R-1 значительно продвинул прогресс парадигмы модели рассуждения и значительно улучшил ее экологическую приемлемость.
Инвестиции DeepSeek в технологические исследования являются детерминированным фактором, который делает это интеллектуальное достижение достойным большего внимания и обсуждения, но время запуска DeepSeek R1 делает эту сенсацию случайной:
В прошлом Соединенные Штаты всегда говорили, что они далеко впереди в фундаментальных технологических исследованиях, но DeepSeek родом из Китая, что само по себе является ярким событием. В этом процессе многие американские технологические гиганты начали продвигать аргумент о том, что DeepSeek бросает вызов положению Соединенных Штатов как технологической большой шишки. DeepSeek пассивно участвовал в войне общественного мнения;
Перед выпуском DeepSeek R1 событие OpenAI Stargate только-только начало бродить. Контраст между этими огромными инвестициями и интеллектуальной эффективностью вывода команды DeepSeek был слишком разительным, и было трудно не привлечь внимание и обсуждение.
DeepSeek вызвал падение стоимости акций Nvidia и еще больше спровоцировал общественное мнение. Они, конечно, не ожидали, что станут первым черным лебедем на фондовом рынке США в 2025 году;
Весенний фестиваль — это учебная площадка для продуктов. В эпоху мобильного Интернета многие суперприложения взрывались во время Весеннего фестиваля, и эпоха ИИ не является исключением. DeepSeek R1 был выпущен как раз перед Весенним фестивалем. Что удивило публику, так это его способность создавать текст, а не навыки кодирования и математики, на которые обращали внимание во время обучения. Культурные творения, которые более соотносятся, с большей вероятностью станут вирусными.
Кто пострадал? Кто выиграл?
Игроков на этой арене можно разделить на три категории: ToC, To Developer и To Enterprise (to Government):
- ToC: Больше всего пострадал, безусловно, чат-бот, поскольку DeepSeek отнимает внимание у пользователей и бренда, и ChatGPT не является исключением;
- Влияние на разработчиков очень ограничено. Мы видели, как некоторые пользователи комментировали, что R1 не так хорош, как Sonnet, после его использования. Представители Cursor также заявили, что Sonnet по-прежнему превосходит Sonnet. Таким образом, большая часть пользователей выбирает Sonnet, и масштабной миграции не происходит.
- Бизнес To Enterprise и To Government основан на доверии и понимании потребностей. Интересы крупных организаций в принятии решений очень сложны и мигрировать не так просто, как C-end пользователи.
Давайте подумаем об этом с другой точки зрения: закрытый исходный код, открытый исходный код и вычислительная мощность:
В краткосрочной перспективе люди будут думать, что больше всего пострадают OpenAI/Anthropic/Google с закрытым исходным кодом:
- Тайна технологии была раскрыта, и самая важная часть тайны шумихи вокруг искусственного интеллекта была раскрыта;
- Более реалистично, рынок полагает, что часть потенциальных клиентов и рыночных размеров этих компаний с закрытым исходным кодом были уведены, а период окупаемости инвестиций в GPU был увеличен;
- Как лидер, OpenAI страдает больше всего. Его прежняя мечта сохранить свою технологию в тайне и не открывать ее для общественности в надежде заработать больше технологических премий вряд ли осуществится.
Но в среднесрочной и долгосрочной перспективе компании с обильными ресурсами GPU все равно выиграют. С одной стороны, Meta, компания второго уровня, может быстро следовать новым методам, делая Capex более эффективными, поэтому Meta может быть крупным бенефициаром. С другой стороны, для улучшения интеллекта необходимо больше исследований. Открытый исходный код DeepSeek вывел всех на один уровень, а для начала новых исследований требуются в 10 раз или даже больше инвестиций в GPU.
Из первых принципов, для интеллектуальной отрасли ИИ, будь то разработка интеллекта или применение интеллекта, она неизбежно потребляет огромную вычислительную мощность из физической природы. Это определяется базовыми законами и не может быть полностью исключено технической оптимизацией.
Поэтому, будь то исследование интеллекта или применение интеллекта, даже если есть сомнения в краткосрочной перспективе, спрос на вычислительную мощность в среднесрочной и долгосрочной перспективе взорвется. Это также объясняет, почему Маск начинает с первых принципов, а xAI настаивает на расширении кластера. Глубокая логика, лежащая в основе xAI и Stargate, может быть одинаковой. Amazon и другие поставщики облачных услуг объявили о планах по увеличению руководства по капитальным затратам.
Предположим, что уровень таланта и осведомленность об исследованиях ИИ во всем мире находятся на одном уровне, позволит ли большее количество графических процессоров проводить больше экспериментальных исследований? В конце концов, это может вернуться к конкуренции в вычислениях.
DeepSeek не имеет коммерческих требований и фокусируется на изучении интеллектуальной технологии AGI. Действие открытого исходного кода имеет большое значение для продвижения прогресса AGI, усиления конкуренции, продвижения открытости, что в некоторой степени имеет эффект сома.
Может ли дистилляция превзойти SOTA?
Есть одна неопределенная деталь. Если бы DeepSeek использовал большой объем очищенных данных CoT с этапа предварительной тренировки, то сегодняшние результаты не считались бы потрясающими, поскольку они все еще основаны на базовом интеллекте, полученном гигантами первого уровня, а затем с открытым исходным кодом. Но если на этапе предварительной тренировки не используется большой объем очищенных данных, было бы потрясающе, если бы DeepSeek достиг сегодняшних результатов с предварительного обучения с нуля.
Кроме того, маловероятно, что дистилляция может превзойти SOTA в базовой модели. Но DeepSeek R-1 очень силен. Я полагаю, это потому, что модель Reward делает очень хорошую работу. Если путь R-1 Zero надежен, у него есть шанс превзойти SOTA.
Никакого рва!
Предыдущий комментарий Google к OpenAI: No Moat! Это предложение также уместно здесь.
Массовая миграция пользователей чат-ботов дала рынку важное вдохновение: прогресс интеллектуальных технологий превосходит человеческое воображение, и поэтапным продуктам сложно создать абсолютный барьер.
Будь то ChatGPT/Sonnet/Perplexity, которые только что сформировали умы и репутацию, или инструменты разработчиков, такие как Cursor и Windsurf, как только становятся доступны более умные продукты, пользователи теряют лояльность к «предыдущему поколению» умных продуктов. Сегодня сложно построить ров как на уровне модели, так и на уровне приложения.
DeepSeek также подтвердил одну вещь на этот раз: модель — это приложение. У DeepSeek нет инноваций в форме продукта. Ядро — интеллект + открытый исходный код. Я не могу не думать: в эпоху ИИ, есть ли какие-либо инновации в продуктах и бизнес-моделях, которые уступают инновациям интеллекта?
Стоит ли DeepSeek взять на себя трафик чат-ботов и расширить его?
Из ответа команды DeepSeek становится ясно, что DeepSeek пока не придумала, как использовать эту волну трафика.
Суть вопроса о том, принимать ли и активно эксплуатировать этот трафик, заключается в следующем: могут ли крупная коммерческая компания и крупная исследовательская лаборатория сосуществовать в одной организации?
Этот вопрос — большой тест распределения энергии и ресурсов, организационных возможностей и стратегических выборов. Если бы это была крупная компания вроде ByteDance или Meta, их первой реакцией было бы взяться за это, и у них была бы определенная организационная основа для этого. Однако как исследовательская лабораторная организация DeepSeek должна находиться под большим давлением, чтобы справиться с таким огромным объемом трафика.
Но в то же время мы должны также подумать о том, будет ли эта волна чат-ботов временным трафиком? Является ли чат-бот частью основной линии будущих интеллектуальных исследований? Кажется, что каждая стадия интеллекта имеет соответствующую форму продукта, и чат-бот — это всего лишь одна из ранних разблокированных форм.
Для DeepSeek, с точки зрения следующих 3-5 лет, будет ли это упущением, если он не возьмет на себя трафик чатботов сегодня? Что если в один прекрасный день будет эффект масштаба? Если AGI наконец будет реализован, какой носитель будет использоваться для его передачи?
Где наступит следующий момент озарения в области искусственного интеллекта?
С одной стороны, модель следующего поколения первого эшелона имеет решающее значение, но сегодня мы находимся на пределе возможностей Transformer, и неизвестно, сможет ли первый эшелон предложить модель, которая сможет достичь улучшения поколения. OpenAI, Anthropic и Google ответили выпуском моделей, которые на 30-50% лучше, но этого может быть недостаточно, чтобы спасти ситуацию, поскольку у противника в 10-30 раз больше ресурсов.
С другой стороны, реализация Agent имеет решающее значение, поскольку Agent должен выполнять многошаговые рассуждения на большие расстояния. Если модель на 5-10% лучше, то опережающий эффект будет многократно увеличен. Поэтому OpenAI, Anthropic и Google должны реализовать продукты Agent на земле, с одной стороны, полную интегрированную модель + продукты Agent, как Windows + Office. С другой стороны, они также должны показать более мощные модели, такие как модели следующего поколения, представленные полной версией O3 и Sonnet 4/3.5 opus.
В условиях технологической неопределенности наиболее ценными являются талантливые исследователи ИИ. Любая организация, которая хочет исследовать ИИ, должна инвестировать ресурсы в более радикальную ставку на следующую парадигму, особенно в сегодняшнем контексте, когда модели достигли состояния равновесия на этапе предобучения. Необходимо иметь хороший талант + достаточно ресурсов, чтобы исследовать следующий момент озарения зарождающегося интеллекта.
Наконец, я надеюсь, что технологии не имеют границ.