Дарио Амодеи ставит на AGI через 1-2 года не из-за хайпа, а потому что гипотеза масштабирования работает с 2017 года: RL показывает ту же экспоненту что предобучение, а общество всё ещё не готово.
Каждую неделю выходят новости про новые модели ИИ, но непонятно что из этого реально важно, а что маркетинг. В этом интервью CEO Anthropic объясняет логику происходящего: почему масштабирование продолжает работать, куда ведёт экспонента и что будет через год-два. Главное что я понял слушая подкаст — дело не в отдельных прорывах типа o1 или Claude. Дело в том, что экспонента не сломалась и никто не готов к последствиям. Дарио Амодеи три года назад поставил на масштабирование когда это было неочевидно, построил Anthropic на этой ставке, и сейчас объясняет почему мир у порога главного события эпохи.
Гипотеза которая сработала: что Дарио Амодеи понял в 2017 году
В 2017 году, когда GPT-1 только вышел, Дарио написал документ "Гипотеза большого сгустка вычислений". Люди пробовали робототехнику отдельно, рассуждения отдельно от языковых моделей, масштабировали разное. AlphaGo в Go, Dota в OpenAI, StarCraft в DeepMind.
Дарио сказал: вся эта изобретательность не имеет большого значения. Важно семь вещей. Вычислительная мощность. Объём данных. Широкое распределение данных. Время обучения. Целевая функция которая может масштабироваться. Численная стабильность.
Всё остальное шум.
Я слушал первое интервью Дарио три года назад. Тогда это звучало как интересная теория. Сейчас на этой теории построена компания из 2500 человек с миллиардными инвестициями. Теория сработала.
Экспонента развития ИИ основана не на везении, а на понимании что именно масштабируется.
Почему обучение с подкреплением — это не новый тренд
Когда OpenAI выпустили o1 с reasoning, многие решили что началась новая эпоха. Дарио объясняет: это та же экспонента, просто следующий слой.
Законы масштабирования для RL работают точно так же как для предобучения. Логарифмически линейная зависимость от времени обучения. Обучаешь модель дольше на математических конкурсах вроде IMO — работает лучше. Программирование, браузер, широкий спектр задач. Везде одна закономерность.
Anthropic это видит. Другие компании публикуют результаты. Все видят то же самое.
RL не заменяет предобучение. Это следующий слой той же системы масштабирования.
Почему нейросети учатся медленнее людей и это нормально
Ричард Саттон написал "Горький урок" про то что масштабирование побеждает изобретательность. Но сам Саттон не проникся LLM. Возражение такое: истинная суть человеческого обучения не требовала бы миллиардов долларов данных и вычислений. Нужны специализированные среды чтобы научить модель пользоваться Excel. Значит мы масштабируем не то.
Дарио разбирает это через историю GPT-1.
GPT-1 обучался на фанфиках. Миллиард слов. Узкое распределение. Хорошо предсказывал этот корпус, плохо обобщался на другие тексты. Только когда взяли весь интернет — Common Crawl, ссылки с Reddit, широкое распределение — модели начали обобщаться.
Люди тоже учатся на огромном распределении данных всю жизнь. Ребёнок видит миллионы объектов, слышит миллионы фраз, взаимодействует с тысячами ситуаций до того как научится читать. Просто мы не считаем это обучением потому что оно размазано во времени.
Масштабирование данных и вычислений не костыль. Это рабочий путь к общему интеллекту.
Непрерывное обучение: проблема решена тихо
Катастрофическое забывание было главным аргументом скептиков лет пять назад. Если модель учишь новой задаче, она забывает старую. Фундаментальное ограничение нейросетей.
Дарио говорит: проблема ушла. Просто через масштаб.
Большие модели перестали забывать. Нет громкой публикации которая это решила. Нет нового алгоритма который всё изменил. В какой-то момент модели стали достаточно большими и проблема перестала быть проблемой.
Я помню эти дискуссии. "Нейросети не могут учиться непрерывно как люди". Были конференции, статьи, исследовательские направления. Сейчас об этом никто не говорит.
Многие "фундаментальные ограничения" ИИ исчезают через масштаб, а не через новые алгоритмы.
Год или два до AGI — не хайп, а расчёт
Дарио называет конкретный срок: один-два года до AGI. Плюс-минус погрешность.
Это не твит эксперта. Это расчёт человека который управляет компанией построенной на этом прогнозе. Anthropic привлёк миллиарды инвестиций. Нанял 2500 человек. Строит инфраструктуру под экспоненту которая по прогнозу выходит на AGI в 2026-2027.
Дарио видит прогресс изнутри: от модели уровня умного старшеклассника до студента колледжа, до начала работы над PhD, до профессионального уровня в программировании. Это не скачки. Это плавная экспонента с предсказуемым наклоном.
Он говорит: базовая технология развивалась примерно так как я ожидал. Плюс-минус год-два туда, плюс-минус год-два сюда. Граница немного неровная. Но в целом экспонента идёт как планировалось.
Когда человек который строит компанию на прогнозе говорит о сроках — это другой уровень уверенности чем твиты экспертов.
Почему общество не готово к тому что уже происходит
Дарио говорит: самое удивительное для него не технология. Технология идёт как ожидалось. Самое удивительное — отсутствие общественного признания того насколько мы близки.
Ему дико.
Люди всё ещё обсуждают старые избитые политические вопросы вокруг ИИ пока экспонента подходит к концу. Публичный дискурс застрял на регулировании, этике, безопасности в абстрактном смысле. А конкретика — что реально работает в масштабировании, куда это ведёт, что будет через год — остаётся в узком кругу инсайдеров.
Обычный человек на улице совершенно не в курсе. Для него ИИ это ChatGPT который пишет emails и может ошибаться. Он не понимает что мы в году-двух от технологии которая превзойдёт людей в большинстве интеллектуальных задач.
Я это чувствую каждый раз когда выхожу из профессионального круга. Разговоры про ИИ на уровне "а ты пробовал ChatGPT" в мире где Anthropic строит roadmap до AGI.
Разрыв огромный.
Разрыв между технической реальностью и общественным пониманием огромен и это опасно.
Как управлять компанией когда всё меняется каждый день
Треть своего времени Дарио тратит на культуру компании. Не на технологию. Не на продукты. На культуру.
Когда компания 2500 человек и растёт быстро, ты не можешь участвовать во всём лично. Нужно чтобы люди понимали миссию одинаково, работали сообща, верили что все остальные здесь по правильным причинам.
Каждые две недели Dario Vision Quest. Час перед всей компанией. Документ на три-четыре страницы: что происходит с моделями, с продуктами, с внешней индустрией, с миром в целом. Очень честно. Без корпоративного жаргона. Называть вещи своими именами, признавать проблемы.
Дарио говорит: в момент кризиса решения принимаются невероятно быстро. Одновременно происходит 30 вещей и ты даже не знаешь какие окажутся важными. Кто-то зайдёт в кабинет, даст полстраницы записки: "Дарио, у тебя две минуты, нам сделать А или Б?" А ты такой: "Я не знаю, мне нужно пообедать, давай выберем Б".
И это окажется самым значимым событием.
В момент технологической революции треть времени CEO уходит на культуру, потому что без неё компания развалится.
Где это не работает: честность Дарио об ограничениях
Дарио честен про неопределённость. Экспонента может упереться в потолок раньше чем дойдёт до AGI. Плюс-минус год-два в прогнозах это нормальная погрешность. Может сработать через год, может через три.
Многие важные решения будут приниматься в спешке. Полстраницы записки, две минуты на ответ. Не факт что правильные. Может какое-то критическое решение примут случайно и только потом поймут что оно было критическим.
Нет гарантий. Есть ставка на основе работающей гипотезы.
Даже CEO Anthropic признаёт неопределённость, но ставка на масштабирование остаётся лучшей из имеющихся.
Нейрограмма
Результат: понимание логики развития ИИ от человека который ставит на это миллиарды
Источник: полное интервью Дарио Амодеи на NeyroRadio (2 часа)
Ключевые темы: гипотеза масштабирования с 2017 года, RL как продолжение экспоненты, культура Anthropic, конкретные сроки AGI (1-2 года), разрыв между технологией и общественным пониманием
Личный опыт: слушал первое интервью Дарио три года назад, следил за развитием Anthropic и Claude, видел как прогнозы которые казались смелыми теориями становятся рабочими продуктами на миллиарды долларовЧто меняется когда понимаешь логику
Вместо метаний между хайпом и скепсисом появляется понимание системы. Каждая новость про новую модель укладывается в картину. o1 не отдельный прорыв, это ожидаемый шаг экспоненты где RL масштабируется так же как предобучение.
Можешь объяснить коллегам почему "новая эпоха ИИ" каждые три месяца это не противоречие. Это одна непрерывная экспонента с разными слоями: предобучение, потом RL, потом следующее. Всё на одной гипотезе 2017 года.
Видишь куда двигаться в своей работе. Не гнаться за каждой новостью о новой модели. Следить за метриками масштабирования. Понимать какие задачи уже решаются хорошо по экспоненте, какие через полгода, какие через год.
Уверенность в понимании происходящего дороже сотни новостных заголовков.
Что я вынес из двух часов с CEO Anthropic
Масштабирование это не временный тренд. Гипотеза работает с 2017 года. Тогда это было неочевидно, сейчас на этом построены компании на миллиарды долларов. Экспонента продолжает идти как планировалось плюс-минус год-два.
RL не отменяет предобучение. Это следующий слой той же экспоненты. Логарифмически линейная зависимость от времени обучения работает для обучения с подкреплением точно так же как работала для предобучения. o1 это не новая волна, это продолжение той же.
Непрерывное обучение решилось само. Пять лет назад катастрофическое забывание было главным аргументом скептиков. Сейчас об этом никто не говорит. Большие модели перестали забывать через масштаб, никто не заметил момент когда проблема ушла. Нет громкой публикации. Просто в какой-то момент перестало быть проблемой.
Год-два до AGI это расчёт, не хайп. Anthropic ставит миллиарды на этот прогноз. Дарио управляет компанией из 2500 человек построенной под этот timeline. У него есть конкретные метрики прогресса. Это не блог-пост, это бизнес-стратегия с реальными деньгами.
Общество не готово и это страшно. Публичный дискурс обсуждает регулирование и этику в абстрактном смысле пока технология подходит к критической точке. Обычный человек думает про ChatGPT для emails пока инсайдеры строят roadmap до AGI. Разрыв огромный.
Культура компании решает всё. Треть времени CEO уходит на культуру потому что без неё компания развалится в хаосе быстрых изменений. Dario Vision Quest каждые две недели, прямая честная коммуникация, признание проблем вместо корпоративного жаргона. Это не про HR, это про выживание в момент революции.
Решения принимаются в спешке. Самое важное решение может быть на полстраницы записки за две минуты до обеда. Ты даже не знаешь какое окажется критическим пока не случится. Это реальность момента когда всё меняется одновременно.
Главный инсайт
Главное что я понял — разница между "следить за новостями" и "понимать логику". Дарио не гадает про будущее. Он показывает как работает экспонента которую запустил в 2017 году и которая до сих пор идёт по плану.
Если он прав, то через год-два мы все окажемся в мире который сейчас обсуждаем теоретически.
Страшно не AGI. Страшно что никто не готов.
Слушайте полное интервью на NeyroRadio
Это краткая выжимка из двухчасового разговора. Полная версия на NeyroRadio разбирает детали масштабирования, конкретные примеры из работы Anthropic, метрики экспоненты, культуру компании изнутри и то как Дарио принимает решения в моменте когда всё меняется одновременно.
Если хочешь понимать логику вместо хайпа, подписывайся на Нейрорадио на Яндекс-музыке.
