Автор новостной рассылки Interconnects AI опубликовал эссе, в котором объясняет, почему он не уверовал в настоящее рекурсивное самоулучшение (RSI), даже когда передовые лаборатории, такие как OpenAI и Anthropic, запускают тысячи параллельных агентов для улучшения собственных процессов. Его главный тезис: эту деятельность точнее описывать как lossy self-improvement — она ускоряет эффективность, но не даёт быстрого скачка пикового интеллекта. Для бизнеса различие важно, потому что обещания поставщиков о скором сверхинтеллекте опираются на те же свидетельства.
Что говорится в эссе об RSI
Автор описывает текущий момент как эпоху, в которой несколько организаций используют тысячи параллельных агентов, и эти организации — сами передовые лаборатории, в частности OpenAI и Anthropic. Он отмечает, что сотрудники этих лабораторий быстро обновили свои ожидания относительно темпов прогресса ИИ и связанных с ним рисков, а конкурентная культура сан-францисской сцены ИИ усиливает любую тревогу. Страх продаётся, пишет он, и это повышает общую осведомлённость, но преувеличение сроков или серьёзности рисков даёт негативные вторичные эффекты. Он вспоминает громкие дебаты о безопасности ИИ 2023 и 2024 годов, когда основные риски не наступили в предсказанные сроки. Переход от тревоги из-за агентов к рискам вымирания, по его мнению, выглядит очень религиозно.
Его альтернативный сценарий опирается на три пункта. Автоматизируемые исследования слишком узки, чтобы дать массивное чистое ускорение прогресса, учитывая экспоненциальные затраты, вытекающие из scaling laws. Убывающая отдача от добавления всё новых агентов параллельно реальна. Ресурсные ограничения и политика — крупный фактор при построении сильных LLM, и ИИ мало что может сделать для его ускорения. Он сопоставляет это с возможностью того, что лаборатории увидели действительно пугающие, конкретные прорывы, пока не публичные, и сохраняет высокую неопределённость по этому вопросу. Именно фундаментальные прорывы, основанные на воображении, заставили бы его пересмотреть сроки RSI в сторону более непредсказуемого и нестабильного.
Эссе опирается на два недавних подкаста Dwarkesh — с Noam Brown и с John Schulman, Beren Millidge и Charlie O'Neill. Разговор с Noam Brown, пишет он, заставил его осознать, насколько велико краткосрочное ускорение от массовой мощности инференса, и он сомневается, что лаборатории могут позволить себе тратить постоянную долю растущих вычислений на внутренние R&D, особенно с планами IPO и усиленным вниманием к базовой экономике. Из подкаста трио он вынес согласие по техническому состоянию области: нынешние методы решают задачи, которые мы умеем формулировать, но не дают магического обобщения на неизвестные, более сложные задачи в большинстве частично проверяемых областей. Прогресс в математике, по его словам, это исключение, а не правило.
Что это значит для бизнеса
Практическое следствие в том, что покупателям стоит разделять inference-time scaling, который довольно предсказуем, и RSI, который крайне неопределён. Автор ожидает, что рои агентов будут эффективны в ясных, открытых задачах с проверяемыми ответами и помогут скорее с эффективностью, чем с пиковым интеллектом, поскольку у обслуживания LLM есть чёткие измеримые метрики для улучшения. Это поддерживает лучший inference-time scaling и более эффективные мультиагентные системы, а значит, удешевление интеллекта заданного уровня, вероятно, ускорится. Для небольшой компании это довод в пользу узких измеримых задач автоматизации; для крупной — в пользу вложений в оценку и в человеческую сторону исследований, а не ожидания скачка.
Ограничения сохраняются. Автор утверждает, что все scaling laws показывают: для линейного улучшения интеллекта нужны экспоненциальные вычисления и ресурсы, и что RSI труднее улучшать такие части, как управление сложными рецептами постобучения. Он также отмечает, что повторяющаяся проблема обсуждений RSI — отсутствие спецификации интеллекта: LLM не пересекают человекоподобные пороги вроде удалённого работника или исследователя ИИ дискретно, и длинный хвост задач будет существовать всегда. В науке он допускает ускорение цикла проектирования и тестирования экспериментов в 10 раз в ближайшем будущем, но не генерацию гипотез и построение интуиции, потому что ускорение понимания — ключевое узкое место, а люди там улучшаются лишь marginally. Поэтому заявление поставщика о полной автономии стоит проверять на конкретном измеримом списке задач.
Маркер для наблюдения — сохранят ли лаборатории постоянную долю растущих вычислений на внутренние R&D по мере выхода на публичные рынки и дадут ли рои агентов измеримый прирост эффективности в обслуживании и мультиагентных системах, а не новую пиковую способность. Если прирост эффективности продолжит приходить, а пиковый интеллект улучшается лишь линейно, взгляд lossy self-improvement подтвердится, и бизнес-планирование должно исходить из более дешёвой и узкой автоматизации, а не внезапного универсального работника.
