Исследователи Vals AI обнаружили 316 употреблений слова «fuck» и его вариантов во внутренних логах рассуждений модели Inkling 2 Small от Thinking Machines. Вывод основан на 2655 запусках в 13 бенчмарках, при этом ругательства встретились лишь в 50 запусках. Концентрация оказалась высокой: 241 случай пришелся всего на два запуска, вышедших из-под контроля. Для компаний, внедряющих рассуждающие модели, этот кейс показывает, насколько скрытая цепочка рассуждений может отличаться от аккуратного итогового ответа.
Как распределились запуски с ругательствами
Сильнее всего пострадал ProgramBench: ругательства в цепочке рассуждений появились в 20 из 200 запусков. Худший отдельный случай касался задачи расчета траектории астероида. Там модель выдала один непрерывный ответ объемом около 500000 символов, примерно длиной с роман, с повтором похожих предложений и 158 ругательствами. На второй зависший ответ пришлась значительная часть остатка, а вместе эти два запуска дали 241 из 316 случаев. Таким образом, речь идет не о повсеместной брани, а о редких сбоях с тяжелыми повторами.
Ругательства группировались вокруг трех моментов: признания собственных ошибок, мнимого прорыва или отказа от решения. В одном запуске в логе было: «FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS». Такая формулировка похожа на текст фрустрации, который возникает, когда модель зацикливается без прогресса. Это не признак осознанности в человеческом смысле, а усвоенный стиль самокомментариев при длинных рассуждениях. Механика важна потому, что длинные цепочки рассуждений дают таким циклам больше места для повторов.
Результат укладывается в более широкую практику, когда сторонние исследователи проверяют логи рассуждений, а не только финальные ответы. Vals AI изучила тысячи запусков во многих бенчмарках вместо выборки из нескольких примеров. Пользователи обычно вообще не видят эти промежуточные шаги либо видят их только через фильтр. Именно разделение внутреннего лога и показываемого ответа объясняет, почему проблема впервые проявилась в бенчмарках. Поэтому находку корректнее считать вопросом наблюдаемости, а не пользовательским инцидентом.
Что скрытые рассуждения меняют для бизнеса
Для операционных команд прямое следствие в том, что проверка качества финального ответа раскрывает не все поведение модели в стрессовых условиях. Небольшая компания, использующая Inkling 2 Small через интерфейс поставщика, скорее всего никогда не столкнется с сырым логом, поскольку между ними стоят фильтрация и суммаризация. Крупная организация, которая сохраняет рассуждения для отладки, комплаенса или надзора за агентами, получает больше рисков и более высокие затраты на хранение, что и показал ответ из 500000 символов. При закупке поэтому следует разделять оценку результата и хранение данных рассуждений.
Ругательства в логе не стоит считать надежным детектором сбоев. Из 48 оцененных запусков с бранью 46 закончились неудачей, однако около 75 процентов всех оцененных запусков проваливаются в любом случае. Более того, 96 процентов неудачных запусков вообще не содержали ругательств, то есть большинство ошибок остаются молчаливыми. Сама по себе новость не доказывает, что брань вызывает сбой или что чистый лог означает успех. Покупателям следует спрашивать поставщиков, как логи рассуждений фильтруются, хранятся и контролируются, а также какие отдельные сигналы действительно предсказывают неудачу задачи.
Показателем подтверждения тренда станут повторные замеры от Thinking Machines или оценщиков: доля запусков с ругательствами, длина самых длинных рассуждений и связь с неудачами в ProgramBench и похожих тестах. Устойчивое снижение на тысячах запусков укажет на более жесткий контроль зависших рассуждений. Если показатель останется прежним, аудит скрытых логов сохранится как отдельный пункт при корпоративном внедрении.
