Исследователи из Microsoft и City University of Hong Kong измерили, как ИИ-агенты выбирают путь в длительных задачах, и сильнейшая система показала лишь 59,7% точности. Их бенчмарк Taste-Bench включает 502 вопроса, построенных на записанных запусках агентов в программировании и исследованиях ИИ. Каждый вопрос предлагает бинарный выбор между двумя направлениями в точке разветвления. Для бизнеса это важно, поскольку агенты уже самостоятельно ведут исследования и программные проекты, а неверное раннее решение расходует бюджет до того, как его цена станет заметной.
Как Taste-Bench проверяет решения в развилках
Бенчмарк останавливает траекторию в точке decision fork, скрывает последующие шаги и просит модель выбрать лучший путь. Траектории взяты из тысяч оцененных запусков, включая SWE-bench Pro и публичный набор транскриптов METR под названием MALT. Модель-генератор отобрала подходящие развилки, убрала тривиальные и неразрешимые случаи, а ручная проверка подтвердила почти все автоматические метки. Набор включает два типа развилок: параллельные попытки одной задачи, которые расходятся, и объездные пути, где агент исправляет себя внутри одного запуска.
Оценка охватывает 14 актуальных моделей семейств Claude, GPT, Grok, DeepSeek, GLM, MiniMax и Mistral. Каждый вопрос задавали дважды с переставленными вариантами, а балл начисляли только за два верных ответа, поэтому случайное угадывание дает 25%. GPT-5.6 Sol набрал в среднем 59,7%, затем GPT-5.5 с 59,5%, а все остальные модели оказались заметно ниже. Развилки с объездным путем стабильно давали худшие результаты, чем параллельные. Авторы отмечают, что этот навык отличается от классических сквозных тестов вроде SWE-bench Verified.
Конструкция опирается на ретроспективную оценку, а не на мгновенную проверку. Аккуратная и небрежная реализации могут сначала давать одинаковый результат и проходить одни и те же тесты, а разница проявляется лишь тогда, когда позднейшие изменения даются легче или труднее. Ручная оценка таких шагов требовала бы глубокой экспертизы и плохо масштабируется. Поскольку агентные системы пробуют задачу многократно, финальные исходы показывают, какая ранняя ветка была лучше. Этот позднейший путь и дает метку для раннего выбора без дополнительной ручной разметки.
Что слабое долгосрочное планирование меняет для бизнеса
Компании, поручающие агентам многошаговую разработку или исследования, получают завершение работы без контроля качества промежуточных шагов. Стандартные проверки фиксируют лишь прохождение тестов в конце, однако METR показала, что SWE-bench Verified завышает результат: специалисты отклонили многие прошедшие тесты решения из-за базовых функциональных ошибок. Taste-Bench добавляет недостающий слой, оценивая качество выбора пути. Крупным командам это означает проверку в точках ветвления, а не только приемочное тестирование, а небольшим командам без старших рецензентов грозит больше переделок.
Ограничения особенно заметны, когда доказательства появляются поздно. Если подсказка уже видна до развилки, средняя точность всех моделей достигает 62,3%, но если она возникает лишь после большого объема дальнейшей работы, точность падает до 21%. Увеличение рассуждений не исправило ситуацию: переход от минимального к максимальному режиму почти не изменил точность, а больше всего токенов модели потратили на вопросы, где чаще ошибались. В бенчмарке MirrorCode одна модель работала 19 дней без помощи человека, и это показывает, как долго агент может следовать слабому выбору без вмешательства.
Ориентиром служит перенос навыка суждения в рост успешности задач. Дистилляция модели-учителя в Qwen3.6-27B повысила точность на новых задачах с 30% до 47,9%. Когда советы этой модели добавляли в каждой развилке, успешность на 41 отложенной задаче SWE-bench Pro выросла с 14,6% до 33,7% при 39% с идеальными советами. Если последующие работы повторят такой прирост на других семействах задач, покупатели получат конкретный признак того, что обучение вкусу становится стандартной частью внедрения агентов.
