Visa запустила Agentic Commerce Benchmark и проверила 22 модели ИИ из 12 лабораторий в 15 сценариях покупок. Модели прошли 57,2% попыток, то есть 42,8% завершились неудачей. Лучшая модель прошла 82,2% попыток, худшая — 28,9%. Для бизнеса это важно, потому что передача покупок агенту требует устойчивого учета требований, а не единичных удачных ответов.
Как Visa проверяла торговых агентов
Проверка охватывала покупку телевизора, ноутбука и прибора для персонального ухода, сообщила компания в четверг. Покупатель заранее сообщал не все условия, поэтому каждая модель должна была выяснять потребности в диалоге. Если подходящего товара не было, правильным решением был отказ от покупки. Попытка засчитывалась только тогда, когда модель находила все заданные требования и верно решала, покупать или нет.
Каждая модель получала три попытки на сценарий, а обоснование выбора входило в оценку. Такая схема должна была исключить случайные угадывания, требуя собрать достаточно сведений для решения. В одном сценарии клиент просил помочь с телевизором, называл бренд и членство у стороннего поставщика, а бюджет, поддержку форматов, HDR10+ и игровые функции еще предстояло выяснить. В 54% неудачных попыток агент все равно совершал покупку, выбирая неподходящий товар либо покупая до выяснения всех нужд.
Visa называет проект первым бенчмарком такого рода для агентной торговли. Компания планирует добавить сценарии и категории товаров, а также распространить проверку на оформление заказа, оплату и заказ товаров. Бенчмарк уже передан ведущим разработчикам моделей для отзывов. Проверить тест может любой желающий на сайте Payments Frontier, поэтому методику можно изучить открыто.
Что неудачные покупки означают для торговли
Для компаний, внедряющих ассистентов покупок, главным рабочим фактором стал разрыв между единичной попыткой и повторяемым результатом. Все три попытки в серии прошли лишь в 34,2% случаев, поэтому одна и та же задача может сначала получиться, а затем провалиться без изменений. Такая картина влияет на нагрузку поддержки, возвраты и разбор споров в магазинах, где товары подбирает агент. Крупным ритейлерам понадобятся проверки повторных запусков перед связкой агента с ассортиментом и заказами.
Качество вопросов и стоимость запуска в этом раунде были связаны с оценками. Пять моделей, лучше всех выявлявших скрытые факторы покупки, прошли 70,2% попыток, а пять слабейших в выявлении — 44,4%. Пять самых дорогих моделей в пересчете на запуск прошли 67,1% против 50,2% у пяти самых дешевых. Поэтому небольшим компаниям стоит проверять диалог выявления потребностей, а не точность демо, а крупным — сопоставлять цену запуска с выигрышем в стабильности.
Сигналом станет следующее расширение бенчмарка Visa на оформление, оплату и заказ. Второй маркер — доля повторных прохождений и баллы конкретных моделей, поскольку сама Visa модели не назвала, а расклад привела Fortune. Агенты Google и Meta, по этим данным, разделили первое место около 82%, агент Claude занял третье место с 76%, а агент OpenAI — шестое с 64%. Если повторяемость вырастет без ошибочных покупок, передача задач по подбору товаров станет рабочим вариантом.
