Исследователи MIT представили систему памяти UQ-DAAAM, которая находит ненадежные записи в карте робота и переписывает ошибочные описания объектов. Метод снимает неоднозначность примерно для 92% объектов, используя лишь два дополнительных описания на объект. Точность описаний растет на 5% относительно лучшего известного уровня. Для бизнеса это важно, поскольку сервисные и промышленные роботы становятся надежнее в многошаговых задачах, от уборки столов до поиска аварийного оборудования.
Как UQ-DAAAM находит и исправляет неточные записи
Система развивает прежний фреймворк DAAAM, где vision-language model описывает объекты с бортовых камер, а подписи хранятся в трехмерном картографическом представлении. Позже по этой карте робот отвечает на вопросы об объектах, местах и времени последнего наблюдения. Ошибки возникают при частичном обзоре, большой дистанции, смазанных или темных кадрах. Один из примеров команды — серая труба, ошибочно описанная как белка на крыше.
UQ-DAAAM добавляет в этот конвейер оценку неопределенности и работает прямо во время движения робота. Сначала система вычисляет уверенность vision-language model в словах, которыми описан возможно неверный объект. Затем она проверяет согласованность, сравнивая описание с подписями того же объекта с других ракурсов. Оба сигнала объединяются в одно число, отражающее общую уверенность, а высокие значения запускают уточнение записи.
Уточнение опирается на эвристику, выбирающую ракурсы, которые сильнее снижают неопределенность, без повторного запуска vision-language model. Исследователи математически доказали это правило отбора, что резко сокращает вычисления и позволяет обновлять память в реальном времени. Пример — более поздний кадр с дымом из трубы, снимающий прежнюю двусмысленность. После отбора удачных подписей large language model объединяет их в одно описание, отдавая больший вес новым и менее двусмысленным вариантам.
Что это меняет для внедрения сервисных роботов
Компании, тестирующие мобильных роботов для зданий, складов, домов или сборочных работ, получают слой памяти, точнее отвечающий на вопросы что, где и когда робот видел. По сравнению с базовыми методами система повысила уверенность и точность ответов по всем трем типам запросов. Небольшой оператор получает меньше сорванных поручений из-за одной неверной метки, например когда дефибриллятор записан как огнетушитель. Крупный парк техники масштабирует эффект на тысячи картографированных объектов, где иначе сохраняются устойчивые ошибки.
Подход все же требует нескольких видов одного объекта в движении, поэтому единичные наблюдения исправлять сложнее. На решение о перезаписи влияют порог неопределенности, освещение, качество камеры и базовая vision-language model. Сам по себе результат не гарантирует безопасных действий в экстренных ситуациях или корректной работы со станками. Заказчику стоит спросить, какие модели используются, как часто обновляется карта, какую задержку держит бортовой компьютер и как оценки неопределенности передаются в систему надзора.
Ориентиром станет доклад на Conference on Neural Information Processing Systems и последующие испытания на мобильных роботах-манипуляторах. Команда также планирует работу над повторным осмотром зон высокой неопределенности и над оценкой неопределенности при предсказании будущих состояний среды. Поддержку оказывают U. S. Army Research Laboratory и U. S. Office of Naval Research. Если другие лаборатории подтвердят уровень 92% на живых роботах, исправление ненадежной памяти станет стандартным требованием в закупках.
