Anthropic опубликовала открытую спецификацию FlashProve — системы, призванной доказывать, какая именно модель ИИ создала конкретный ответ. Подход, описанный в посте во вторник, обеспечивает так называемый provable inference: криптографическое доказательство происхождения вывода от определенной модели. Для компаний, покупающих услуги ИИ, это важно, поскольку происхождение модели напрямую влияет на качество, соответствие требованиям и затраты.
Как должен работать FlashProve
Система работает по аналогии с криптографическими подписями электронной почты, которые подтверждают отправителя сообщения. Каждый ответ содержит доказательство, которое можно сверить с опубликованным отпечатком модели. Проверка должна сохраняться даже тогда, когда оператор модели заинтересован в подмене. Именно это свойство отличает предложение от обычного журналирования или заверений поставщика.
Для проверки лаборатории ИИ должны публиковать отпечаток каждой выпущенной модели. Последующие ответы можно сопоставлять с этим отпечатком и проверять криптографическими методами. Отпечатки не раскрывают веса модели — внутренние числовые параметры, определяющие ее поведение и составляющие коммерческую тайну закрытых разработчиков. Благодаря этому коммерческие лаборатории могли бы участвовать, не передавая свой главный актив.
Исследователи описывают два основных сценария недобросовестного поведения, на которые рассчитан проект. Первый — тихая подмена со стороны провайдера: замена запрошенной модели более дешевой ради экономии либо более дорогой ради завышения результатов тестов. Второй — непроверенные заявления третьих сторон, например слова разработчика о том, что библиотека программ проверена передовой моделью кибербезопасности. Проверка спроектирована легковесной, чтобы ее можно было выполнять на локальном устройстве.
Что проверяемое происхождение модели дает бизнесу
Для компаний, использующих ИИ в поддержке, продажах, правовой проверке или контроле безопасности, подмена модели — это вопрос закупок и рисков. Более дешевый заменитель может снизить качество ответов и нарушить допущения процесса, а скрытая более сильная модель — исказить оценку и ценообразование. Проверяемая связь между ответом и отпечатком модели сделает контракты, аудит и разбор инцидентов более конкретными. Небольшие фирмы получат практичный контроль без собственной команды оценки, а крупные смогут встроить его во vendor-контроль.
Ограничения на этом этапе существенны. Anthropic выпустила подробную техническую спецификацию и рабочий код отдельных элементов под лицензией с открытым исходом на GitHub, однако исследования продолжаются, а планов внедрения в Anthropic или другой лаборатории нет. Открытыми остаются вопросы принятия другими провайдерами, накладных расходов, интеграции с API и учета измененных или комбинированных моделей. Сам по себе анонс не означает, что доступные сегодня ответы можно проверить таким способом.
Показателем развития станет публикация другими лабораториями отпечатков моделей и согласие на независимую проверку. Второй сигнал — появление доказательств в духе FlashProve в требованиях закупок, аудиторских отчетах или регулируемых процессах. Если эти шаги последуют, происхождение модели превратится из обещания поставщика в проверяемый факт.
