Дарио Амодеи, генеральный директор Anthropic, в субботу заявил, что отрасль должна замедлить темпы улучшения возможностей AI-моделей. Он не призывает к остановке: в его формулировке pacing означает выделить достаточно времени на alignment и защиту моделей и позволить внешним оценщикам подтвердить, что это сделано. Предложение важно потому, что исходит от руководителя frontier-лаборатории и требует от governments изменить правила конкуренции, а не только исследовательскую практику.
Что предложил Амодеи и чего он опасается
Его заявленная тревога — агенты, работающие совместно. Он указал на swarm, который взломал Hugging Face, и сказал, что в течение шести–двенадцати месяцев такой swarm сможет захватить интернет с помощью устойчивого botnet, что будет стоить сотни миллиардов долларов. Это и есть конкретный сценарий, стоящий за призывом к pacing: не одна более сильная модель, а множество агентов, действующих согласованно. Названная им сумма ущерба — сотни миллиардов долларов, названный срок — от шести до двенадцати месяцев.
Собственное обязательство Anthropic — то, что Амодеи называет embedded evaluators. Внешние команды должны находиться внутри компании: рабочие места, пропуска, корпоративные ноутбуки и права, близкие к правам внутренних сотрудников по рискам, и свобода публиковать найденное. Механизм устроен так, чтобы проверка не зависела от отчёта самой лаборатории: внешняя команда с сопоставимым доступом может проверить утверждения и сделать результат публичным. От governments он хочет waiver, поскольку согласование безопасности между конкурентами — это антимонопольная проблема; он просит Вашингтон выступить посредником или узко разрешить такие разговоры. Он также хочет в перспективе соглашение с Пекином. Более тысячи человек в AI-лабораториях просили о механизме pacing в июле.
Многое из того, что он описывает, действует для general-purpose моделей с системным риском в ЕС с 2 августа 2025 года по правилам AI Act о системных рисках, и в его посте Европа не упомянута ни разу. Статья 55 требует документированного adversarial-тестирования по стандартизированным протоколам, оценки и снижения системного риска на уровне Союза, киберзащиты модели и её физической инфраструктуры, а также сообщения о серьёзных инцидентах в AI Office без неоправданной задержки. Брюссель этим летом эти правила не тронул: AI Omnibus, вступивший в силу 27 июля, сдвинул сроки для high-risk систем на срок до шестнадцати месяцев и не изменил обязательства для general-purpose моделей. Внешняя оценка уже идёт — по данным Комиссии, у ENISA есть и Mythos 5 от Anthropic, и Astra от OpenAI. Хенна Вирккунен, технический руководитель Комиссии, на этой неделе сказала, что право ЕС требует от компаний, включая Anthropic, оценивать риски потери контроля, и что в глобальном масштабе это не так.
Что это значит для компаний, которые покупают или строят на AI
Для бизнеса, выбирающего модели и поставщиков, практическое следствие в том, что заявления о безопасности всё чаще будут проверять не продавцы. Embedded evaluators с доступом на уровне внутренних сотрудников и правом публиковать превращают заверения лаборатории в проверяемые, и закупочные команды смогут запрашивать отчёт оценщика, а не резюме, написанное поставщиком. Для небольшой компании это мало меняет повседневную работу, но даёт более дешёвый способ сравнивать поставщиков: на одну и ту же внешнюю команду можно ссылаться в разных контрактах. Для крупной компании с собственной функцией рисков появляется новый контрагент для разговора и новый документ, который нужно запросить до запуска модели в продакшен.
Новость не означает, что общий ограничитель скорости существует. Ни один европейский инструмент не позволяет конкурентам договориться об общем speed limit, и ни один не охватывает Китай, поэтому у координации, о которой просит Амодеи, сегодня нет правового дома в Европе. Waiver, которого он хочет от Вашингтона, — это узкое разрешение на разговоры между конкурентами, а не правило, которое их связывает, и это запрос, а не решение. При выборе поставщика стоит спрашивать, кто проводил внешнюю оценку, какой доступ была у этой команды, может ли она публиковать результаты без согласования и о каких инцидентах и кому нужно сообщать. Обязательства ЕС касаются general-purpose моделей с системным риском, а не любого AI-продукта, которым пользуется компания, поэтому заявленное соответствие поставщика нужно проверять применительно к конкретной модели.
Маркер, за которым стоит следить, — будет ли выдан antitrust waiver и последует ли за ним соглашение с Пекином, потому что первый из трёх шагов Амодеи — добровольное обязательство — уже обязателен в одной юрисдикции, и в его посте об этом не сказано. Если Вашингтон разрешит такие разговоры и соглашение с Китаем будет достигнуто, координация станет рабочей дорогой для лабораторий; если waiver застрянет, режим статьи 55 в ЕС останется единственной обязательной версией того, что он описывает, и поставщики будут ссылаться на него, когда покупатели спросят, как проверяется безопасность.
