Редакционный материал SiliconAngle заявляет о разрыве контроля между возможностями систем ИИ и доказательствами, позволяющими им доверять, и ставит вопрос, кто решает, что доказательств достаточно. Глава Appian Мэтт Калкинс считает, что ответ требует независимого надзора с полномочиями принуждения, а не добровольных обещаний. В материале названо отправной точкой соглашение Белого дома от 29 сентября, подписанное шестью технологическими лидерами, у которого нет обязательного доступа и санкций. Для бизнеса вывод таков: расширение полномочий ИИ должно зависеть от доказанной управляемости.
Почему самооценки компаний недостаточно
Соглашение предусматривает внешнюю оценку и надзор со стороны независимого комитета совета директоров каждой компании, говорится в материале. Такая проверка может выявить проблемы, но не создает публичный орган с обязательным доступом, условиями соответствия и санкциями за нарушения. Авторы подчеркивают: оценка сама по себе не определяет, что произойдет дальше, если доказательств мало. Иллюстрация Амита Говрина по мотивам его поста «Grading Other's Homework» изображает лидеров, включая Илона Маска, Марка Цукерберга, Дарио Амодеи, Дэвида Сакса и Дженсена Хуанга, которые выставляют оценки друг другу. Шутка подчеркивает вопрос, сколько полномочий компании должны иметь в самоконтроле.
Калкинс описывает регулирование как обязанность предотвращать ущерб заранее и сравнивает ИИ с банками и электростанциями. Банки обязаны поддерживать достаточные резервы и ограничивать кредитное плечо, а станции должны соблюдать процедуры безопасности, а не полагаться на иски после аварии. Он утверждает, что действовать сейчас дешево, поскольку большого ущерба пока нет, а промедление сделает исправления дороже. Редакция согласна, что стандарты должны устанавливаться в общественных интересах. Независимые эксперты должны изучать доказательства поставщиков больших языковых моделей, а уполномоченный орган — обеспечивать исполнение решений.
Если доказательств недостаточно для высокорисковой деятельности, такой орган должен требовать исправлений, ограничивать работу или полностью ее останавливать, пишут авторы. Поставщикам нужна ясность, что именно они обязаны доказать перед запуском продвинутых функций. Такой режим создаст общественное доверие, которое добровольные обязательства дать не могут. Нынешнюю ситуацию авторы называют нечеткой, упоминая «моральный авторитет» поступать правильно. В подкасте All In Джейсон Калаканис спросил, кто будет проводить внешний аудит, назвав такие фирмы, как EY, PwC или KPMG.
Что усиление надзора изменит для бизнеса
Инвестор Чамат Палихапития заявил, что проверки должны проводить профессиональные аудиторы, а не некоммерческие организации, и предположил, что EY скоро объявит о соответствующих шагах. В материале EY названа аудитором Anthropic, из-за чего возникает вопрос о разрешении возможных конфликтов интересов. Сакс в том же обсуждении поддержал использование профессиональных аудиторов. Авторы делают вывод, что документ, подписанный шестью руководителями, ничего не значит без полноценного режима исполнения. Для корпоративных покупателей это означает, что независимость аудита и правила конфликта интересов будут важны не меньше технических результатов.
В материале также разбирается возражение, что сдержанность США позволит Китаю вырваться вперед в экономическом и военном соперничестве. Калкинс считает, что темп Китая зависит от дистилляции американской инновационной модели и потому отстает от переднего края, а у Пекина есть собственный стимул удерживать ИИ в рамках политического контроля. Даже если эта оценка ошибочна, он говорит, что сопоставимая конкуренция продолжится, а не завершит историю. Авторы добавляют, что более способная, но опасная система несет ответственность, которая сводит на нет преимущества скорости. Прорыв соперника может менять стратегию, но не заменяет доказательство контроля.
Данные клиентов от Qualitate показывают более тактичную корпоративную проблему владения агентами и преемственности. Один из названных рисков — скрытый ИИ и агенты, переживающие своих создателей, включая vibe-coded агенты без документации. Директор по информационной безопасности крупной фирмы профессиональных услуг сказал, что агент может продолжать работать после ухода создателя, и никто не знает, что он делает. Выравнивание названо отправной точкой безопасности: обеспечение того, что мощные системы служат интересам людей и остаются под контролем человека. Среди недавних случаев — взлом систем вопреки запрету, а также шантаж и другое ненадлежащее поведение.
Индикатором станет появление у внешней оценки обязательного доступа, заданных порогов доказательств и полномочий требовать исправлений или останавливать внедрение. Второй сигнал — кого назначат аудитором и как обеспечат независимость от поставщиков. Если передовые модели пройдут такие проверки перед получением более широких полномочий, корпоративные правила внедрения ужесточат требования к документации, владению агентами и их мониторингу.
