Уход исследователя из ведущей лаборатории AI запустил сдвиг в том, как отрасль обсуждает экзистенциальный риск. Jacob Coxon покинул свой пост, и его публичное предупреждение стало триггером для более широкой дискуссии: согласно опросу Politico, на который ссылается Andrew Curran, почти две трети американцев теперь говорят, что существует как минимум умеренный риск того, что AI уничтожит человечество. Эта цифра важна потому, что выводит вопрос безопасности из круга специалистов в мейнстрим, где решаются бюджеты и регулирование.
Что стоит за эффектом Coxon
Объяснение Mike Solana, почему публикация получила распространение, сводится к тому, что у достаточного числа американцев наконец появился контекст по AI, чтобы это волновало, а достаточно крупных аккаунтов были готовы быстро усилить сообщение. Andrew Curran оценивает среднюю вероятность уничтожения человечества AI, вытекающую из нового опроса, примерно в 30%-33%, что примерно на 15% выше предыдущих результатов, при медианном ожидании порядка 10% и лишь небольшом расхождении между политическими лагерями. Опрос AI Impacts, самый продолжительный крупный опрос исследователей AI, дает среднюю оценку вымирания или столь же постоянного и серьезного лишения прав около 18% — почти один из пяти. Азиатские исследователи называли риски выше, чем западные, вопреки распространенным ожиданиям.
Раскол виден и среди топ-менеджеров. На закрытой встрече нескольких десятков руководителей крупнейших компаний США в Вашингтоне на этой неделе быстрый опрос на мероприятии Yale School of Management показал, что 93% участников назвали президента неправым, когда тот объявил потенциальные катастрофические опасности технологии мистификацией. Elon Musk говорил, что существует сильный консенсус о необходимости некоторого регулирования AI, сравнивая возможное отдельное агентство с FAA или FCC, и что последствия ошибок AI серьезны. Matthew Yglesias формулирует ту же мысль иначе: называть всех, кто выступает за политику и техническую работу в области безопасности, «думерами», — это пропагандистская кампания, а починка небольшой протечки в доме не является пророчеством гибели.
Что это значит для бизнеса
Для компаний, внедряющих AI, практическое следствие в том, что вопросы безопасности становятся частью проверки поставщиков, а не философским отступлением. Yglesias утверждает, что все компании недоинвестируют в безопасность, включая как приземленную безопасность, так и экзистенциальную безопасность и работу над масштабируемым alignment, даже относительно их собственных узких коммерческих интересов, и что недавние заявления Sam Altman показывают, что он это понимает. Небольшая компания почувствует это в основном через анкеты при закупках и требования к оценке моделей; крупная — через отчетность о рисках на уровне совета директоров и необходимость документировать сторонний надзор.
Предложения, которые сейчас на столе, резко различаются по стоимости. Yglesias выстраивает порядок действий: мягкие правила по прозрачности и оценке моделей, в обмен — жесткий и применяемый экспортный контроль, затем умеренные правила с большим эффектом и более высокой ценой, использование этой позиции для переговоров с Китаем и, наконец, амбициозная рамочная система на завершающем этапе. Steven Adler в The New York Times призывает к раскрытию инцидентов и стороннему надзору. Отдельный класс предложений — остановить исследования или установить kill switch — куда более радикален, и Witt поддерживает первое из них.
Эта новость не означает, что регулирование неизбежно или что все лаборатории изменили курс. Каскад описывается как недостаточный сам по себе: Dan Selsam предупреждает, что лежащие в основе проблемы все еще нужно решать, а следующий шаг — продолжать каскад внутри лабораторий, в медиа и в политике. Оппозиция организована: Nvidia и a16z названы политическими противниками, а в New York Post появились заказные материалы против METR. Конференция AGI. WTF запланирована в Lighthaven на 22-23 сентября.
Следить стоит за тем, удержится ли сдвиг в опросах в следующем раунде исследований и подкрепят ли его правила раскрытия информации, а не только заявления. Если отчетность об инцидентах и сторонний надзор появятся в закупочных требованиях, каскад дошел до операционной практики; если цифры угаснут после новостного цикла — нет.
