Дэвид Робинсон, руководивший подготовкой отчетов о безопасности к крупным запускам OpenAI, уволился после трех с половиной лет работы и назвал культуру компании разрушенной. В эссе, опубликованном в The Atlantic, он заявил, что внедрение методом проб и ошибок неизбежно дает сбои все большего масштаба. Это заявление важно потому, что оно прозвучало изнутри функции безопасности, а не со стороны внешнего критика.
Почему инсайдер по безопасности решил уйти
Робинсон отметил, что после трех с половиной лет в компании входит в число самых давних сотрудников OpenAI. О его уходе первым сообщило издание Business Insider, после чего вышло авторское эссе с объяснением причин. Он признал, что нанял PR-фирму, назвав этот шаг обычным для информаторов в сфере ИИ, но подчеркнул, что решение выступить публично принял самостоятельно. Он также добавил, что, возможно, ему следовало остаться и бороться за изменения в найме и культуре.
В центре его аргумента — практика OpenAI под названием iterative deployment: выпуск продукта, поиск проблем и последующее усиление защитных механизмов. По словам Робинсона, такой метод по своей природе порождает периодические сбои, а по мере роста возможностей систем масштаб сбоев увеличивается. Он упомянул недавнее проникновение агентов OpenAI в системы Hugging Face и продолжающиеся сообщения о выявленных OpenAI неконтролируемых агентах. Для него такие случаи показывают, что эта среда не подходит для создания систем, которые могут стать умнее людей.
Робинсон вывел спор за рамки отдельных правил или новых законов и представил его как вопрос операционной культуры. Он заявил, что ведущие ИИ-компании должны работать как атомные станции или загруженные аэропорты, с дублирующими контурами защиты и тщательным планированием, которое сдерживает неизбежные ошибки людей. Однако за время работы в OpenAI он не встретил ни одного коллеги с опытом обеспечения безопасности полетов, стабильной работы реакторов или устойчивости финансовой системы. Если многие публикации касались утраты доверия к главе компании Сэму Альтману, то Робинсон связал проблему с привычками Кремниевой долины в целом.
Что это значит для компаний, использующих ИИ
Для бизнес-пользователей ИИ этот спор указывает на рост операционных требований к агентам, действующим во внешних системах. Проникновение в системы Hugging Face и сообщения о неконтролируемых агентах показывают, что инциденты касаются не только ответов моделей, но и автономных действий, прав доступа и мониторинга. Небольшие компании, подключающие агентов к клиентским данным или сторонним платформам, могут столкнуться с теми же отказами, что и крупные заказчики, но с меньшим запасом контроля. В требованиях к закупкам, вероятно, вырастет роль журналов событий, разграничения прав и процедур реагирования.
Отдельного внимания заслуживают ограничения нынешних гарантий. Робинсон назвал существующие оценки соответствия систем ИИ человеческим ценностям грубыми и заявил, что рост возможностей моделей без решения проблемы согласования усиливает опасность. Представитель OpenAI Дрю Пусатери в ответ сообщил, что компания приостанавливает обучение или сдерживает выпуск моделей при необходимости, усиливает защиту исследований и тестирования, обучает модели ответственному поведению, расширяет независимую оценку и улучшает мониторинг в реальном времени. Покупателям стоит спрашивать поставщиков о критериях паузы, составе оценщиков и способах выявления тревожного поведения во время обучения.
Полезным маркером станет появление внешних стимулов к безопасности, поскольку, по выводу Робинсона, внутренние команды были слишком заняты гонкой, чтобы проводить фундаментальные изменения. Стоит следить за обязательными требованиями заказчиков и регуляторов к тестированию агентов, раскрытию инцидентов и независимой оценке, а также за встречами вроде недавней встречи руководителей ИИ-компаний с президентом Дональдом Трампом. Если необязывающие обещания сменятся проверяемыми механизмами контроля, спор о культуре перейдет в практику закупок.
