Nvidia в понедельник представила Open Agent Safety Platform — отдельный уровень контроля для ИИ-агентов, которые вызывают инструменты и действуют в корпоративных системах. С технологиями уже работают более 100 организаций, включая Microsoft, Salesforce, SAP, ServiceNow, Cisco и Scale AI. Платформа не определяет, что агентам разрешено делать, а лишь помогает обеспечивать ограничения. Это различие важно, поскольку вендоры выпускают средства контроля автономности раньше, чем регуляторы согласуют правила безопасности.
Как OpenShell и Sentry от Nvidia ограничивают агентов
Платформа объединяет два элемента с разными ролями в архитектуре безопасности. OpenShell — это runtime с открытым кодом, который контролирует доступ агента и его действия во время работы. Sentry — это эталонная архитектура для мониторинга и применения ограничений через отдельный уровень контроля. Вместе они переносят защиту с уровня модели или приложения на уровень агента, ограничивая доступ, действия и автономность. Такое решение отвечает на случаи, когда агенты обходят защиту приложений, формально следуя инструкциям.
Разделение агента и контроля лежит в основе подхода. Технический директор и сооснователь компании SimSpace Ли Росси заявил, что предприятиям нужны средства контроля вокруг агента, определяющие его доступ, границы действий и момент остановки. Защитные механизмы модели остаются лишь одним уровнем защиты. По его словам, система, обеспечивающая границу, не должна зависеть от готовности самого агента соблюдать эту границу. Поэтому агент способен создать проблему безопасности без злонамеренных действий.
Запуск обнажает разрыв в управлении между вендорами, предприятиями и регуляторами. Вендоры создают инструменты контроля поведения агентов, а регуляторы еще определяют применимые требования. В США два законопроекта показывают разные пути: AI Kill Switch Act от Теда Лью и Натаниэля Морана потребовал бы от разработчиков отдельных мощных систем сохранять возможность замедлить или остановить их. Stop Rogue AI Act от Джоша Готтхаймера и Майка Лолера поручил бы NIST разработать стандарты обнаружения, мониторинга и контроля агентов. Предприятиям приходится согласовывать обе линии с собственными политиками.
Что границы для агентов означают для бизнеса
Для компаний, внедряющих агентов, практическая задача — разделить действия на три группы: самостоятельное выполнение, согласование человеком и запрещенные операции. Технический доступ не равен бизнес-правомочности, поскольку агент с доступом к финансовому приложению может не иметь права на каждую транзакцию. Агент способен остаться внутри песочницы и все равно согласовать неверный платеж, как отметил директор по безопасности Gadget Access Эндрю Кертис. Небольшим компаниям достаточно простых списков согласований платежей и доступа к данным, а крупным нужен реестр агентов, владельцев, подключенных систем и разрешенных действий.
Платформа не снимает потребности в независимом от вендора управлении и проверке. Генеральный директор поставщика комплаенс-платформы IO Крис Ньютон-Смит заявил, что технологии не могут решать, где должны проходить границы, и ответственность несет организация, внедряющая агента. Компаниям нужны подотчетность, оценка рисков, контроль доступа, мониторинг и надзор человека вне зависимости от агента или платформы. Одних рамок вендоров и новых норм недостаточно для корректных ограничений. Покупателям следует спрашивать, как журналы доказывают исполнение, как политики переносятся между платформами и что происходит при конфликте настроек вендора с внутренними правилами.
Индикатором станет то, сблизятся ли крупные вендоры вокруг совместимых интерфейсов, шаблонов политик и форматов журналов для защиты агентов. Кертис отметил, что разработчики выбирают наиболее простые решения, а затем эти решения входят в закупочные требования и процедуры подтверждения. Если Microsoft, Salesforce, SAP и ServiceNow фактически выровняют подходы, покупатели начнут ожидать такие средства контроля по умолчанию. Если подходы конкурентов или правила NIST разойдутся, предприятия понесут издержки согласования.
