Google, Microsoft, Anthropic и OpenAI планируют поддержать новый стандарт сканирования сайтов, который позволит запретить сбор данных для обучения генеративного ИИ одной записью в robots. txt. Компании уже передали черновик предложения в Internet Engineering Task Force, которая поддерживает Robots Exclusion Protocol. OpenAI и Microsoft рассчитывают добавить поддержку в ближайшие месяцы, а Google последует их примеру в следующем году. Для бизнеса, который публикует контент, это важно, поскольку управление запретами может стать заметно проще.
Единая запись для блокировки AI-краулеров
Сейчас издатель, который хочет запретить сбор данных для обучения ИИ, должен добавить в robots. txt отдельную запись для каждого провайдера. Если один провайдер использует несколько сканеров, каждому сканеру нужна собственная запись, поэтому поддержка файла становится трудоемкой и уязвимой к ошибкам. Предложенный стандарт заменяет этот набор правил одной инструкцией для всех сканеров, собирающих данные для генеративных моделей. Область действия определена узко и не затронет модели, которые выполняют исключительно негенеративные задачи. Такое разделение отделяет обучение генерации контента от других видов машинного обучения.
Механизм опирается на действующий Robots Exclusion Protocol, стандартированный формат файлов robots. txt. Владельцы сайтов уже используют эти файлы, чтобы указать краулерам доступные страницы и ограничить частоту посещений. Изначально такой формат служил для управления поисковыми системами, а затем стал регулировать сбор обучающих данных для ИИ. Согласно предложению, новый запрет на AI-сканирование войдет в тот же протокол, а не создаст параллельную систему. Статус черновика означает, что технические детали еще могут измениться до утверждения формата в Internet Engineering Task Force.
Появление инициативы связано с запросами издателей и быстрым ростом сбора обучающих данных наряду с поисковым сканированием. Файл robots. txt создавался для сравнительно простых правил доступа, а не для десятков AI-краулеров с разными владельцами и целями. Microsoft отдельно описала настройку AI Grounding для случаев, когда модель открывает страницу, чтобы ответить на вопрос пользователя, а не собрать обучающие данные. Владельцы сайтов смогут запретить сервисам Microsoft отправлять такие запросы. По данным компании, контроль также охватит сторонние AI-инструменты, которые обрабатывают запросы на технологиях Microsoft.
Что упрощенный запрет значит для бизнеса
Для компаний с медиасайтами, порталами документации, маркетплейсами и корпоративными блогами единая блокирующая запись снижает затраты на контроль повторного использования контента. Юридическим отделам и маркетинговым командам не придется отслеживать названия новых краулеров и обновлять файлы для каждого провайдера. Небольшие издатели без выделенной веб-поддержки выиграют сильнее всего, поскольку одну строку проще внедрить и проверить, чем длинный список. Крупные организации с множеством доменов ускорят внедрение правил и уменьшат расхождения между ресурсами. Практический эффект проявится в процессах управления контентом и стандартных проверках при запуске сайтов.
Предложение также создает новые решения вокруг видимости, ответов со ссылкой на источник и лицензирования. Различие, введенное через AI Grounding от Microsoft, показывает, что блокировка обучения отличается от блокировки обращений в реальном времени для ответа пользователю. OpenAI готовит похожие элементы управления, поэтому у издателей, вероятно, появятся отдельные переключатели для обучения и для ответов на запросы. Meta поддержала идею, но пока не обязалась внедрять технологию, поэтому сначала покрытие останется неполным. Компаниям следует проверять, какие краулеры соблюдают новую запись, и сохранять действующие правила для отдельных провайдеров до подтверждения поддержки.
Ориентиром станет формальное включение правила в Robots Exclusion Protocol и его активация OpenAI и Microsoft в ближайшие месяцы, а затем Google в следующем году. Если крупные краулеры будут стабильно соблюдать единую запись, издательские политики и переговоры о лицензировании контента начнут опираться на нее по умолчанию. Неравномерное внедрение или широкие исключения для негенеративных задач сохранят нынешнюю фрагментированную практику. Ближайшие объявления о внедрении покажут, какой сценарий складывается.
