Google, Microsoft, OpenAI и Anthropic будут учитывать единый отказ от обучения ИИ в robots. txt, который заменяет отдельные правила для каждого краулера. Сигнал описан в черновике IETF, который опубликовал в пятницу Кевин Келли из Anthropic, а остальные три компании объявили о поддержке в тот же день. Для бизнеса это важно, поскольку политика в отношении генеративного ИИ сводится к одной настройке вместо разрозненных механизмов.
Как работает общий сигнал против обучения
Сайт добавляет в файл robots. txt группу для нового токена политики __usage_ai-training и перечисляет разделы, запрещенные для обучения. Этот файл уже указывает краулерам, какие страницы можно загружать, а пример из черновика закрывает весь сайт, кроме пресс-кита. Отсутствие такой группы означает отсутствие предпочтений, а действующие правила для всех краулеров не засчитываются как отказ от обучения. Частные соглашения между сайтом и ИИ-компанией могут иметь приоритет над токеном.
В черновике токен описан как заявленное предпочтение по использованию контента, а не приказ о запрете обхода. Anthropic сообщила, что механизм дополнит действующие средства управления краулерами, а не заменит их, а OpenAI сохранит действие таких средств, как GPTBot. Google будет считать использование токена без упоминания Google-Extended запретом для Google-Extended, собственного средства контроля обучения. Microsoft начнет учитывать новые предпочтения с 1 февраля 2027 года, заменив теги NoArchive и NoCache, которые используются с 2023 года.
Предложение пока остается индивидуальной заявкой в IETF без формального статуса, причем трекер IETF указывает на отсутствие одобрения. Келли отметил, что внедрение в сервисах займет время из-за неизбежных сложностей и граничных случаев. OpenAI планирует внедрить сигнал в ближайшие месяцы, а документация Google для краулеров указывает на начало 2027 года. Глава по коммуникациям Meta Энди Стоун поддержал общий сигнал в X, но не сказал, будет ли его соблюдать Meta, сообщает The Verge.
Что это меняет для бизнеса, использующего ИИ
Для компаний, публикующих документацию, медиа, данные о продуктах или базы знаний, единый токен снижает затраты на управление разрешениями для разных поставщиков. Небольшие компании выигрывают, поскольку им больше не нужно отслеживать названия и синтаксис каждого краулера для выражения отказа. Крупные издатели получают единообразие для многих доменов, сохраняя при этом отдельные лицензионные соглашения, имеющие приоритет над общим сигналом. Обратная сторона — операционная точность: правила нужно задавать по разделам, поскольку пример показывает точечное исключение, например открытый пресс-кит.
Вопросы видимости и оплаты требуют отдельных решений. Microsoft заявила, что новые предпочтения не устанавливают лицензионные или платежные отношения, а блокировка grounding заметно снизит видимость в ответах ИИ, не меняя позиций в поиске Bing. Microsoft добавляет настройку grounding на уровне страницы, которая может разрешить собственные продукты, такие как Copilot, одновременно блокируя сервисы grounding для сторонних компаний. Сайты, разрешающие Google-Extended, могут появляться в ответах приложения Gemini и получать переходы, сообщил евангелист поиска Google Джон Мюллер.
Ориентиром станет 1 февраля 2027 года, когда Microsoft начнет учитывать предпочтения, а Google приблизится к поддержке в начале 2027 года. Если крупные издатели внедрят токен, а краулеры на практике будут соблюдать исключения для отдельных разделов, механизм станет стандартной частью дистрибуции контента. Признаком неудачи станет неравномерное соблюдение правил краулерами или сохранение зависимости от фирменных средств контроля и платных инструментов блокировки, подобных подходу, описанному Cloudflare.
