Google, Microsoft и OpenAI объявили о планах поддержать общий сигнал в robots.txt, с помощью которого владельцы сайтов смогут указать участвующим компаниям свои предпочтения относительно использования контента для обучения ИИ. Сейчас, согласно опубликованным срокам, ни одна из трёх компаний этот сигнал не поддерживает.
Предложение содержится в индивидуальном интернет-проекте, который Кевин Келли из Anthropic представил рабочей группе AI Preferences при IETF. В системе IETF документ отмечен как индивидуальный проект и не представляет собой официальную работу организации по стандартизации. Келли также сообщил в рассылке группы, что Anthropic начала разработку поддержки этой функции.
Как работает общий сигнал
Проект не добавляет в robots.txt новую директиву. Вместо этого владельцы сайтов смогут использовать группу правил с токеном __usage_ai-training и обычными инструкциями Allow и Disallow. Например, можно будет запретить использование для обучения контента всего сайта, кроме папки /press-kit/.
Согласно проекту словаря рабочей группы, обучение ИИ означает использование контента для изменения обученных параметров генеративной модели. Модели, выполняющие исключительно негенеративные задачи, такие как классификация или ранжирование, из этого определения исключены.
Действующие правила robots.txt не будут автоматически считаться общим предпочтением для обучения: группа с подстановочным знаком User-Agent: * не соответствует новому токену. Отсутствие группы __usage_ai-training означает, что предпочтение не указано. Сам токен также не управляет сканированием сайта.
Ранее рабочая группа рассматривала другой проект, среди соавторов которого был Гэри Иллиш из Google. Он предусматривал добавление правила Content-Usage в robots.txt. По словам Келли, группа отложила этот проект, чтобы продвинуться в работе над словарём.
Google свяжет сигнал с Google-Extended
Google планирует поддержать общий сигнал в 2027 году, а в документации для сканеров указан более узкий срок — начало 2027 года. Если сайт запретит обучение с помощью нового сигнала, но не укажет правило для Google-Extended, компания намерена трактовать это как запрет Google-Extended.
По документации Google, Google-Extended управляет использованием контента для обучения будущих моделей Gemini и для grounding в Gemini Apps и Vertex AI. Под grounding компания понимает предоставление модели содержимого из поискового индекса при формировании ответа. В публикации Google также говорится, что сайты, явно разрешающие Google-Extended, могут появляться в ответах Gemini Apps через grounding.
Google-Extended не влияет на включение сайта в Google Search. Для AI Overviews и AI Mode существует отдельный контроль использования в генеративном ИИ поиска в Search Console.
Microsoft разделит обучение и grounding
Microsoft намерена поддержать общий сигнал для обучения и добавить отдельную настройку AI Grounding на уровне страницы. Предпочтение для обучения также можно будет задать через метатег или HTTP-заголовок; для конкретной страницы оно будет иметь приоритет над robots.txt.
Для grounding значение Allow действует по умолчанию, а Disallow исключает страницу из такого использования. Новый вариант DisallowExtended разрешает grounding в инструментах Microsoft, включая Copilot и AI Mode в Bing, но запрещает его через предоставляемые Microsoft сервисы grounding для других компаний — Web IQ. По словам Microsoft, оба ограничения могут снизить видимость бренда в ответах ИИ, но не повлияют на возможность появления сайта в результатах поиска Bing.
Компания заменяет этими настройками использование тегов NoArchive и NoCache для управления обучением и grounding. Microsoft начнёт учитывать новые настройки при сканировании с 1 февраля 2027 года, а после 1 марта 2027 года перестанет распознавать старые теги как настройки обучения или grounding.
Сайтам, которые используют старые теги и хотят по-прежнему исключать контент из grounding, также нужно указать временное предпочтение в Bing Webmaster Tools. Настройка откроется 15 декабря и будет доступна только сайтам, которые всё ещё используют эти теги на тот момент. Согласно FAQ Microsoft, для страниц без такого предпочтения к 1 марта grounding будет разрешён до повторного сканирования. Кроме того, обнаружив на сайте любую из двух новых настроек, Microsoft перестанет учитывать оставшиеся на нём теги NoArchive и NoCache.
Планы OpenAI и Anthropic
OpenAI рассчитывает начать учитывать сигнал в ближайшие несколько месяцев, сохранив при этом действующую политику robots.txt. Ни публикация компании, ни документация для сканеров, проверенная 30 октября, не уточняют, что произойдёт при противоречии между общим правилом и правилом для GPTBot.
По состоянию на 30 октября Anthropic не публиковала сообщение об этом сигнале в своём разделе новостей. Келли написал в рассылке, что внедрение поддержки во всех сервисах компании займёт некоторое время. На проверенной 30 октября странице справки Anthropic о сканерах перечислены три варианта управления сканированием: ClaudeBot, Claude-User и Claude-SearchBot.
Что это меняет для владельцев сайтов
После внедрения одна группа правил в robots.txt сможет заменить отдельные правила для обучения у участвующих компаний. Однако объём действия запрета различается: Microsoft разделяет обучение и grounding, тогда как Google связывает оба вида использования с Google-Extended. Документация Google не описывает способ запретить обучение Gemini, сохранив возможность grounding в Gemini Apps.
Из объявлений только Microsoft предусматривает замену уже используемых настроек. По сообщениям Google и OpenAI, а также по словам Келли из Anthropic, действующие средства управления продолжат работать.
OpenAI призвала других поставщиков ИИ поддержать сигнал, а Келли выразил надежду, что они присоединятся. Google и OpenAI обещают сообщить подробности по мере внедрения. Проект Келли истекает 3 мая 2027 года, если его не заменит новая версия; он планирует предложить своё решение как изменение проекта Content-Usage.
Комментариев пока нет. Начните обсуждение.