Google, Microsoft та OpenAI оголосили про плани підтримати спільний сигнал у robots.txt, за допомогою якого власники сайтів зможуть указати компаніям-учасницям свої налаштування щодо використання контенту для навчання ШІ. Зараз, згідно з оприлюдненими термінами, жодна з трьох компаній цей сигнал не підтримує.
Пропозиція міститься в індивідуальному інтернет-проєкті, який Кевін Келлі з Anthropic представив робочій групі AI Preferences при IETF. У системі IETF документ позначений як індивідуальний проєкт і не є офіційною роботою організації зі стандартизації. Келлі також повідомив у розсилці групи, що Anthropic почала розробляти підтримку цієї функції.
Як працює спільний сигнал
Проєкт не додає до robots.txt нової директиви. Натомість власники сайтів зможуть використовувати групу правил із токеном __usage_ai-training та звичайними інструкціями Allow і Disallow. Наприклад, можна буде заборонити використання для навчання контенту всього сайту, крім папки /press-kit/.
Згідно з проєктом словника робочої групи, навчання ШІ означає використання контенту для зміни навчених параметрів генеративної моделі. Моделі, що виконують виключно негенеративні завдання, такі як класифікація або ранжування, з цього визначення виключені.
Чинні правила robots.txt не вважатимуться автоматично спільним налаштуванням для навчання: група з підстановочним знаком User-Agent: * не відповідає новому токену. Відсутність групи __usage_ai-training означає, що налаштування не вказано. Сам токен також не керує скануванням сайту.
Раніше робоча група розглядала інший проєкт, серед співавторів якого був Гері Ілліш із Google. Він передбачав додавання правила Content-Usage до robots.txt. За словами Келлі, група відклала цей проєкт, щоб просунутися в роботі над словником.
Google пов’яже сигнал із Google-Extended
Google планує підтримати спільний сигнал у 2027 році, а в документації для сканерів зазначено вужчий термін — початок 2027 року. Якщо сайт заборонить навчання за допомогою нового сигналу, але не вкаже правило для Google-Extended, компанія має намір трактувати це як заборону Google-Extended.
За документацією Google, Google-Extended керує використанням контенту для навчання майбутніх моделей Gemini та для grounding у Gemini Apps і Vertex AI. Під grounding компанія розуміє надання моделі вмісту з пошукового індексу під час формування відповіді. У публікації Google також ідеться, що сайти, які явно дозволяють Google-Extended, можуть з’являтися у відповідях Gemini Apps через grounding.
Google-Extended не впливає на включення сайту до Google Search. Для AI Overviews та AI Mode існує окремий засіб керування використанням у генеративному ШІ пошуку в Search Console.
Microsoft розділить навчання та grounding
Microsoft має намір підтримати спільний сигнал для навчання та додати окреме налаштування AI Grounding на рівні сторінки. Налаштування для навчання також можна буде задати через метатег або HTTP-заголовок; для конкретної сторінки воно матиме пріоритет над robots.txt.
Для grounding значення Allow діє за замовчуванням, а Disallow виключає сторінку з такого використання. Новий варіант DisallowExtended дозволяє grounding в інструментах Microsoft, зокрема Copilot та AI Mode у Bing, але забороняє його через сервіси grounding, які Microsoft надає іншим компаніям, — Web IQ. За словами Microsoft, обидва обмеження можуть знизити видимість бренду у відповідях ШІ, але не вплинуть на можливість появи сайту в результатах пошуку Bing.
Компанія замінює цими налаштуваннями використання тегів NoArchive та NoCache для керування навчанням і grounding. Microsoft почне враховувати нові налаштування під час сканування з 1 лютого 2027 року, а після 1 березня 2027 року перестане розпізнавати старі теги як налаштування навчання або grounding.
Сайтам, які використовують старі теги та хочуть і надалі виключати контент із grounding, також потрібно вказати тимчасове налаштування в Bing Webmaster Tools. Налаштування відкриється 15 грудня і буде доступне лише сайтам, які все ще використовують ці теги на той момент. Згідно з FAQ Microsoft, для сторінок без такого налаштування до 1 березня grounding буде дозволений до повторного сканування. Крім того, виявивши на сайті будь-яке з двох нових налаштувань, Microsoft перестане враховувати теги NoArchive та NoCache, що залишилися на ньому.
Плани OpenAI та Anthropic
OpenAI розраховує почати враховувати сигнал у найближчі кілька місяців, зберігши при цьому чинну політику robots.txt. Ні публікація компанії, ні документація для сканерів, перевірена 30 жовтня, не уточнюють, що станеться в разі суперечності між спільним правилом і правилом для GPTBot.
Станом на 30 жовтня Anthropic не публікувала повідомлення про цей сигнал у своєму розділі новин. Келлі написав у розсилці, що впровадження підтримки в усіх сервісах компанії займе певний час. На перевіреній 30 жовтня сторінці довідки Anthropic про сканери перелічено три варіанти керування скануванням: ClaudeBot, Claude-User та Claude-SearchBot.
Що це змінює для власників сайтів
Після впровадження одна група правил у robots.txt зможе замінити окремі правила для навчання в компаній-учасниць. Однак сфера дії заборони відрізняється: Microsoft розділяє навчання та grounding, тоді як Google пов’язує обидва види використання з Google-Extended. Документація Google не описує способу заборонити навчання Gemini, зберігши можливість grounding у Gemini Apps.
Із цих оголошень лише повідомлення Microsoft передбачає заміну вже використовуваних налаштувань. За повідомленнями Google та OpenAI, а також за словами Келлі з Anthropic, чинні засоби керування продовжать працювати.
OpenAI закликала інших постачальників ШІ підтримати сигнал, а Келлі висловив надію, що вони приєднаються. Google та OpenAI обіцяють повідомити подробиці в міру впровадження. Термін дії проєкту Келлі спливає 3 травня 2027 року, якщо його не замінить нова версія; він планує запропонувати своє рішення як зміну до проєкту Content-Usage.
Коментарів поки немає. Почніть обговорення.