20 березня 2026 року Google додала Google-Agent до офіційного списку інструментів для отримання вебсторінок. Цей ідентифікатор використовують ШІ-системи на інфраструктурі Google, які відвідують сайти на запит користувачів. Першим продуктом із новим user-agent став експериментальний інструмент Project Mariner.
Для власників сайтів відмінність між агентом і пошуковим роботом має практичне значення. Googlebot регулярно обходить сторінки для пошукової індексації, а Google-Agent, згідно з описом, з’являється, коли користувач доручає системі завдання: наприклад, вивчити товар, порівняти пропозиції або заповнити форму.
Чому robots.txt може не зупинити агента
Google зараховує Google-Agent до інструментів, які отримують сторінки за ініціативою користувача. До цієї категорії також входять Google Read Aloud, NotebookLM і Feedfetcher. За позицією компанії, такі інструменти зазвичай ігнорують правила robots.txt, оскільки запит ініційований людиною.
Логіка схожа на відкриття адреси в браузері: відвідувач запитує сторінку, а інструмент діє від його імені. Водночас, як зазначає автор вихідного матеріалу, користувацькі агенти ChatGPT-User і Claude-User виконують схожу функцію, але враховують директиви robots.txt. Google обрала інший підхід.
Robots.txt не слід вважати універсальним механізмом обмеження доступу. Якщо інформацію справді потрібно закрити від відвідувачів, зокрема від агентів, для цього потрібні серверна автентифікація або інші засоби контролю доступу.
Цифрова ідентифікація через Web Bot Auth
Google також вказала, що Google-Agent експериментує з протоколом Web Bot Auth та ідентифікатором https://agent.bot.goog. Web Bot Auth — проєкт стандарту IETF, призначений для криптографічної перевірки ідентичності ботів.
Принцип роботи передбачає, що агент використовує закритий ключ для підпису HTTP-запитів, а сайт перевіряє підпис за допомогою опублікованого відкритого ключа. На відміну від звичайного рядка user-agent, який можна підробити, криптографічний підпис дає змогу перевіряти заявлену ідентичність відправника.
За даними вихідного матеріалу, протокол уже підтримують Akamai, Cloudflare та Amazon в AgentCore Browser. Для сайтів така перевірка може стати додатковим способом відрізняти легітимних агентів від тих, хто лише видає себе за них. При цьому використання протоколу Google-Agent описано як експериментальне.
Що власникам сайтів перевіряти на практиці
У вихідному матеріалі пропонується розрізняти три групи відвідувачів: людей, які відкривають сайти безпосередньо; роботів, що збирають контент для пошуку або навчання; та агентів, які виконують конкретні завдання за дорученням користувачів. Їхні цілі різняться: агенту може знадобитися не лише прочитати сторінку, а й заповнити форму чи записатися на прийом.
Журнали сервера. Рядок user-agent Google-Agent містить «compatible; Google-Agent», а Google публікує діапазони IP-адрес для перевірки. Аналіз журналів допоможе побачити частоту відвідувань, запитувані сторінки та дії агентів.
Правила CDN і міжмережевого екрана. Засоби захисту можуть блокувати трафік, який не схожий на звичайний браузерний. Варто перевірити, чи не відхиляються запити Google-Agent до звернення до сервера, та врахувати опубліковані Google діапазони IP-адрес під час налаштування правил.
Форми та багатокрокові сценарії. Агент може переходити між сторінками й надсилати форми, але нестандартні JavaScript-сценарії здатні завадити виконанню завдання. Семантична HTML-розмітка та зрозумілі підписи полів залишаються основою доступних інтерфейсів.
Закриті матеріали. Для контенту, доступ до якого необхідно обмежити, слід застосовувати автентифікацію та серверні правила, а не покладатися лише на robots.txt.
Новий тип відвідувача
Станом на публікацію вихідного матеріалу в травні 2026 року Google-Agent уже був описаний у документації Google, мав рядок user-agent та опубліковані діапазони IP-адрес, а також експериментував із криптографічною ідентифікацією. Це дає власникам сайтів додаткові способи розпізнавати звернення агентів і оцінювати, як їхні інтерфейси працюють для таких відвідувачів.
Вихідний матеріал уперше опубліковано на No Hacks.
Коментарів поки немає. Почніть обговорення.