20 марта 2026 года Google добавила Google-Agent в официальный список инструментов для получения веб-страниц. Этот идентификатор используют ИИ-системы на инфраструктуре Google, которые посещают сайты по запросу пользователей. Первым продуктом с новым user-agent стал экспериментальный инструмент Project Mariner.
Для владельцев сайтов различие между агентом и поисковым роботом имеет практическое значение. Googlebot регулярно обходит страницы для поисковой индексации, а Google-Agent, согласно описанию, появляется, когда пользователь поручает системе задачу: например, изучить товар, сравнить предложения или заполнить форму.
Почему robots.txt может не остановить агента
Google относит Google-Agent к инструментам, которые получают страницы по инициативе пользователя. В эту категорию также входят Google Read Aloud, NotebookLM и Feedfetcher. По позиции компании, такие инструменты обычно игнорируют правила robots.txt, поскольку запрос инициирован человеком.
Логика похожа на открытие адреса в браузере: посетитель запрашивает страницу, а инструмент действует от его имени. При этом, как отмечает автор исходного материала, пользовательские агенты ChatGPT-User и Claude-User выполняют похожую функцию, но учитывают директивы robots.txt. Google выбрала иной подход.
Robots.txt не следует считать универсальным механизмом ограничения доступа. Если информацию действительно нужно закрыть от посетителей, в том числе от агентов, для этого нужны серверная аутентификация или другие средства контроля доступа.
Цифровая идентификация через Web Bot Auth
Google также указала, что Google-Agent экспериментирует с протоколом Web Bot Auth и идентификатором https://agent.bot.goog. Web Bot Auth — проект стандарта IETF, предназначенный для криптографической проверки идентичности ботов.
Принцип работы предполагает, что агент использует закрытый ключ для подписи HTTP-запросов, а сайт проверяет подпись с помощью опубликованного открытого ключа. В отличие от обычной строки user-agent, которую можно подделать, криптографическая подпись позволяет проверять заявленную идентичность отправителя.
По данным исходного материала, протокол уже поддерживают Akamai, Cloudflare и Amazon в AgentCore Browser. Для сайтов такая проверка может стать дополнительным способом отличать легитимных агентов от тех, кто лишь выдает себя за них. При этом использование протокола Google-Agent описано как экспериментальное.
Что владельцам сайтов проверять на практике
В исходном материале предлагается различать три группы посетителей: людей, которые открывают сайты напрямую; роботов, собирающих контент для поиска или обучения; и агентов, выполняющих конкретные задачи по поручению пользователей. Их цели различаются: агенту может понадобиться не только прочитать страницу, но и пройти форму или записаться на прием.
Журналы сервера. Строка user-agent Google-Agent содержит «compatible; Google-Agent», а Google публикует диапазоны IP-адресов для проверки. Анализ журналов поможет увидеть частоту посещений, запрашиваемые страницы и действия агентов.
Правила CDN и межсетевого экрана. Средства защиты могут блокировать трафик, который не похож на обычный браузерный. Стоит проверить, не отклоняются ли запросы Google-Agent до обращения к серверу, и учесть опубликованные Google диапазоны IP-адресов при настройке правил.
Формы и многошаговые сценарии. Агент может переходить между страницами и отправлять формы, но нестандартные JavaScript-сценарии способны помешать выполнению задачи. Семантическая HTML-разметка и понятные подписи полей остаются основой доступных интерфейсов.
Закрытые материалы. Для контента, доступ к которому необходимо ограничить, следует применять аутентификацию и серверные правила, а не полагаться только на robots.txt.
Новый тип посетителя
По состоянию на публикацию исходного материала в мае 2026 года Google-Agent уже был описан в документации Google, имел строку user-agent и опубликованные диапазоны IP-адресов, а также экспериментировал с криптографической идентификацией. Это дает владельцам сайтов дополнительные способы распознавать обращения агентов и оценивать, как их интерфейсы работают для таких посетителей.
Исходный материал впервые опубликован на No Hacks.
Комментариев пока нет. Начните обсуждение.