Плата за обход сайта ИИ-ботами может принести владельцу доход, но одновременно влияет на то, какие системы смогут использовать его материалы в ответах. Решение зависит не только от ценности контента: важно и то, нужна ли сайту аудитория, которую приводят ИИ-сервисы.
Основой новых механизмов стал HTTP 402 Payment Required — статус, предусмотренный протоколом в 1997 году. Cloudflare запустила свой эксперимент с оплатой обхода в июле 2025 года, а 15 июня 2026 года аналогичная возможность появилась в брандмауэре AWS. Оба решения позволяют устанавливать условия доступа на сетевом уровне.
Зачем вводить плату за обход
Традиционная модель поискового обхода предполагала обмен: сайт разрешает индексировать страницы и получает переходы из поиска. ИИ-боты могут собирать материалы для обучения моделей или подготовки ответов, не обязательно направляя посетителей к источнику. По данным Cloudflare, на обучение приходится почти 80% активности ИИ-ботов, а запросы для поиска, способные привести к цитированию, составляют небольшую часть оставшейся активности.
Плата за запрос предлагает владельцам альтернативу полному разрешению или блокировке: доступ можно предоставлять на определённых условиях. При этом выгода от контроля приходится на одну чашу весов, а возможная потеря видимости — на другую.
Как работают решения Cloudflare и AWS
Cloudflare запустила Pay Per Crawl 1 июля 2025 года. Издатель устанавливает единую цену за запрос для домена. Если бот передаёт в заголовках намерение заплатить, он получает контент с ответом HTTP 200; в противном случае сервер возвращает HTTP 402 с указанием цены. Cloudflare выступает продавцом для целей расчётов и обеспечивает проведение платежей. На момент запуска сервис был закрытой бета-версией, которую компания называла первым экспериментом.
В AWS WAF, согласно объявлению от 15 июня 2026 года, при запросе защищённой статьи, потока данных или лицензионного архива можно вернуть HTTP 402 с машиночитаемыми сведениями о цене и платеже по протоколу x402. Расчёты проходят в стейблкоинах через платёжного посредника Coinbase. Настройки находятся в WAF Bot Control и позволяют задавать цену для отдельных путей и типов ботов без изменения кода сайта.
Есть и другие подходы. TollBit предлагает платный доступ ботов и агентов с тарификацией по использованию. Akamai в сентябре 2025 года объявила об интеграции TollBit и Skyfire, позволяющей её клиентам применять подобные ограничения на сетевом уровне. Открытый стандарт x402 от Coinbase также использует HTTP 402 и предполагает расчёты в стейблкоинах без учётной записи платящего агента.
Почему оплата и разрешение на доступ сближаются
В новых решениях проверка доступа и тарификация оказываются в одной точке — на уровне CDN или брандмауэра. Правило, которое решает, пропустить ли запрос, может одновременно определять его стоимость. Это превращает доступ автоматизированного посетителя из настройки по умолчанию в отдельное коммерческое решение.
Вопрос о том, считать ли агента авторизованным посетителем, возникает и в правовых спорах, в том числе в деле Amazon против Perplexity. Техническая возможность установить плату сама по себе не разрешает этот спор, но делает условия доступа предметом конкретной настройки.
Кому плата может быть выгодна
У издателя с ценным архивом, справочной базой или собственным набором данных может быть основание взимать плату, если содержимое интересно покупателям, а распространение материалов не зависит от доступа конкретного бота. В таком случае ограничение доступа становится инструментом переговоров.
Для контентного или коммерческого сайта, который рассчитывает появляться в ответах ИИ, ситуация сложнее. Бот, собирающий данные, может быть частью той же цепочки, которая затем приводит пользователя к сайту. Если система не примет условия оплаты и потеряет доступ, сайт потенциально может исчезнуть из её ответов.
Переходы из ИИ-сервисов уже имеют значение для части бизнеса: по данным Adobe за 2026 год, трафик от таких сервисов к американским ритейлерам вырос на 393% год к году. Эта цифра не показывает, сколько цитирований теряет отдельный сайт после введения платы, но объясняет, почему решение нельзя оценивать только по доходу от запросов.
Что проверить до изменения правил
Сначала стоит выяснить, какие ИИ-боты обращаются к сайту и какие материалы запрашивают. Затем — по возможности отделить сборщиков данных, связанных с ответами и переходами пользователей, от тех, для которых такой отдачи не видно. Это поможет понять, где ограничение доступа может затронуть распространение контента.
Один из предложенных в исходном материале подходов — ввести плату для одного бота на одном разделе и наблюдать за объёмом его запросов и присутствием сайта в ответах. Результат такого наблюдения может помочь с настройкой политики, хотя сам по себе не обязательно установит причину изменений.
Что пока остаётся неизвестным
В исходном материале отмечается, что публичного исследования, измеряющего потерю доли цитирований при введении платы для конкретного бота, пока нет. Риск понятен: если система не получает материал, который использовала бы для ответа, источник может перестать в нём появляться. Но масштаб эффекта для разных сайтов и сервисов неизвестен.
Другой открытый вопрос — станут ли массовыми платежи от ботов без предварительной регистрации. Действующие модели в основном опираются на идентифицированных сборщиков, которые сообщают о намерении заплатить. Замысел x402 допускает расчёт без регистрации; если этот подход заработает в большом масштабе, платный доступ может распространиться шире. Пока же неясно, выйдет ли он за пределы преимущественно корпоративного применения.
Материал первоначально опубликован на No Hacks.
Комментариев пока нет. Начните обсуждение.