Плата за обхід сайту ШІ-ботами може принести власнику дохід, але водночас впливає на те, які системи зможуть використовувати його матеріали у відповідях. Рішення залежить не лише від цінності контенту: важливо й те, чи потрібна сайту аудиторія, яку приводять ШІ-сервіси.
Основою нових механізмів став HTTP 402 Payment Required — статус, передбачений протоколом у 1997 році. Cloudflare запустила свій експеримент з оплатою обходу в липні 2025 року, а 15 червня 2026 року аналогічна можливість з’явилася в брандмауері AWS. Обидва рішення дають змогу встановлювати умови доступу на мережевому рівні.
Навіщо запроваджувати плату за обхід
Традиційна модель пошукового обходу передбачала обмін: сайт дозволяє індексувати сторінки й отримує переходи з пошуку. ШІ-боти можуть збирати матеріали для навчання моделей або підготовки відповідей, не обов’язково спрямовуючи відвідувачів до джерела. За даними Cloudflare, на навчання припадає майже 80% активності ШІ-ботів, а запити для пошуку, здатні привести до цитування, становлять невелику частину решти активності.
Плата за запит пропонує власникам альтернативу повному дозволу або блокуванню: доступ можна надавати на певних умовах. При цьому вигода від контролю опиняється на одній шальці терезів, а можлива втрата видимості — на іншій.
Як працюють рішення Cloudflare та AWS
Cloudflare запустила Pay Per Crawl 1 липня 2025 року. Видавець встановлює єдину ціну за запит для домену. Якщо бот передає в заголовках намір заплатити, він отримує контент із відповіддю HTTP 200; інакше сервер повертає HTTP 402 із зазначенням ціни. Cloudflare виступає продавцем для цілей розрахунків і забезпечує проведення платежів. На момент запуску сервіс був закритою бета-версією, яку компанія називала першим експериментом.
В AWS WAF, згідно з оголошенням від 15 червня 2026 року, у відповідь на запит захищеної статті, потоку даних або ліцензійного архіву можна повернути HTTP 402 з машинозчитуваними відомостями про ціну та платіж за протоколом x402. Розрахунки проходять у стейблкоїнах через платіжного посередника Coinbase. Налаштування містяться в WAF Bot Control і дають змогу задавати ціну для окремих шляхів і типів ботів без зміни коду сайту.
Є й інші підходи. TollBit пропонує платний доступ ботів і агентів із тарифікацією за використанням. Akamai у вересні 2025 року оголосила про інтеграцію TollBit і Skyfire, яка дає її клієнтам змогу застосовувати подібні обмеження на мережевому рівні. Відкритий стандарт x402 від Coinbase також використовує HTTP 402 і передбачає розрахунки в стейблкоїнах без облікового запису агента, який платить.
Чому оплата й дозвіл на доступ зближуються
У нових рішеннях перевірка доступу й тарифікація опиняються в одній точці — на рівні CDN або брандмауера. Правило, яке вирішує, чи пропустити запит, може одночасно визначати його вартість. Це перетворює доступ автоматизованого відвідувача з налаштування за замовчуванням на окреме комерційне рішення.
Питання про те, чи вважати агента авторизованим відвідувачем, виникає і в правових спорах, зокрема у справі Amazon проти Perplexity. Технічна можливість встановити плату сама по собі не розв’язує цей спір, але робить умови доступу предметом конкретного налаштування.
Кому плата може бути вигідна
У видавця з цінним архівом, довідковою базою або власним набором даних може бути підстава стягувати плату, якщо вміст цікавить покупців, а поширення матеріалів не залежить від доступу конкретного бота. У такому разі обмеження доступу стає інструментом переговорів.
Для контентного або комерційного сайту, який розраховує з’являтися у відповідях ШІ, ситуація складніша. Бот, що збирає дані, може бути частиною того самого ланцюжка, який згодом приводить користувача на сайт. Якщо система не прийме умов оплати й втратить доступ, сайт потенційно може зникнути з її відповідей.
Переходи з ШІ-сервісів уже мають значення для частини бізнесу: за даними Adobe за 2026 рік, трафік від таких сервісів до американських ритейлерів зріс на 393% у річному вимірі. Ця цифра не показує, скільки цитувань втрачає окремий сайт після запровадження плати, але пояснює, чому рішення не можна оцінювати лише за доходом від запитів.
Що перевірити до зміни правил
Спочатку варто з’ясувати, які ШІ-боти звертаються до сайту та які матеріали запитують. Потім — за можливості відокремити збирачів даних, пов’язаних із відповідями та переходами користувачів, від тих, для яких такої віддачі не видно. Це допоможе зрозуміти, де обмеження доступу може зачепити поширення контенту.
Один із запропонованих у вихідному матеріалі підходів — запровадити плату для одного бота в одному розділі та спостерігати за обсягом його запитів і присутністю сайту у відповідях. Результат такого спостереження може допомогти з налаштуванням політики, хоча сам по собі не обов’язково встановить причину змін.
Що поки залишається невідомим
У вихідному матеріалі зазначається, що публічного дослідження, яке вимірює втрату частки цитувань після запровадження плати для конкретного бота, поки немає. Ризик зрозумілий: якщо система не отримує матеріал, який використала б для відповіді, джерело може перестати в ній з’являтися. Але масштаб ефекту для різних сайтів і сервісів невідомий.
Інше відкрите питання — чи стануть масовими платежі від ботів без попередньої реєстрації. Наявні моделі переважно спираються на ідентифікованих збирачів, які повідомляють про намір заплатити. Задум x402 допускає розрахунок без реєстрації; якщо цей підхід запрацює у великому масштабі, платний доступ може поширитися ширше. Поки ж незрозуміло, чи вийде він за межі переважно корпоративного застосування.
Матеріал спочатку опубліковано на No Hacks.
Коментарів поки немає. Почніть обговорення.