Cloudflare официально заблокировала скрытые краулеры Perplexity — поисковика на базе ИИ, который обходил robots.txt, менял IP и маскировался под Chrome, чтобы получить доступ к закрытому контенту.
Тесты подтвердили: даже при полной блокировке по robots.txt и WAF, Perplexity продолжал сканировать сайты — в том числе коммерческие домены, лендинги, паблики и закрытые базы знаний.
Что делал Perplexity
Использовал официального бота Perplexity-User/1.0 → ~25 млн запросов в день
И одновременно — «стелс»-ботов, маскирующихся под браузер Chrome на macOS → до 6 млн запросов в день
Подменял IP-диапазоны и ASN, чтобы обходить антибот-защиту
Игнорировал robots.txt и настройки ограничения скорости
Доставал контент с лендингов, где явно запрещено сканирование
Почему это важно для арбитражников
Ваши преленды, нутра-лендинги и статейки могли утекать в выдачу Perplexity AI — даже если вы запретили индексацию
Риски копирования, спама и обмана алгоритмов возрастали: ИИ мог использовать контент без разрешения
Если вы монетизируете контент (например, статьи с рекламой или лид-магниты) — Perplexity мог «воровать» его без возможности трекинга
Что делает Cloudflare
Полная блокировка Perplexity, включая его скрытых ботов
Обновлённые управляемые правила доступны всем клиентам, даже на бесплатном тарифе
Сайты, использующие стандартные WAF/бот-фильтры Cloudflare, уже защищены
Как защититься, если ты не на Cloudflare
Добавь проверку User-Agent на уровне сервера
Используй поведенческие защиты и JS-челленджи против краулинга
Убедись, что твой контент не доступен по прямым URL без авторизации
Следи за логами: выявляй подозрительные заходы из ASN, не связанных с поисковыми системами
Используй honeypot-ловушки для краулеров
Вывод
Perplexity перешёл черту — и крупные инфраструктурные провайдеры начали отвечать.
Если ты работаешь с авторским контентом, скрытыми связками или просто не хочешь, чтобы ИИ крал твои материалы — время ставить защиту.
👉🏻Следите за новостями в нашем telegram-канале — Новости Арбитража.
Нет комментариев.