Надання сторінок у форматі Markdown обговорюють як можливий спосіб полегшити роботу AI-ботам і підвищити видимість сайту в пошуку зі штучним інтелектом. Однак досвід представника Google Джона Мюллера поки не підтверджує, що великі AI-боти запитують такі версії сторінок.
В обговоренні на Reddit Мюллер розповів про свої тестові сайти й порадив спочатку перевірити запити ботів, які відвідують власний сайт. Водночас Markdown застосовують і для іншого завдання: передавання інструкцій AI-агентам.
Навіщо сайтам версії сторінок у Markdown
Markdown — читабельний для людей і машин текстовий формат із простою розміткою, наприклад для заголовків. На відміну від звичайної вебсторінки, така версія не містить JavaScript, CSS та інтерактивних елементів. Ідея полягає в тому, щоб надати мовній моделі вміст без компонентів, призначених для взаємодії з людиною.
Один з учасників Reddit запитав, чи бачив хтось запити Markdown від великих AI-ботів. Він уже кешував HTML-сторінки й припускав, що зможе скоротити розмір файлів приблизно до третини, створивши їхні версії в Markdown. Його цікавив не лише можливий вплив на цитування в AI-сервісах, а й зниження навантаження: раніше йому довелося заблокувати через Cloudflare кількох надто активних ботів.
Що помітив Джон Мюллер
Мюллер повідомив, що на його тестових сайтах підтримку Markdown у запитах зазначали лише краулери SEO-інструментів. Він зауважив, що на інших сайтах результати можуть відрізнятися.
За його словами, серверні конфігурації, які він використовує, не записували заголовок Accept, тому для спостереження за запитами довелося б окремо налаштувати логування. Тим, хто цікавиться ситуацією на власних сайтах, Мюллер рекомендував спочатку налагодити збирання цих даних і вивчити метрики, перш ніж вкладатися у створення Markdown-версій для ботів.
Цей досвід стосується тестових сайтів Мюллера і сам по собі не дає змоги судити про всі AI-краулери. У наведеному обговоренні також немає доказів, що надання Markdown підвищує кількість цитувань або видимість в AI-пошуку.
HTML, довіра та аргумент проти окремих версій
Автор вихідної публікації вважає, що розробники генеративного пошуку та мовних моделей уже вміють обходити й індексувати HTML, а отже, окрема Markdown-версія не є для них необхідною. На його думку, пошуковим системам також вигідніше отримувати той вміст, який бачать користувачі, а не спеціально підготовлений для моделей текст.
Як аналогію автор наводить метатег keywords, яким власники сайтів зловживали, додаючи варіанти ключових слів і фрази, відсутні на сторінці. Це аргумент автора про потенційну проблему довіри, а не результат тестів Мюллера.
Що пропонує Cloudflare
Cloudflare описує Markdown як зручний формат для AI-систем і пропонує перетворення HTML у Markdown на льоту для сайтів, де ввімкнено функцію Markdown for Agents. Якщо AI-система зазначає в запиті перевагу text/markdown, мережа Cloudflare може перетворити сторінку, коли це можливо.
Компанія пов’язує явну структуру формату з кращою обробкою та меншими витратами токенів. Автор вихідної публікації, навпаки, вважає її уявлення про попит з боку AI-агентів надто оптимістичним. Сама наявність функції перетворення не доводить переваг у цитуванні чи ранжуванні.
Markdown для інструкцій агентам
Використання Markdown для інструкцій — окреме завдання, не рівнозначне наданню ботам Markdown-копій вебсторінок. Наприклад, згідно з довідкою OpenAI, Codex читає файли AGENTS.md до початку роботи. Вони дають змогу поєднувати загальні вказівки з інструкціями, специфічними для проєкту.
У вихідній публікації також згадується застосування Markdown для інструкцій і контексту в Anthropic Claude. Корисність формату в таких сценаріях, однак, не підтверджує його переваг для обходу, індексації чи ранжування сторінок в AI-пошуку.
Коментарів поки немає. Почніть обговорення.