Предоставление страниц в формате Markdown обсуждают как возможный способ облегчить работу AI-ботам и повысить видимость сайта в поиске с искусственным интеллектом. Однако опыт представителя Google Джона Мюллера пока не подтверждает, что крупные AI-боты запрашивают такие версии страниц.
В обсуждении на Reddit Мюллер рассказал о своих тестовых сайтах и посоветовал сначала проверить запросы собственных посетителей-ботов. При этом Markdown применяется и для другой задачи: передачи инструкций AI-агентам.
Зачем сайтам версии страниц в Markdown
Markdown — читаемый людьми и машинами текстовый формат с простой разметкой, например для заголовков. В отличие от обычной веб-страницы такая версия не содержит JavaScript, CSS и интерактивных элементов. Идея состоит в том, чтобы предоставить языковой модели содержимое без компонентов, предназначенных для взаимодействия с человеком.
Один из участников Reddit спросил, видел ли кто-нибудь запросы Markdown от крупных AI-ботов. Он уже кешировал HTML-страницы и предполагал, что сможет сократить размер файлов примерно до трети, создав их версии в Markdown. Его интересовало не только возможное влияние на цитирование в AI-сервисах, но и снижение нагрузки: ранее ему пришлось заблокировать через Cloudflare нескольких слишком активных ботов.
Что заметил Джон Мюллер
Мюллер сообщил, что на его тестовых сайтах поддержку Markdown в запросах указывали только краулеры SEO-инструментов. Он оговорил, что на других сайтах результаты могут отличаться.
По его словам, используемые им серверные конфигурации не записывали заголовок Accept, поэтому для наблюдения за запросами пришлось бы отдельно настроить логирование. Тем, кто интересуется ситуацией на собственных сайтах, Мюллер рекомендовал сначала наладить сбор этих данных и изучить метрики, прежде чем вкладываться в создание Markdown-версий для ботов.
Этот опыт относится к тестовым сайтам Мюллера и сам по себе не позволяет судить обо всех AI-краулерах. В приведённом обсуждении также нет доказательств, что выдача Markdown повышает число цитирований или видимость в AI-поиске.
HTML, доверие и аргумент против отдельных версий
Автор исходной публикации считает, что разработчики генеративного поиска и языковых моделей уже умеют обходить и индексировать HTML, а значит, отдельная Markdown-версия не является для них необходимой. По его оценке, поисковым системам также выгоднее получать то содержимое, которое видят пользователи, а не специально подготовленный для моделей текст.
В качестве аналогии автор приводит метатег keywords, которым владельцы сайтов злоупотребляли, добавляя варианты ключевых слов и фразы, отсутствовавшие на странице. Это аргумент автора о потенциальной проблеме доверия, а не результат тестов Мюллера.
Что предлагает Cloudflare
Cloudflare описывает Markdown как удобный формат для AI-систем и предлагает преобразование HTML в Markdown на лету для сайтов, где включена функция Markdown for Agents. Если AI-система указывает в запросе предпочтение text/markdown, сеть Cloudflare может преобразовать страницу, когда это возможно.
Компания связывает явную структуру формата с лучшей обработкой и меньшим расходом токенов. Автор исходной публикации, напротив, считает её представление о спросе со стороны AI-агентов чрезмерно оптимистичным. Само наличие функции преобразования не доказывает преимущества в цитировании или ранжировании.
Markdown для инструкций агентам
Использование Markdown для инструкций — отдельная задача, не равнозначная выдаче ботам Markdown-копий веб-страниц. Например, согласно справке OpenAI, Codex читает файлы AGENTS.md до начала работы. Они позволяют сочетать общие указания с инструкциями, специфичными для проекта.
В исходной публикации также упоминается применение Markdown для инструкций и контекста в Anthropic Claude. Полезность формата в таких сценариях, однако, не подтверждает его преимуществ для обхода, индексации или ранжирования страниц в AI-поиске.
Комментариев пока нет. Начните обсуждение.