Markdown для AI-поиска

Определение

Markdown для AI-поиска - это практика создания отдельных облегчённых Markdown-версий страниц сайта, которые предполагается отдавать только AI-краулерам с расчётом на то, что языковые модели будут чаще их цитировать. Подход основан на гипотезе, что LLM дешевле обрабатывать «чистый» текст без HTML-разметки.

Описание

Суть метода в том, чтобы рядом с обычными HTML-страницами размещать их Markdown-копии. Через robots.txt, отдельные поддомены или серверную логику предполагается настроить выдачу так, чтобы AI-боты (GPTBot, ClaudeBot, Google-Extended, PerplexityBot и подобные) получали упрощённую версию, а пользователи и поисковые краулеры - полноценный HTML-документ.

Сторонники подхода выдвигают три ключевых аргумента:

• экономия токенов - языковые модели тратят меньше ресурсов на обработку минималистичной разметки;
• простота парсинга - модели точнее извлекают смысл из чистого текста без шумовых HTML-тегов;
• рост цитирования - ожидается, что AI-поисковики чаще ссылаются на источник, если получают контент в «удобном» формате.

Представители Google - John Mueller и Martin Splitt - публично называют эту практику неэффективной. По их позиции, современные краулеры не ищут специальные Markdown-файлы и не отдают им предпочтение перед обычным HTML. Параллельное дублирование контента в двух форматах и подача разных версий разным ботам расценивается как cloaking - нарушение поисковых гайдлайнов Google и Bing, которое может привести к понижению или исключению сайта из индекса.

Вместо Markdown-зеркал рекомендуется сосредоточиться на:

• улучшении структуры и семантики основных HTML-страниц;
• внедрении структурированных данных Schema.org (FAQ, Organization, Product, Article);
• использовании легитимных AI discovery files (llms.txt, разделы в robots.txt для AI-ботов) - это допустимый инструмент, не подменяющий контент.

История создания

Идея оформилась в 2024-2025 годах на волне роста AI-поисковиков - ChatGPT Search, Perplexity, Google AI Overviews - и обострения конкуренции за попадание в ответы языковых моделей. Часть SEO-специалистов стала рассматривать Markdown как «нативный формат» LLM и предлагать клиентам генерировать облегчённые копии страниц скриптами в массовом порядке.

В 2025-2026 годах позицию Google озвучили Mueller и Splitt. Mueller назвал идею создания Markdown-копий специально для ботов «stupid idea», указав, что краулеры не ожидают секретных файлов в этом формате и работают с обычным HTML. Splitt подтвердил, что параллельные Markdown-версии не дают преимущества в цитировании. Параллельно Google и Bing обновили гайдлайны по работе с AI-краулерами, отдельно подчеркнув недопустимость cloaking. При этом легитимные AI discovery files (llms.txt, явные правила для AI-ботов в robots.txt) индустрия продолжает обсуждать как отдельный, допустимый инструмент.

Заключение

Markdown для AI-поиска - непроверенная гипотеза, которую сами вендоры краулеров считают неэффективной и потенциально опасной. Ресурсы лучше направлять на структуру основного сайта, семантическую разметку и прямые ответы на вопросы пользователей.