Спецификация llms.txt официально обновилась до версии V2. Популярный стандарт, созданный Джереми Ховардом для быстрой «свиданки» ИИ-ботов с контентом сайтов, получил первое крупное архитектурное обновление.
Если первая версия файла просто предлагала структурированный Markdown-«путеводитель» в корне сайта, то версия V2 переносит фокус на автономных ИИ-агентов. Теперь стандарт позволяет бесшовно связывать обычные «человеческие» HTML-страницы с их чистыми текстовыми Markdown-копиями напрямую через теги и серверные заголовки.
В этом руководстве мы детально разберем, что изменилось в llms.txt V2, зачем это нужно веб-разработчикам и как внедрить новые стандарты связей на своем сервере.
В чем главная проблема первой версии?
Изначально концепция llms.txt решала простую задачу: дать ИИ-боту один файл в корне сайта (/llms.txt), где в удобном для нейросети формате Markdown перечислены главные разделы проекта и ссылки на их текстовые копии.
Однако на практике возникло две проблемы:
- Слепой поиск: ИИ-агент должен был специально зайти в корень сайта, скачать
/llms.txtи только потом понять структуру. Но если бот попадал напрямую на конкретную внутреннюю HTML-страницу (например, из поиска), он тратил лишние токены на парсинг «тяжелого» HTML-кода с шапками, скриптами и рекламой. - Жесткие URL: Старая спецификация обязывала создавать Markdown-файлы строго путем добавления
.mdв конец пути (например,/page.htmlпревращался в/page.html.md). Это ломало привычную структуру ЧПУ (человекопонятных URL) на многих CMS.
Что изменилось в llms.txt V2
Версия V2 кардинально меняет правила игры, делая сайт «машиночитаемым» на уровне отдельных страниц.
1. Гибкие шаблоны для Markdown-страниц
Спецификация V2 теперь официально одобряет два сценария формирования URL для легких версий страниц:
- Добавление расширения:
/docs/tutorial.html→/docs/tutorial.html.md(как в V1). - Замена расширения:
/docs/tutorial.html→/docs/tutorial.md(новый, более чистый вариант). - Для директорий: Если страница доступна по адресу
/docs/, ее текстовая копия может лежать по адресу/docs/index.md.
2. Новые типы связей (Link Relations)
Для того чтобы ИИ-агент мог мгновенно найти легкую текстовую версию страницы, внедрены два стандартизированных атрибута связи:
rel="alternate"с типомtype="text/markdown"— указывает ИИ-агенту точный адрес Markdown-копии текущей страницы.rel="describedby"— указывает на родительский файлllms.txt, который описывает контекст и правила данного раздела сайта.
Как внедрить llms.txt V2: два технических способа
Разработчикам больше не нужно переписывать шаблоны разметки страниц вручную. Внедрить новые стандарты связей можно как внутри HTML-кода, так и более элегантно — через конфигурацию веб-сервера или CDN.
Способ 1. Через HTML-теги в <head>
Если вы можете редактировать шаблоны страниц сайта, добавьте в секцию <head> HTML-документа следующие строки:
<!-- Указываем ИИ-агенту путь к чистой Markdown-копии этой страницы -->
<link rel="alternate" type="text/markdown" href="/docs/tutorial.md" />
<!-- Показываем, какой файл llms.txt описывает этот раздел -->
<link rel="describedby" href="/llms.txt" />Попадая на такую страницу, ИИ-агент (например, Claude Code или поисковый бот нового поколения) сразу считает теги, прекратит скачивать тяжелый HTML и перейдет по ссылке в rel="alternate" за чистым текстом.
Способ 2. Через HTTP-заголовки сервера (Рекомендуемый)
Это самый мощный и универсальный метод в V2. Вам не нужно менять код страниц. Вы можете настроить правила отправки HTTP-заголовков Link на уровне Nginx, Apache или вашей CDN (Cloudflare, Vercel и др.).
Преимущество метода: заголовки можно отдавать даже для тех файлов, которые вообще не имеют HTML-структуры (например, для динамических PDF или других Markdown-документов).
Настройка в Nginx:
Добавьте в файл конфигурации вашего виртуального хоста отправку заголовков для нужного раздела сайта:
location /docs/ {
# Для каждой страницы в этом разделе прокидываем ссылки для ИИ
add_header Link '</docs/$uri.md>; rel="alternate"; type="text/markdown", </llms.txt>; rel="describedby"';
}Настройка в Cloudflare (через Transform Rules или _headers файл):
Если ваш сайт работает за прокси Cloudflare, вы можете настроить кастомные заголовки ответа для путей /docs/*:
Link: </docs/:id.md>; rel="alternate"; type="text/markdown", </llms.txt>; rel="describedby"Зачем это нужно делать прямо сейчас?
Вокруг стандарта llms.txt идет много споров. Команда Google Search во главе с Джоном Мюллером заявляет, что их традиционный поисковый робот (Googlebot) игнорирует этот файл при ранжировании в стандартном поиске.
Однако ландшафт сильно изменился:
- Оптимизация под AI-агентов (Agentic Browsing): Команда Chrome уже тестирует новые аудиты в Lighthouse для оценки доступности сайтов ИИ-агентами. Без файла структуры ИИ тратит слишком много времени и ваших серверных ресурсов на парсинг.
- Экономия токенов: Чистый Markdown-файл без лишнего HTML-мусора весит в разы меньше. Переводя ИИ-агентов на работу с
.mdверсиями страниц, вы кратно снижаете нагрузку на процессор сервера и помогаете моделям не «галлюцинировать», путаясь в верстке. - Готовность к будущему: Спецификация V2 сейчас активно дорабатывается на GitHub. Внедрение
rel="alternate"иrel="describedby"— это низкозатратный технический шаг, который уже сейчас готовит ваш проект к эпохе Web 3.0 и GEO (Generative Engine Optimization).
Вы можете проверить свой llms.txt в нашем валидаторе
Заменяет ли файл llms.txt привычный robots.txt?
Нет. Файл robots.txt запрещает или разрешает доступ к разделам сайта. А файл llms.txt помогает тем ИИ-ботам, которым доступ разрешен, быстрее и экономичнее прочитать ваш полезный контент.
Обязательно ли переименовывать все файлы на сервере в .md?
Нет, физически создавать файлы не нужно. Вы можете настроить динамическую конвертацию HTML в Markdown на лету силами вашего движка сайта (CMS) или просто отдавать существующие текстовые файлы документации.
Поможет ли llms.txt V2 поднять позиции сайта в обычном Google?
Напрямую на стандартный поиск это не влияет. Однако это сильно помогает сайту попадать в ответы умных ИИ-ассистентов (SearchGPT, Claude Code, Gemini Live), которые ищут готовые Markdown-данные.
