llms.txt и разметка сайтов для ИИ-агентов: что это и куда движется

В сентябре 2024 года разработчик Джереми Ховард, сооснователь Answer.AI и fast.ai, предложил простую идею: класть в корень сайта файл llms.txt — короткий markdown-документ, который объясняет языковой модели, что за сайт перед ней и куда идти за содержательными страницами. С тех пор файл появился у Anthropic, у документации фреймворков вроде FastHTML и у десятков SaaS-сервисов, а генераторы llms.txt встроили Mintlify и другие платформы для документации. При этом ни один крупный производитель моделей публично не подтвердил, что читает этот файл при обучении или при работе агента. Формально это предложение сообщества, а не стандарт.

Зачем вообще размечать сайт для модели

Когда языковая модель или агент¹ заходит на веб-страницу, он получает тот же HTML, что и браузер: навигацию, баннеры про cookie, скрипты, рекламные блоки, футеры. Всё это забивает контекстное окно² и мешает добраться до сути. Для документации и справочных сайтов проблема острее: содержательный текст тонет в обвязке, а ссылки на нужные разделы модель вынуждена угадывать.

llms.txt решает узкую задачу: дать модели заранее подготовленную карту сайта в человекочитаемом и машиночитаемом виде. Не индекс для поисковика, как sitemap.xml, и не правила доступа, как robots.txt, а именно смысловую выжимку — что здесь есть и какие страницы читать в первую очередь.

Как устроен файл

Спецификация Ховарда описывает markdown-структуру с жёстким порядком элементов:

• заголовок первого уровня с названием проекта — единственный обязательный элемент;
• блок-цитата с кратким описанием того, что это за сайт;
• произвольные абзацы с деталями;
• разделы со списками ссылок в формате [название](url): пояснение;
• необязательный раздел ## Optional — его модель может пропустить, если экономит контекст.

Отдельно предлагается вариант llms-full.txt — уже не карта, а всё содержимое документации, склеенное в один файл, чтобы модель могла проглотить его целиком без обхода по ссылкам.

Ключевая разница с robots.txt: тот говорит боту, куда нельзя, а llms.txt — куда стоит идти в первую очередь и почему. Первый ограничивает, второй подсказывает.

Чем это отличается от того, что уже есть

llms.txt легко перепутать с давно существующими файлами и подходами. Отличия — в назначении и в том, кто гарантированно это читает.

Важная оговорка: наличие файла ничего не обязывает. В отличие от robots.txt, который крупные краулеры хотя бы декларативно уважают, llms.txt не встроен в поведение флагманских моделей по умолчанию. Если ваш агент не настроен искать этот файл — он его и не запросит.

Что говорят производители моделей

На конец 2024 — начало 2025 года ситуация такая: файл активно раздаётся сайтами, но подтверждённой поддержки на стороне обучения крупных LLM в публичных заявлениях нет. Anthropic выложила llms.txt для своей документации, что подтверждает интерес, но это не то же самое, что заявление «мы читаем ваш llms.txt при ответах пользователю».

Google в 2025 году публично высказывался скептически: представители поиска отмечали, что не видят массового применения llms.txt их системами. Проверяйте актуальную позицию каждой компании по их официальным каналам — она меняется быстрее, чем выходят обзоры.

Что идёт после llms.txt

Сам по себе текстовый файл — это статичная разметка. Параллельно развивается подход, где агент не читает выжимку, а вызывает функции сайта напрямую. Здесь стоит различать несколько уровней.

1. Статичная разметка — llms.txt, JSON-LD, чистая семантическая вёрстка. Дёшево внедрить, но модель всё равно работает с текстом, а не с действиями.
2. Протоколы контекста — Model Context Protocol (MCP), открытый Anthropic в конце 2024 года. Он описывает, как модель подключается к внешним источникам данных и инструментам через стандартный интерфейс, а не через парсинг страниц.
3. Агентные действия на сайте — интерфейсы, где агент бронирует, оформляет заказ или заполняет форму. Здесь разработчики экспериментируют с описанием доступных действий отдельно от визуального интерфейса.

Логика движения понятна: чем самостоятельнее агенты, тем меньше им нужна именно текстовая выжимка сайта и тем важнее машиночитаемый контракт «вот что здесь можно сделать и как». llms.txt в этой картине — ранний и самый простой слой, а не финальная точка.

Кому это пригодится, а кому нет

Стоит завести llms.txt, если:

• у вас документация к продукту, API или библиотеке — это исходный сценарий, под который файл и придумали, и здесь он даёт максимум пользы для разработчиков, спрашивающих ассистента про ваш инструмент;
• вы ведёте базу знаний или справочный портал, по которому пользователи задают вопросы ИИ;
• вы хотите, чтобы при интеграции вашего сайта в чей-то агентный сценарий модель быстрее находила нужные разделы.

Скорее не даст эффекта, если:

• у вас лендинг из одной страницы — карту сайта нечем наполнять;
• ваш контент за авторизацией или пейволлом: файл в корне не откроет модели то, к чему нет доступа;
• вы рассчитываете, что llms.txt повлияет на ранжирование в поиске или на то, как вас цитируют флагманские чат-боты — прямого подтверждения такого эффекта нет.

Как внедрить без лишних усилий

1. Соберите список ключевых страниц: разделы документации, гайды, справочник API, контакты.
2. Оформите их в markdown по структуре из спецификации: заголовок, цитата-описание, разделы со ссылками.
3. Положите файл по адресу /llms.txt в корне домена.
4. Если документации много, дополнительно сгенерируйте llms-full.txt — многие платформы для докумен­тации делают это автоматически.
5. Держите файл в актуальном состоянии: устаревшая карта хуже её отсутствия, потому что уводит модель на несуществующие или переехавшие страницы.

Затраты минимальны — это текстовый файл, а не перестройка сайта. Риск тоже низкий: файл никому не мешает и ничего не ломает. Главное — не ждать от него гарантированного результата, которого производители моделей пока не обещают.

¹ Агент — программа на базе языковой модели, которая не только отвечает текстом, но и выполняет шаги: ищет, вызывает инструменты, переходит по ссылкам для достижения заданной цели.

² Контекстное окно — объём текста (в токенах), который модель способна удержать за один запрос. Всё, что в него не влезло, модель не видит, поэтому лишний HTML вытесняет полезное содержимое.