Почему ИИ-агент уверенно врёт про вчерашние цены и версии

Вы спрашиваете у ИИ-агента про последнюю версию библиотеки или цену подписки — и получаете уверенный ответ, который был правдой полгода назад. Модель не сомневается, не оговаривается, называет конкретное число. Проблема не в глупости модели, а в том, как она устроена: у любой большой языковой модели есть дата отсечки знаний (knowledge cutoff), после которой мир для неё замер. Всё, что произошло позже, ей неизвестно — но это не мешает ей отвечать так же уверенно, как про факты из обучающей выборки.

Откуда берётся устаревание

Базовая модель — это снимок текстов на момент сбора обучающего датасета. У GPT-4o, Claude, Gemini и остальных есть заявленная дата отсечки: обычно она отстаёт от текущего дня на несколько месяцев, а иногда и больше. Между сбором данных, обучением и релизом проходит время, поэтому даже «свежая» модель на старте уже частично устарела.

Отдельная ловушка — вопросы, у которых есть правильный ответ «на сегодня», а не «вообще». Цена подписки, актуальная ставка налога, номер последней версии фреймворка, состав совета директоров компании — всё это меняется. Модель выдаёт то значение, которое чаще встречалось в обучающих текстах, и подаёт его без пометки «данные на такую-то дату».

Модель не знает, что чего-то не знает. Уверенность ответа никак не связана с тем, свежие данные внутри или трёхлетней давности.

Почему агент опаснее чат-бота

В обычном чате ошибку хотя бы читает человек. Агент¹ действует сам: вызывает инструменты, пишет код, отправляет запросы, принимает решения по цепочке. Если он взял устаревшую версию API из памяти модели и начал под неё писать код, ошибка размножится по всей задаче. Устаревший факт превращается из неточности в поломанный результат.

Три способа не отставать от реальности

Индустрия борется с устареванием не переобучением модели каждую неделю — это дорого — а тем, что подсовывает модели свежие данные в момент запроса. Основных подхода три.

• Веб-поиск. Агент отправляет запрос в поисковик, читает выдачу и отвечает по ней. Так работают режимы с доступом в интернет у большинства крупных ассистентов.
• RAG. Retrieval-Augmented Generation² — перед ответом система достаёт релевантные документы из вашей базы знаний и добавляет их в контекст. Хорош там, где данные внутренние: регламенты компании, документация продукта, база тикетов.
• Вызов инструментов и API. Вместо того чтобы «вспоминать» цену или курс, агент дёргает актуальный источник — прайс-лист, биржевой API, справочник. Самый надёжный вариант там, где источник истины машиночитаем.

Сравнение подходов

На практике серьёзные системы комбинируют: RAG для внутренних данных, веб-поиск для внешних, вызов API для чисел, которые обязаны быть точными.

Где даже поиск не спасает

Доступ к свежим данным решает не всё. У каждого механизма свои дыры.

• Веб-поиск возвращает то, что нашёл — включая устаревшие страницы, которые никто не обновил, и статьи, где старая цена так и висит в тексте.
• RAG отвечает по индексу. Если базу знаний обновили в документе, но не переиндексировали, агент отдаёт старую версию с полной уверенностью.
• Модель может смешать свежий факт из поиска со старым из памяти и выдать гибрид, где половина верна, а половина — нет.
• Дата на источнике не всегда видна модели. Она может процитировать статью двухлетней давности как актуальную.

Кому это пригодится и кому нет

Понимание механики устаревания критично не для всех задач одинаково.

Обязательно закладывать свежесть данных, если вы:

• строите агента для поддержки клиентов, который называет цены, сроки и условия — их нельзя брать из памяти модели;
• автоматизируете работу с ценами, остатками, курсами — тут только вызов актуального API;
• пишете код с помощью агента под быстро меняющийся стек — версии библиотек и API устаревают за месяцы.

Можно не переживать, если вы:

• используете модель для редактуры, перевода, генерации текста, где нет привязки к дате;
• работаете с устоявшимися знаниями — математика, базовые принципы, история до недавнего прошлого;
• сами перепроверяете каждый факт с датой перед публикацией.

Как снизить риск на своей стороне

1. Спрашивайте модель о дате отсечки её знаний прямо в промпте и не доверяйте ответам про «последнюю версию» без проверки.
2. Для агента включайте веб-поиск или подключайте API там, где ответ зависит от текущего момента.
3. Требуйте в промпте указывать источник и его дату — так вы хотя бы увидите, на что опирается ответ.
4. Держите базу знаний для RAG актуальной и следите, чтобы переиндексация шла после каждого обновления документов.
5. Критичные числа — цены, ставки, версии — перепроверяйте у первоисточника перед использованием.

¹ Агент — программа на основе языковой модели, которая не просто отвечает текстом, а сама выполняет действия: вызывает инструменты, ищет в сети, запускает код и строит цепочку шагов для решения задачи.

² RAG (Retrieval-Augmented Generation) — подход, при котором перед генерацией ответа система находит релевантные документы во внешней базе и добавляет их в контекст модели, чтобы она отвечала по актуальным данным, а не только по памяти.