Почему AI-агенты проваливаются: разбор типичных ошибок

Компания подключает к сервису «автономного агента», который сам оформляет возвраты, отвечает на письма и правит заказы в CRM. На демо всё работает. Через две недели агент подтверждает возврат товара, который клиент не покупал, вызывает три параллельных API одним запросом и упирается в лимит модели на середине задачи. Пилот сворачивают. Это не выдуманный кейс из презентации, а типичный сценарий, который повторяется у команд по одной схеме — и схему стоит разобрать до того, как вы потратите квартал на свой агент.

Что вообще называют агентом

Под «AI-агентом»¹ понимают систему, где языковая модель не просто отвечает текстом, а вызывает инструменты: ходит в API, читает базы, запускает код, планирует шаги и решает, что делать дальше, по результату предыдущего действия. Разница с обычным чат-ботом в том, что агент действует в цикле и меняет состояние внешних систем — а значит, его ошибка стоит не «неудачного ответа», а реального возврата денег или удалённой записи.

Именно из-за этой автономности провалы агентов болезненнее, чем провалы чат-бота. Чат-бот в худшем случае напишет ерунду. Агент в худшем случае эту ерунду выполнит.

Где ломается запуск: пять точек отказа

Разборы неудачных внедрений сходятся на повторяющихся причинах. Ни одна из них не про «модель недостаточно умная».

1. Слишком широкая задача. Агенту дают цель уровня «разбирай обращения клиентов» вместо «классифицируй письмо по пяти категориям и предложи черновик ответа». Чем шире зона ответственности, тем больше веток, где нет проверки.
2. Нет отката. Действия агента необратимы: он сразу оформляет возврат, а не создаёт черновик на подтверждение оператором. Первая же галлюцинация уходит в прод.
3. Переоценка контекстного окна. В агента заливают всю историю переписки и документацию, окно² переполняется, модель теряет начало инструкции и начинает импровизировать.
4. Каскад ошибок. Агент делает 8 шагов подряд. Если вероятность ошибки на шаге даже 5%, до конца цепочки без сбоя доходит меньше двух третей запусков — и никто не считал эту математику заранее.
5. Нет наблюдаемости. Когда агент ошибается, команда не может воспроизвести, какой именно вызов инструмента и на каком промпте всё сломал, потому что логов действий нет.

Агент, который не умеет сказать «я не уверен, позовите человека», — это не автономность, а необслуживаемая мина в вашем бизнес-процессе.

Что отличает работающие внедрения

Команды, у которых агенты доживают до продакшена, обычно сужают задачу до узкой и повторяемой, оставляют человека в петле подтверждения на необратимых действиях и логируют каждый вызов инструмента. Вместо одного агента-универсала они собирают несколько узких: один классифицирует, второй готовит черновик, третий проверяет — и между ними стоят детерминированные проверки, а не ещё одна модель.

Ещё один рабочий приём — не давать модели «выдумывать» ответы там, где есть база знаний, а подключать RAG³: модель отвечает по найденным документам, а не по памяти. Это снижает долю уверенных выдумок, но не убирает их полностью, поэтому проверку на выходе всё равно оставляют.

Сравнение подходов к автоматизации

Кому это пригодится и кому нет

Агент оправдан там, где задача узкая, повторяемая и её результат можно проверить или откатить.

• Пригодится: сортировка входящих обращений с черновиком ответа под контролем оператора; подготовка отчётов из внутренних данных с проверкой на выходе; первичная разметка и обогащение записей, где ошибку легко откатить.
• Не пригодится: операции с деньгами клиента без подтверждения человеком; юридически значимые решения; редкие нестандартные кейсы, которых мало для отладки; процессы, где цена одной ошибки выше экономии от автоматизации.

Простой тест перед запуском: посчитайте, сколько стоит одна ошибка агента в деньгах, времени и репутации, и умножьте на реалистичную частоту сбоев в цепочке. Если результат больше экономии — вам нужен не более автономный агент, а человек в петле.

¹ AI-агент — система на базе языковой модели, которая вызывает внешние инструменты и действует в цикле, а не только генерирует текст.

² Контекстное окно — максимальный объём текста (в токенах), который модель удерживает за один запрос; при переполнении ранняя часть инструкции перестаёт учитываться.

³ RAG (retrieval-augmented generation) — подход, при котором модель перед ответом ищет релевантные документы во внешней базе и отвечает по ним, а не по внутренней памяти.