Почему ИИ-агент из демо ломается в проде: разбор разрыва

На конференциях 2024–2025 годов почти каждый крупный игрок — OpenAI, Anthropic, Google — показывал автономного агента, который сам открывает браузер, заполняет формы и выполняет многошаговую задачу без участия человека. OpenAI выпустила Operator в январе 2025 года, Anthropic ещё в октябре 2024-го добавила в Claude функцию Computer Use, Google развивает Project Mariner. Демо выглядят убедительно. А потом эти же агенты попадают в реальные рабочие процессы — и процент успешно доведённых до конца задач падает так, что многие пилоты сворачивают, не дойдя до продакшена.

Разрыв между красивым демо и работой в проде — не про качество конкретной модели. Это структурная проблема, и понимать её механику полезно любому, кто собирается встроить агента в бизнес-процесс, а не просто посмотреть на анимацию курсора.

Что показывают в демо и что происходит потом

Демо — это одна заранее выбранная задача на знакомом сайте в идеальных условиях. Реальность — сотни вариаций одной задачи, каждая со своими краевыми случаями. Разница накапливается на нескольких уровнях сразу.

Ошибки перемножаются на каждом шаге

Агент¹ редко решает задачу одним действием. Типичный сценарий «найди товар, добавь в корзину, оформи заказ, оплати» — это 8–15 шагов. Даже если на каждом шаге модель права в 95% случаев, итоговая надёжность цепочки из десяти шагов — это 0,95 в десятой степени, около 60%. Из двадцати шагов — уже около 36%. В демо показывают удачный прогон из десятков попыток; в проде клиент видит один прогон, и вероятность, что он развалится посередине, высока.

Демо оптимизируют на лучший прогон. Прод живёт на худшем. Между ними — вся разница между шоу и продуктом.

Реальный интерфейс враждебен к агенту

Живые сайты — это капчи, всплывающие баннеры про cookie, A/B-тесты, из-за которых у двух пользователей разная вёрстка, динамические элементы, которые подгружаются с задержкой. Человек игнорирует баннер не глядя. Агент видит новый DOM-элемент, перекрывающий кнопку, и либо кликает не туда, либо зависает. Многие площадки к тому же осознанно блокируют автоматизацию — и агент, который в демо крутился на тестовом стенде, в бою упирается в антибот-защиту.

Контекстное окно и стоимость на длинных задачах

Каждый шаг агент прогоняет через модель скриншот или разметку страницы плюс всю историю действий. С ростом числа шагов контекстное окно² заполняется, модель начинает терять из виду исходную цель, а стоимость одного прогона растёт линейно с числом токенов. Задача, которая в демо стоила центы, в проде на длинных сессиях превращается в ощутимую статью расходов — и это ещё до того, как посчитать повторные попытки после сбоев.

Как это выглядит в цифрах бенчмарков

Публичные тесты для агентов уже показывают этот разрыв. На бенчмарке WebArena, имитирующем реальные веб-задачи, лучшие агенты долго не могли перешагнуть отметку, сопоставимую с человеческим уровнем: человек справляется с большинством задач, агенты — с заметно меньшей долей. На OSWorld, тесте на управление настольной средой, показатели агентов на момент публикации исследования были кратно ниже человеческих. Точные проценты смотрите в актуальных лидербордах этих бенчмарков — они обновляются часто, и цифра полугодовой давности уже неверна.

Важно: высокий балл на бенчмарке не гарантирует работу на вашем конкретном сайте. Бенчмарк — усреднённая задача, а у вас свои формы, свой антибот и свои краевые случаи.

Три подхода к автономности и их цена

Кому агент в проде пригодится, а кому пока нет

Автономный агент даёт отдачу там, где задачи однотипны, среда стабильна, а цена единичной ошибки низка.

• Подходит: внутренние процессы на своих системах, где вы контролируете интерфейс и можете дать агенту API вместо кликов по кнопкам.
• Подходит: черновая подготовка — собрать данные из нескольких источников, заполнить типовую форму, а человек проверит перед отправкой.
• Подходит: сценарии с явной точкой подтверждения, где ошибка ловится до того, как станет необратимой (например, до оплаты или до отправки клиенту).
• Пока не подходит: задачи на чужих сайтах с антибот-защитой, где интерфейс меняется без предупреждения.
• Пока не подходит: процессы, где ошибка стоит дорого и необратима — перевод денег без подтверждения, юридически значимые действия.
• Пока не подходит: длинные цепочки на 20+ шагов без промежуточных проверок — накопленная вероятность сбоя слишком высока.

Что делать, если агент всё-таки нужен в проде

1. Считайте надёжность как произведение по шагам, а не по среднему одного шага. Задавайте себе вопрос: какова вероятность, что развалится вся цепочка.
2. Разбивайте длинную задачу на короткие с проверкой между блоками — так ошибка не тащит за собой весь прогон.
3. Давайте агенту API там, где он есть. Клики по интерфейсу — самый хрупкий способ взаимодействия.
4. Ставьте человека на необратимые шаги. Автоматизируйте подготовку, оставляйте подтверждение людям.
5. Логируйте каждый шаг с скриншотом или разметкой — без этого вы не поймёте, где именно сломалось.
6. Считайте полную стоимость с повторными попытками, а не цену одного удачного прогона из демо.

¹ Агент — программа на основе языковой модели, которая не просто отвечает текстом, а сама выбирает и выполняет последовательность действий (кликает, вызывает инструменты, читает результат) для достижения заданной цели.

² Контекстное окно — максимальный объём информации в токенах, который модель удерживает одновременно. Когда история действий агента его заполняет, модель начинает «забывать» ранние шаги и исходную задачу.