Автоматизация доверия: почему лень проверять опаснее ошибок ИИ

Осенью 2024 года Anthropic выпустила режим Computer Use для моделей Claude — агент, который сам двигает курсор, кликает по кнопкам и заполняет поля в интерфейсе. Примерно тогда же OpenAI показала Operator, а позже — агентный режим в ChatGPT. Все три продукта решают одну задачу: не просто ответить текстом, а выполнить многошаговое действие от лица пользователя. И все три меняют роль человека с «того, кто делает» на «того, кто должен проверить». Проблема в том, что проверять мы не любим.

Что произошло: агенты перестали просто советовать

Разница между чат-ботом и агентом¹ — в том, кто нажимает кнопку. Чат-бот пишет черновик письма, а вы отправляете сами. Агент отправляет сам. Между этими двумя действиями исчезает момент, в который человек традиционно ловил ошибку — секунда перед кликом «Отправить».

За 2024–2025 годы этот сдвиг оформился как продуктовая категория. Claude научился управлять компьютером через скриншоты и координаты курсора. GitHub Copilot из подсказчика строк кода превратился в агента, который берёт задачу из трекера и открывает пул-реквест. Появились автономные ассистенты, которые бронируют, заказывают и заполняют без остановки на каждом шаге.

Технически агенты стали заметно надёжнее: они реже теряют нить в длинной цепочке шагов, лучше восстанавливаются после сбоя. Но надёжность породила побочный эффект — доверие. Чем реже агент ошибается, тем меньше поводов его перепроверять, и тем дороже обходится та ошибка, которую всё-таки пропустили.

Автоматизационная предвзятость — не новая проблема

Склонность людей доверять автоматике сильнее, чем собственным глазам, изучали задолго до генеративного ИИ — в авиации и медицине. Пилоты следовали ошибочным подсказкам автопилота вопреки показаниям приборов. Врачи соглашались с неверными пометками системы поддержки решений. Эффект называют автоматизационной предвзятостью: когда система обычно права, человек перестаёт проверять её в тех случаях, когда она не права.

С ИИ-агентами этот эффект усиливается по трём причинам:

• Скорость. Агент выполняет десять шагов за время, которого человеку хватило бы на один. Проверять каждый — значит терять то ускорение, ради которого агента и подключили.
• Правдоподобие вывода. Текст, сгенерированный моделью, выглядит уверенно и грамотно даже там, где содержит выдумку. Плохой ответ не помечен красным.
• Размывание ответственности. Когда действие совершила система, психологически проще снять с себя вину за результат — «так решил ИИ».

Опасен не тот агент, который ошибается в одном случае из ста. Опасен тот, который в девяноста девяти случаях прав настолько убедительно, что сотый вы уже не читаете.

Где цена ошибки реальна

Разберём по сценариям, потому что риск неоднороден. Отправить неудачную формулировку в письме — неприятно, но обратимо. А вот необратимые или дорогие действия — отдельная категория.

• Код. Агент открывает пул-реквест, тесты зелёные, ревьюер бегло смотрит и мёржит. Внутри — обращение к устаревшему API или логическая дыра, которую тесты не покрывали. Проблема всплывёт в продакшене.
• Деньги и заказы. Автономная покупка, бронирование, оплата. Отменить бывает нельзя или дорого.
• Внешняя коммуникация. Письмо клиенту, комментарий от лица компании, ответ в поддержке. Тон и факты уходят наружу без паузы.
• Данные. Агент с доступом к файлам или базе может удалить, перезаписать, отправить не туда. Здесь ошибка масштабируется мгновенно.

Как это решают разработчики агентов

Индустрия пытается встроить проверку обратно в процесс, не убивая скорость. Основные подходы:

• Точки подтверждения (human-in-the-loop). Агент останавливается перед необратимым действием — покупкой, отправкой, удалением — и ждёт явного «да». В Computer Use и в агентных режимах это заявлено как поведение по умолчанию для чувствительных операций.
• Песочница и ограничение прав. Агент работает в изолированной среде или с урезанными доступами, чтобы ошибка не дотянулась до боевых систем.
• Логи и трассировка. Полная запись шагов, чтобы можно было понять, что именно агент сделал и почему.
• Второй агент-проверяющий. Одна модель делает, другая критикует результат. Помогает от части ошибок, но не от общей слепой зоны — если проверяющий обучен так же, он повторит ту же ошибку.

Ни один из этих механизмов не работает, если человек механически нажимает «подтвердить», не вчитываясь. Подтверждение по привычке — это та же лень, только с лишним кликом.

Сравнение: как ведущие агенты обращаются с подтверждением

Точное поведение зависит от настроек и версии, поэтому таблица описывает заявленный подход, а не гарантию. Детали сверяйте в актуальной документации каждого продукта.

Цены и состав тарифов у всех трёх меняются каждые несколько месяцев — актуальные смотрите на официальных страницах продуктов.

Кому это пригодится и кому нет

Пригодится, если задача рутинная, обратимая и легко проверяемая по результату: разобрать входящие по папкам, собрать данные из нескольких вкладок в таблицу, сгенерировать черновик и первую версию кода под ваш последующий ревью. Здесь агент экономит время, а цена пропущенной ошибки низкая.

Не стоит доверять без жёсткого контроля, если действие необратимо или дорого: переводы денег, отправка юридически значимых документов, изменения в боевой базе данных, публичная коммуникация от лица бренда. В этих сценариях агент уместен как исполнитель черновика, но финальное действие остаётся за человеком, и проверять надо всерьёз, а не для галочки.

Отдельный случай — люди, которые подключают агента именно чтобы не думать. Для них риск максимален: инструмент, снимающий когнитивную нагрузку, снимает и внимание к ошибкам.

Что делать на практике

1. Разделите задачи на обратимые и необратимые. Первым дайте автономию, вторые оставьте с обязательным подтверждением.
2. Проверяйте результат, а не факт выполнения. «Агент открыл пул-реквест» — не то же самое, что «код корректен».
3. Не подтверждайте не глядя. Если вы всегда жмёте «да», точка подтверждения бесполезна.
4. Ограничьте права доступа агента до необходимого минимума.
5. Ведите логи и периодически выборочно перепроверяйте даже успешные прогоны — так вы поймаете систематическую ошибку раньше, чем она станет дорогой.

¹ Агент — программа на базе языковой модели, которая не только генерирует текст, но и совершает действия: вызывает инструменты, кликает по интерфейсу, обращается к внешним сервисам, выполняя многошаговую задачу с минимальным участием человека.