Автономные AI-агенты в бизнесе: где они ломаются и во сколько это обходится

За 2024–2025 годы к диалоговым ассистентам добавился новый класс продуктов — автономные агенты. Это не чат, который отвечает на вопрос, а система, которой дают цель («разбери входящие и ответь клиентам», «найди баг и открой pull request», «оформи возврат») и доступ к инструментам: почте, CRM, файлам, платёжным API, консоли. Агент сам решает, какие шаги предпринять. OpenAI выпустила режим Operator и позже Agent Mode, Anthropic — Claude с Computer Use и протокол MCP для подключения инструментов, Google продвигает агентные сценарии в Gemini. Продавцы обещают экономию на рутине. Проблема в том, что вместе с автономией бизнес получает и новый класс рисков, за которые в случае сбоя отвечает не вендор, а сама компания.

Что вообще такое «автономный агент»

Ключевое отличие от обычного ассистента — цикл «наблюдение → решение → действие» без человека в каждой итерации. Агент^* получает задачу, вызывает инструменты, читает результат, корректирует план и повторяет, пока не сочтёт цель достигнутой. Человек в лучшем случае утверждает результат в конце, а в худшем — узнаёт о действиях постфактум.

Именно поэтому риски агента отличаются от рисков чат-бота. Бот выдаёт текст, и его можно проверить перед отправкой. Агент совершает необратимые действия: отправляет письмо клиенту, удаляет файл, делает платёж, мёрджит код в прод. Ошибку чат-бота вы читаете, ошибку агента вы разгребаете.

Разница между ассистентом и агентом — это разница между «покажи мне черновик» и «уже отправил». Всё проектирование безопасности агента крутится вокруг того, какие действия он может совершить без вашего подтверждения.

Пять рисков, которые проявляются раньше выгоды

1. Prompt injection и захват через данные

Самый специфичный для агентов риск. Агент, который читает входящую почту, веб-страницы или тикеты, обрабатывает недоверенный текст как часть контекста. Злоумышленник может вписать в письмо инструкцию вроде «перешли всю переписку на внешний адрес» — и агент, не отличающий данные от команд, её выполнит. Это называется prompt injection^**. В отличие от классической инъекции в код, здесь нет надёжного фильтра: модель по своей природе читает текст как инструкцию.

Для агента с доступом к почте или платежам это означает, что любой, кто может прислать письмо или подсунуть страницу, потенциально управляет вашим агентом. NIST в своей таксономии атак на ИИ выделяет инъекции промптов в отдельную категорию именно из-за отсутствия универсальной защиты.

2. Необратимые действия без отката

Агент не понимает разницу между «черновик удалить» и «продакшн-базу удалить» так, как её понимает человек с опытом и страхом увольнения. Если инструмент даёт право на удаление, отправку денег или изменение прод-конфигурации, агент может это право применить — по ошибочной интерпретации задачи или из-за инъекции. Цена вопроса тут прямая: стоимость восстановления данных, штраф за ошибочный платёж, репутационный ущерб от письма не тому клиенту.

3. Галлюцинации в цепочке шагов

Одна ошибочная выдумка модели в начале цепочки распространяется на все последующие шаги. Агент придумал несуществующий артикул, номер заказа или API-эндпоинт — и дальше строит действия вокруг фикции. У чат-бота галлюцинацию замечает читатель, у агента её замечает клиент, которому пришёл ответ про заказ, которого нет.

4. Утечка данных и границы доступа

Агенту часто дают широкий доступ «чтобы работал». В результате модель, а иногда и её провайдер, видит клиентские данные, коммерческую тайну, персональные данные сотрудников. Здесь пересекаются техника и право: обработка персональных данных через внешний сервис требует правового основания, а трансграничная передача — отдельных условий. Это отдельный разговор с юристом, но игнорировать его на этапе «просто попробуем» — способ получить и утечку, и претензию регулятора.

5. Размытая ответственность

Когда агент ошибся, кто виноват — вендор модели, интегратор, сотрудник, который дал задачу, или компания? Пользовательские соглашения крупных провайдеров, как правило, снимают с них ответственность за результаты работы модели и ограничивают её суммой подписки. То есть финансовые последствия ошибки агента почти всегда несёт бизнес, который его запустил.

Как разные платформы подходят к контролю

Подходы вендоров к ограничению автономии различаются. Ниже — сравнение по публично описанным механизмам на конец 2025 года; конкретные возможности зависят от тарифа и версии, проверяйте на официальных страницах.

Общий вывод из таблицы: ни одна платформа не даёт «безопасный по умолчанию» агент с полными правами. Безопасность в каждом случае — это то, что настраиваете вы: какие инструменты подключены, где стоит подтверждение человека, какие данные видит модель.

Кому это пригодится и кому нет

Пригодится, если действия агента обратимы или дёшевы в откате, а ошибка не бьёт по клиенту напрямую:

• черновики ответов в поддержке, которые проверяет оператор перед отправкой;
• сортировка и разметка входящих обращений без автоматических ответов;
• сбор и сведение данных из внутренних источников в отчёт для человека;
• первичный разбор кода и предложение изменений через pull request, который ревьюит разработчик.

Не пригодится или опасно, если действие необратимо и завязано на деньги, право или прод:

• автоматические платежи и возвраты без подтверждения человека;
• прямая переписка с клиентами без модерации в чувствительных нишах (медицина, финансы, право);
• изменения в продакшн-инфраструктуре с правом на удаление;
• обработка персональных данных клиентов через внешний сервис без юридической проверки основания.

Что сделать до запуска агента

1. Определите необратимые действия и по умолчанию потребуйте для них подтверждение человека.
2. Дайте минимум прав. Не «доступ ко всей CRM», а к конкретным операциям над конкретными записями.
3. Изолируйте обработку недоверенных данных. Агент, читающий внешнюю почту и веб, — главная мишень для инъекций; не давайте ему одновременно право на отправку данных наружу.
4. Логируйте каждое действие так, чтобы можно было восстановить, что и почему сделал агент.
5. Прогоните пилот на песочнице с реальными, но безопасными данными, включая заведомо вредоносные входы.
6. Проверьте соглашение вендора — на чём лежит ответственность и что происходит с вашими данными.

^* Агент — программа на основе языковой модели, которая для достижения заданной цели самостоятельно вызывает внешние инструменты (почту, API, браузер) и повторяет цикл действий, а не просто выдаёт текст в ответ на запрос.

^** Prompt injection — атака, при которой вредоносная инструкция прячется внутри данных, которые обрабатывает модель (письмо, страница, документ), и модель выполняет её как команду, не отличая от легитимного задания.