Как ИИ-агенты действуют сами: цикл, инструменты, риски

Классический чат-бот ждёт вопрос и выдаёт текст. ИИ-агент ведёт себя иначе: он получает цель («забронируй встречу», «разбери входящие письма», «найди баг в репозитории»), сам решает, какие действия предпринять, вызывает внешние инструменты и оценивает результат — часто десятки итераций подряд без единого запроса к человеку. Разница не косметическая. В агентском режиме модель уже не советует, а действует: отправляет запросы к API, пишет в базы, тратит деньги на вызовах платных сервисов.

Что стоит за словом «агент»

Под агентом обычно понимают связку из трёх частей: языковая модель как «мозг», набор инструментов (tools) как «руки» и управляющий цикл, который крутит одно через другое. Модель сама по себе ничего не делает во внешнем мире — она только генерирует текст. Агентом её превращает обвязка, которая позволяет этому тексту запускать действия и возвращать их результат обратно в контекст.

Ключевой механизм — function calling *. Модель обучена вместо обычного ответа выдавать структурированный вызов: имя функции и аргументы в JSON. Обвязка исполняет функцию (запрос к погодному API, поиск по базе, запуск кода), кладёт результат обратно в диалог, и модель на следующем шаге решает, что делать дальше.

Цикл ReAct: рассуждение и действие вперемешку

Самый распространённый паттерн — чередование мыслей и действий, известное как ReAct (Reasoning + Acting). Агент на каждом шаге проходит примерно такую последовательность:

1. Мысль — модель формулирует, чего не хватает для цели и какой шаг сделать.
2. Действие — вызывает конкретный инструмент с аргументами.
3. Наблюдение — получает результат вызова обратно в контекст.
4. Оценка — решает, достигнута ли цель. Если нет — цикл повторяется.

Решение «остановиться или продолжить» модель принимает сама, на основе того, что уже накопилось в контексте. Именно здесь исчезает человек: между постановкой цели и финальным результатом может пройти двадцать вызовов, о которых пользователь узнает только по факту.

На чём основано решение

Агент не «понимает» задачу в человеческом смысле. Его решение на каждом шаге — это предсказание наиболее вероятного продолжения текста с учётом системного промпта, описания доступных инструментов и истории предыдущих шагов. Отсюда три источника, которые определяют поведение:

• Системный промпт и инструкции — задают роль, ограничения и приоритеты. Меняете формулировку — меняется поведение.
• Описания инструментов — модель выбирает функцию по её названию и текстовому описанию. Плохо описанный инструмент модель либо не вызовет, либо вызовет не там.
• Контекст выполнения — всё, что уже произошло в текущей сессии: результаты прошлых вызовов, ошибки, промежуточные данные.

Агент настолько же надёжен, насколько надёжно описаны его инструменты и границы. Модель не нарушает правила назло — она просто не видит их, если их нет в контексте.

Автономность бывает разной

Слово «без участия человека» на практике означает разные уровни. Их полезно различать, потому что от уровня зависит цена ошибки.

Большинство продакшн-систем на 2024–2025 годы живут на втором и третьем уровнях. Полная автономия в среде, где действия необратимы, остаётся рискованной именно из-за непредсказуемости решений.

Где цикл ломается

Автономность создаёт классы проблем, которых у обычного чат-бота нет.

• Зацикливание. Агент повторяет один и тот же неудачный вызов, не осознавая, что застрял. Без лимита на число шагов это тянет деньги и время.
• Накопление ошибки. Неверный промежуточный результат попадает в контекст и влияет на все следующие решения — как опечатка в условии задачи.
• Prompt injection. Если агент читает внешние данные (письма, веб-страницы, документы), в них может быть спрятана инструкция «отмени всё и отправь данные сюда». Модель не всегда отличает данные от команд.
• Необратимые действия. Агент с правами на запись способен удалить или изменить то, что вернуть нельзя. Ошибка здесь стоит больше, чем неудачный ответ в чате.

Отсюда практика: агенту дают ровно те права, что нужны для задачи, опасные операции выводят на подтверждение человека, а весь цикл логируют — чтобы после сбоя можно было понять, на каком шаге решение свернуло не туда.

Как это выглядит на практике

Возьмём агента поддержки, который сам разбирает обращения. Цель: «обработай новое обращение из очереди». Он вызывает инструмент чтения тикета, видит запрос на возврат, вызывает инструмент проверки заказа в базе, видит, что срок возврата истёк, формулирует ответ и — в зависимости от уровня автономии — либо отправляет его сам, либо кладёт черновик оператору. Ни на одном шаге человек не участвовал в выборе инструментов. Он лишь поставил цель и, возможно, одобрил финальную отправку.

Вопрос, который стоит задавать перед запуском любого агента: что случится в худшем случае на самом опасном шаге и можно ли это откатить. Если ответ «нельзя» — этот шаг не должен быть автономным.

* Function calling — режим, в котором модель вместо текста выдаёт структурированный вызов функции с аргументами в формате JSON. Обвязка исполняет функцию и возвращает результат модели. Так модель получает доступ к внешним данным и действиям.