Что делает ИИ-агент, когда инструкция непонятна

Команда «наведи порядок в почте» технически исполнима сотней разных способов: удалить спам, разложить письма по папкам, отписаться от рассылок, архивировать всё старше месяца. Человек-ассистент переспросит. ИИ-агент чаще всего не переспрашивает — он выбирает один вариант и выполняет его до конца. Иногда правильный, иногда тот, который потом придётся откатывать вручную. Проблема неоднозначных инструкций не в том, что модель «глупая», а в том, что естественный язык устроен так, что почти любая просьба допускает несколько прочтений.

Откуда берётся неоднозначность

Инструкция человека к агенту почти всегда неполная. Мы опускаем очевидное: контекст, границы, приоритеты. «Забронируй столик на вечер» не уточняет ресторан, число гостей, точное время и что делать, если свободных мест нет. Для человека это не проблема — он держит контекст в голове и переспросит по важному. Агент вынужден либо угадывать пропущенное, либо останавливаться и уточнять.

Неоднозначность бывает нескольких типов, и агент реагирует на них по-разному:

• Лексическая — слово имеет несколько значений. «Закрой задачу» — пометить выполненной или удалить.
• Область действия — непонятно, к чему относится команда. «Удали дубликаты» — во всей базе или только в открытом списке.
• Недоопределённость — пропущены обязательные параметры. «Отправь отчёт» — кому, в каком формате, за какой период.
• Конфликт целей — «сделай быстро и дёшево» при взаимоисключающих требованиях.

Четыре стратегии поведения

Разработчики агентных систем закладывают одну из нескольких моделей поведения при столкновении с неоднозначностью. Выбор стратегии определяет, насколько агент безопасен и насколько он раздражает.

На практике продвинутые агенты комбинируют подходы в зависимости от цены ошибки. Разложить письма по папкам — обратимо, можно делать без вопросов. Удалить письма навсегда или оплатить счёт — необратимо, тут стоит переспросить. Эта градация называется оценкой стоимости отката, и именно она отличает удобного агента от опасного.

Хороший агент задаёт вопрос не когда не уверен, а когда цена ошибки выше цены вопроса. Уточнять всё подряд так же плохо, как не уточнять ничего.

Как модель вообще «понимает» команду

Под капотом языковая модель не хранит смысл вашей фразы — она предсказывает продолжение на основе контекста. При неоднозначной инструкции она фактически распределяет вероятность между несколькими интерпретациями и выбирает ту, что кажется наиболее вероятной по обучающим данным. Отсюда две особенности.

Во-первых, агент склонен к «услужливому» прочтению — выбирает толкование, при котором задача выглядит выполнимой, даже если оно натянуто. Во-вторых, он редко сигнализирует о низкой уверенности сам по себе: чтобы агент переспрашивал, это поведение нужно явно заложить в системный промпт или в логику приложения поверх модели.

Роль системного промпта

Многие агентные приложения содержат инструкцию вида «если параметров недостаточно для безопасного выполнения — задай уточняющий вопрос вместо предположения». Такая строка заметно меняет поведение: без неё модель чаще додумывает, с ней — чаще переспрашивает. Но и это не гарантия: модель может решить, что параметров «достаточно», хотя вы бы так не решили.

Инструменты и их описания

Когда агент вызывает внешние функции (отправить письмо, создать платёж), поведение сильно зависит от того, как описаны эти инструменты. Если у функции удаления помечено, что действие необратимо, хорошо настроенный агент чаще запросит подтверждение. Описания инструментов — недооценённый рычаг управления неоднозначностью, часто важнее самого текста запроса.

Что делать пользователю

Пока агенты не научились надёжно распознавать собственную неуверенность, ответственность за однозначность частично лежит на том, кто формулирует задачу. Несколько приёмов, которые снижают риск неверного толкования:

1. Задавайте границы явно. Не «почисти папку», а «удали письма старше года, кроме помеченных звёздочкой».
2. Указывайте, что делать при неопределённости. «Если не уверен, к какому проекту относится задача — спроси, не угадывай».
3. Разделяйте обратимое и необратимое. Разрешайте агенту действовать самостоятельно с черновиками и запрещайте отправку и оплату без подтверждения.
4. Просите план перед действием для сложных или дорогих операций: «сначала покажи, что собираешься сделать».
5. Ограничивайте область. «Только в этой папке», «только за эту неделю» — сужает пространство интерпретаций.

Цена вопроса

Неверное толкование инструкции стоит по-разному в зависимости от прав, которые вы дали агенту. Агент с доступом только на чтение в худшем случае покажет не тот отчёт. Агент с правом отправлять письма может разослать черновик не тем адресатам. Агент с доступом к оплате способен провести транзакцию, которую вы не имели в виду. Чем шире полномочия, тем дороже каждое угадывание — и тем важнее, чтобы поведение при неоднозначности было настроено на подтверждение, а не на самостоятельность.

Практический вывод простой: разрешения агенту стоит выдавать по принципу минимальной необходимости, а необратимые действия держать за отдельным подтверждением. Это дешевле, чем разбирать последствия удачно угаданной, но неверной команды.