Чек-лист закупщика: как проверить ИИ-агента перед покупкой

Продавец показывает ролик: агент читает почту, сам заводит заявку в CRM, отвечает клиенту и закрывает тикет. На демо всё летает. Через месяц после внедрения выясняется, что агент падает на письмах длиннее пары абзацев, действует только по одному сценарию из десяти обещанных, а логов, по которым можно понять, что он вообще сделал, нет. Деньги уже уплачены. Ниже — чек-лист, который отделяет рабочего агента от красивой обёртки, и вопросы, которые стоит задать до, а не после подписи.

Что такое «агент» в договоре и что вам продают на самом деле

Слово «агент»¹ сейчас клеят на всё: на чат-бот с одним промптом, на цепочку из нескольких вызовов модели и на систему, которая действительно планирует шаги и вызывает внешние инструменты. Разница принципиальная, потому что от неё зависит и цена, и риски, и то, кто отвечает за ошибку.

Первое, что нужно вытащить из продавца, — честное описание архитектуры. Не маркетинговое «наш ИИ понимает контекст вашего бизнеса», а ответ на прямой вопрос: агент действует автономно и совершает действия сам, или он готовит черновик, а решение принимает человек. Между этими двумя режимами — пропасть в ответственности.

Если вы не можете за пять минут объяснить коллеге, что именно агент делает автономно, а где ждёт подтверждения человека, — вы покупаете не инструмент, а неопределённость.

Базовый чек-лист перед покупкой

Пройдитесь по пунктам до того, как обсуждать цену. Каждый — повод для отдельного вопроса продавцу, и на каждый нужен конкретный ответ, а не обещание.

1. Какая модель под капотом и чья. Своя, open-source или через API внешнего провайдера. От этого зависит, куда уходят ваши данные и что будет, если провайдер поднимет цены или отключит доступ.
2. Где обрабатываются данные. На серверах в России, за рубежом, on-premise у вас. Для персональных данных клиентов это не деталь, а требование закона.
3. Есть ли аудит действий. Логируется ли каждый вызов инструмента и каждое решение так, чтобы можно было восстановить, почему агент сделал именно это.
4. Как задаются границы. Может ли агент потратить деньги, отправить письмо клиенту, изменить запись в базе без подтверждения — и как это ограничивается.
5. Что происходит при ошибке модели. Есть ли откат, уведомление, ручной контроль над рискованными операциями.
6. Как считается цена. За пользователя, за действие, за токены, за вызовы внешнего API. Разберём ниже отдельно.
7. Кто отвечает за ущерб. Прописана ли ответственность продавца в договоре или всё списывается на «вероятностную природу ИИ».

Проверка на своих данных, а не на демо

Демо всегда собрано на удобных примерах. Прежде чем платить, добейтесь пилота на вашем реальном потоке: ваши письма, ваши счета, ваши формулировки клиентов. Замеряйте не «вау-эффект», а долю задач, которые агент закрывает без вмешательства человека, и характер ошибок — редкие и мелкие или частые и дорогие.

Отдельно проверьте поведение на длинных входных данных. У любой модели ограничено контекстное окно² — объём текста, который она удерживает за один раз. На коротком письме агент справится, а на договоре в 40 страниц начнёт терять детали из середины. Дайте ему заведомо длинный документ и посмотрите, где он сломается.

На чём агенты чаще всего проваливаются

Три сценария, которые редко показывают на демо, но которые встречаются в продакшене чаще всего:

• Уверенная выдумка. Агент не находит данных и вместо «не знаю» подставляет правдоподобный, но неверный ответ. Для закупщика это может значить неверный контрагент или сумма в заявке.
• Обход границ через инструменты. Если агент умеет вызывать внешние сервисы, ошибка в планировании превращается в реальное действие — отправленное письмо, списанные деньги, изменённую запись.
• Утечка контекста. Данные одного клиента попадают в ответ другому, потому что сессии смешались. Проверяется только нагрузочным тестом с несколькими параллельными пользователями.

Сравнение форматов поставки

Агента продают в трёх принципиально разных форматах, и от выбора зависит, за что именно вы платите и где ваши данные.

Как разобрать цену

Ценник «столько-то в месяц за пользователя» почти всегда скрывает вторую строку — плату за токены или за вызовы внешнего API. Агент, который на каждую задачу делает пять обращений к модели, обходится в разы дороже, чем чат-бот с одним. Просите продавца показать расчёт на вашем ожидаемом объёме задач, а не на «среднем клиенте».

Конкретные цены подписок и тарифы на токены у большинства платформ меняются каждые несколько месяцев — сверяйте актуальные цифры на официальной странице поставщика на дату сделки, а не по прошлогодней презентации. И заложите в бюджет пилот: платить за годовую лицензию до проверки на своих данных — самая частая и дорогая ошибка.

Кому это пригодится, а кому нет

Агент оправдан, если у вас есть массовый повторяющийся процесс с понятными правилами: обработка входящих обращений первой линии, сортировка и первичная разметка заявок, черновики ответов на типовые письма, извлечение данных из однотипных документов. Там, где ошибка ловится человеком на следующем шаге и не стоит дорого.

Агент вам не нужен, если задача разовая, если каждая ошибка обходится дорого и её нельзя быстро откатить (платежи без подтверждения, юридически значимые действия), или если у вас нет объёма, на котором автоматизация окупит внедрение. Для десяти писем в неделю дешевле человек.

Отдельный случай — работа с персональными данными клиентов. Здесь выбор формата поставки перестаёт быть вопросом удобства: если данные уходят на чужие серверы за рубеж, это зона ответственности вашего юриста и требований к обработке персональных данных, а не только IT-отдела.

¹ Агент — программа на базе языковой модели, которая не просто отвечает текстом, а планирует последовательность шагов и вызывает внешние инструменты (почту, CRM, API) для выполнения задачи.

² Контекстное окно — максимальный объём текста, который модель удерживает за один запрос. Всё, что не поместилось, модель «не видит» и может проигнорировать.