Как срезать счёт за AI-агента: гайд по стоимости токенов

Один и тот же агент, который парсит десять страниц и пишет отчёт, может обойтись в 4 цента или в 12 долларов — разница в 300 раз возникает не от задачи, а от того, как устроен цикл рассуждений, какая модель стоит в основе и сколько контекста тащится в каждый вызов. Агент отличается от обычного запроса к чат-боту тем, что он ходит по кругу: думает, вызывает инструмент, читает результат, снова думает. Каждый виток — это отдельный вызов модели, и вы платите за весь накопленный контекст заново.

Ниже — где именно утекают деньги в агентных пайплайнах и что с этим делать, без магии и без обещаний «сэкономить 90% одним промптом».

Из чего складывается счёт

Провайдеры LLM берут плату за токены¹ — отдельно за вход (то, что вы отправили) и за выход (то, что модель сгенерировала). У большинства API вход дешевле выхода в 3–5 раз. Для агента критично, что входные токены накапливаются: на десятом шаге модель получает всю историю первых девяти плюс системный промпт, описания инструментов и их ответы.

Простой пример арифметики. Агент делает 8 шагов. На каждом шаге контекст растёт примерно на 2000 токенов (ответ инструмента + рассуждение). К восьмому шагу вход весит около 16 000 токенов, и вы оплачиваете этот объём на каждом из последних шагов. Суммарно за прогон уходит не 8 × 2000, а ближе к 70 000–80 000 входных токенов — квадратичный рост, а не линейный.

Главная ошибка новичков в агентах — считать стоимость одного вызова и умножать на число шагов. Реальный счёт растёт быстрее, потому что контекст тащится за агентом снежным комом.

Где утекают деньги

• Циклы без выхода. Агент застревает, повторяет один и тот же вызов инструмента и наматывает шаги, пока не упрётся в лимит. Без жёсткого ограничения на число итераций один баг съедает дневной бюджет.
• Раздутые ответы инструментов. Инструмент вернул JSON на 5000 токенов, из которых агенту нужны три поля. Весь мусор летит в контекст и оплачивается на каждом следующем шаге.
• Дорогая модель на всех задачах. Классификацию «это вопрос или команда» гоняют на топовой модели, хотя с ней справится модель дешевле на порядок.
• Отсутствие кэша. Системный промпт и описания инструментов в 3000 токенов отправляются заново на каждом шаге, хотя не меняются.
• Слишком длинный вывод. Модель пишет развёрнутые рассуждения там, где хватило бы структурированного короткого ответа.

Приёмы, которые реально работают

1. Маршрутизация моделей

Не всё нужно решать флагманом. Разбейте пайплайн: дешёвая модель отсеивает и классифицирует, дорогая подключается только на сложных шагах. У OpenAI это связка GPT-4o mini и GPT-4o, у Anthropic — Claude Haiku и Sonnet. Разница в цене между младшей и старшей моделью в одной линейке — обычно 10–20 раз, поэтому даже частичный перенос нагрузки на младшую заметно сдвигает счёт.

2. Кэширование промпта

И OpenAI, и Anthropic поддерживают кэш контекста: повторяющаяся часть входа (системный промпт, описания инструментов) считается по сниженной ставке. Anthropic заявляет экономию до 90% на кэшированной части, OpenAI применяет скидку автоматически для повторяющихся префиксов. Точные условия и ставки смотрите на страницах тарификации провайдеров — они меняются.

3. Обрезка контекста и суммаризация

Не тащите всю историю. После N шагов сверните ранние шаги в короткое резюме дешёвой моделью. Ответы инструментов фильтруйте до запуска в контекст: если нужны три поля из JSON, отдайте агенту три поля, а не весь ответ API.

4. Жёсткие лимиты

Максимум итераций, максимум токенов на прогон, таймаут. Это не оптимизация, а страховка от бага, который иначе обнаружится в счёте в конце месяца.

5. RAG вместо раздувания контекста

Если агенту нужны знания из большой базы, не суйте базу в промпт целиком. Используйте RAG²: доставайте только релевантные фрагменты. Это и дешевле, и точнее.

Где что дешевле: ориентиры по провайдерам

Абсолютные цены здесь не привожу — они пересматриваются несколько раз в год, и любая цифра устареет. Сверяйтесь с официальными страницами тарифов. Ниже — какие рычаги экономии есть у основных провайдеров на момент подготовки материала.

Batch API — режим, когда задача не требует мгновенного ответа и выполняется в течение нескольких часов со скидкой около половины цены. Для ночной обработки логов или пакетной генерации это прямой способ вдвое срезать счёт. Для интерактивного агента, отвечающего пользователю в реальном времени, он не подходит.

Кому это пригодится и кому нет

Пригодится:

• Командам, которые гоняют агента в проде на потоке запросов — там даже 20% экономии на токенах превращаются в реальные деньги за месяц.
• Тем, кто строит многошаговые пайплайны с вызовами инструментов, где контекст растёт от шага к шагу.
• Проектам с фоновой обработкой (классификация, извлечение данных, суммаризация) — тут маршрутизация моделей и batch дают максимум.

Смысла заморачиваться нет:

• Если у вас десяток запросов в день на прототипе — счёт всё равно копеечный, время на оптимизацию дороже экономии.
• Если задача — простой одношаговый вызов без цикла: тут нечего резать, кроме длины вывода.
• Если приоритет — качество на сложной задаче и снижение модели ломает результат. Сначала измеряйте, потом экономьте.

Порядок действий перед запуском в прод

1. Прогоните агента на 10–20 типичных задачах и залогируйте вход/выход в токенах по каждому шагу.
2. Посчитайте среднюю и худшую стоимость прогона — worst case важнее средней, именно он рушит бюджет.
3. Поставьте лимит итераций и токенов раньше, чем начнёте что-либо оптимизировать.
4. Проверьте, какие шаги переносятся на младшую модель без потери качества.
5. Включите кэш промпта для неизменной части контекста.
6. Фильтруйте ответы инструментов до попадания в контекст.

¹ Токен — единица, на которую модель разбивает текст. Для английского один токен ≈ 4 символа, для русского обычно меньше, поэтому русский текст в токенах «дороже».

² RAG (retrieval-augmented generation) — подход, при котором модель перед ответом достаёт релевантные фрагменты из внешней базы и отвечает с опорой на них, а не держит все знания в промпте.