Дообучение или промптинг: как заточить агента под задачу

У вас есть агент на базе GPT-4o или Claude, и он раз за разом путается в вашем домене: неправильно классифицирует обращения клиентов, выдумывает поля в JSON, не держит тон бренда. Возникает вопрос, который в 2024–2025 задают почти все команды на проде: дообучить модель под задачу или обойтись промптом и подтягиванием данных на лету. Ответ почти всегда начинается с промптинга, но не всегда им заканчивается.

Разница между подходами не только техническая, но и денежная. Промпт-инжиниринг и RAG меняют поведение модели без переобучения весов: вы кормите ей инструкции и контекст в момент запроса. Дообучение (fine-tuning) меняет саму модель — это отдельный пайплайн, датасет, деньги за обучение и хранение адаптера. Выбор между ними определяет и стоимость запроса, и скорость итераций, и то, насколько вы привязаны к конкретному вендору.

Что именно решает каждый подход

Промптинг и дообучение решают разные классы проблем, и это главная развилка. Если смешать их, деньги уходят впустую: командам случается дообучать модель ради знаний, которые проще положить в контекст, или писать простыню из инструкций там, где нужен был размеченный датасет.

Промптинг и RAG: поведение и знания на лету

Меняете инструкцию — меняете поведение мгновенно, без цикла обучения. Сюда же относится RAG: если агенту не хватает свежих или закрытых знаний (внутренняя база, документация, каталог товаров), их подтягивают в контекстное окно из поиска. Знания при этом остаются вне модели, их можно обновлять хоть каждый час.

Дообучение: устойчивый навык и формат

Fine-tuning уместен, когда нужно не разовое знание, а стабильный навык: строгий формат ответа, специфический стиль, классификация по вашей таксономии, которую в промпте не описать без десятка примеров на каждый запрос. Вы переносите паттерн из промпта в веса — и перестаёте платить за длинные инструкции в каждом вызове.

Промпт отвечает на вопрос «что делать», RAG — «на основании чего», дообучение — «как именно делать это всегда». Путать их — значит платить за инструмент не ту цену.

Сравнение подходов

Цены на обучение и на токены у OpenAI, Google и Anthropic меняются, а часть провайдеров не открывает fine-tuning для флагманских моделей. Актуальные ставки сверяйте на страницах прайсинга вендоров — ниже сравнение по свойствам, а не по конкретным суммам.

Кому это пригодится и кому нет

Развилка зависит от того, что именно ломается в вашем агенте. Несколько типичных сценариев:

• Агент выдумывает данные о вашем продукте — это про знания, а не про навык. Начинайте с RAG: подтяните каталог или документацию в контекст. Дообучение тут не поможет и даже навредит: модель заучит снимок данных, который устареет.
• Нужен строгий JSON или один и тот же формат ответа — сначала попробуйте structured output и function calling, которые провайдеры дают из коробки. Если и после этого формат плывёт на краевых случаях — кандидат на дообучение.
• Классификация обращений по вашей таксономии из 40 категорий — если few-shot в промпте раздувает контекст и всё равно ошибается, дообучение на размеченных примерах обычно даёт и точность, и экономию на токенах.
• Тон бренда и стиль — часто решается промптом с двумя-тремя примерами. Дообучение оправдано, когда стиль сложный и объём вызовов большой: инструкции в весах дешевле, чем в каждом запросе.
• MVP, гипотеза, редкая задача — дообучение не трогайте. Вы потратите дни на датасет ради поведения, которое ещё десять раз поменяется.

Общее правило: пока промпт и RAG не упёрлись в потолок по качеству или по стоимости токенов, fine-tuning — преждевременная оптимизация. Он окупается на объёме и на стабильных задачах, а не на этапе поиска продукта.

Порядок действий

1. Сформулируйте, что ломается: незнание фактов, неверный формат или неправильное поведение. От диагноза зависит инструмент.
2. Выжмите промпт: системная инструкция, few-shot примеры, structured output. Это бесплатно и обратимо.
3. Если не хватает знаний — добавьте RAG вместо того, чтобы раздувать промпт или дообучать.
4. Замерьте качество на своём наборе кейсов. Без метрики вы не поймёте, помогло дообучение или нет.
5. Если после шагов 2–3 качество не дотягивает, а объём вызовов большой — собирайте датасет и дообучайте. Сравнивайте с базовой моделью на том же наборе кейсов.

Fine-tuning (дообучение) — дополнительное обучение готовой модели на вашем размеченном датасете, при котором меняются веса. Результат — отдельная версия модели под вашу задачу. У части провайдеров доступен не для всех моделей.

RAG (retrieval-augmented generation) — подход, при котором перед ответом система ищет нужные фрагменты во внешней базе и добавляет их в контекст модели. Знания остаются вне весов и обновляются без переобучения.