Дебаты LLM-агентов: спор моделей вместо одного ответа

Идея звучит почти абсурдно: чтобы получить ответ точнее, вы запускаете не одну языковую модель, а три-четыре её копии, показываете им один и тот же вопрос, а потом заставляете читать чужие черновики и спорить друг с другом несколько раундов. В 2023 году исследователи из MIT и Google Brain (работа Improving Factuality and Reasoning in Language Models through Multiagent Debate) показали, что такой спор на арифметических и логических задачах даёт заметный прирост точности по сравнению с одиночным прогоном той же модели. С тех пор приём под названием multi-agent debate стал стандартным пунктом в разговорах о том, как выжать из модели больше без её дообучения.

Ниже — как это устроено, где реально помогает, и почему за прирост в несколько процентных пунктов вы платите кратным ростом расходов на токены.

Что такое дебаты агентов

Дебаты (debate) — это оркестрация нескольких экземпляров модели вокруг одной задачи. Схема в базовом виде такая:

1. Каждому агенту задают один вопрос — независимо, без общего контекста.
2. Собираются их первые ответы с рассуждениями.
3. Каждому агенту показывают ответы остальных и просят пересмотреть свой: согласиться, возразить, поправить арифметику.
4. Шаг 3 повторяется несколько раундов.
5. Финальный ответ выбирается по консенсусу или голосованием.

Ключевой момент — агенты не просто голосуют, а видят чужие рассуждения и реагируют на них. Модель, которая в первом раунде ошиблась в вычислении, часто исправляется, прочитав два других решения с другим результатом. Это отличает дебаты от простого self-consistency, где несколько ответов генерируются независимо и побеждает большинство без всякого обмена аргументами.

Агент, персона, судья

Терминология в этой области ещё не устоялась, но обычно различают несколько ролей. Одни агенты — генераторы, они предлагают решения. Иногда добавляют отдельного агента-критика, чья задача только искать дыры в чужих рассуждениях. Финал может подводить агент-судья, который читает всю дискуссию и выносит вердикт, — либо решение принимается механически, по частоте совпадающих ответов.

Дебаты работают не потому, что модели умнее вместе. Они работают потому, что чужой ответ ломает уверенность модели в собственной ошибке и заставляет её пересчитать.

Где это реально помогает

Прирост неравномерный и сильно зависит от типа задачи. Дебаты дают ощутимый эффект там, где есть проверяемый промежуточный шаг:

• Арифметика и математические рассуждения — классический сценарий, где чужой численный результат сразу выдаёт расхождение.
• Фактологические вопросы — когда одна модель галлюцинирует дату или имя, а остальные держатся правильной версии.
• Логические цепочки с несколькими шагами — где ошибка на третьем шаге ломает всё, и критик её ловит.

Там, где правильного ответа как такового нет — креативное письмо, вопросы вкуса, открытые эссе — дебаты не улучшают качество, а лишь усредняют стиль. Хуже того: несколько сильных моделей могут дружно сойтись на одной и той же убедительной, но неверной версии. Консенсус — не доказательство истины, а лишь сигнал, что модели согласны между собой.

Одна модель против нескольких разных

Отдельный вопрос — запускать копии одной модели или собирать разнородную панель из моделей разных семейств. Разнородность интуитивно должна помогать: разные модели ошибаются по-разному, и их ошибки не коррелируют. На практике это усложняет оркестрацию, формат ответов разъезжается, а выигрыш не гарантирован. Начинать проще с копий одной модели с ненулевой температурой, чтобы получить разброс.

Цена вопроса

Главная причина, по которой дебаты не стали настройкой по умолчанию, — стоимость. Прикиньте: три агента, три раунда — это девять вызовов модели вместо одного, и в каждом последующем раунде в контекст добавляются ответы остальных, то есть промпт растёт. По токенам это легко превращается в десятикратный расход относительно одиночного запроса.

Точная стоимость зависит от вашей модели и длины контекста — считайте по тарифу провайдера на момент запуска, цены на токены меняются часто. Смысл прост: дебаты оправданы, когда цена одной ошибки в проде выше, чем цена десяти лишних вызовов. Медицинская или финансовая проверка — да. Автодополнение в чате — почти наверняка нет.

Задержка тоже растёт

Раунды идут последовательно: раунд N нельзя начать, пока не собраны ответы раунда N-1. Даже если внутри раунда агенты работают параллельно, три раунда — это как минимум тройная задержка. Для интерактивного интерфейса, где пользователь ждёт ответа, это часто неприемлемо; для фоновой пакетной обработки — терпимо.

Как попробовать без большого бюджета

Минимальный полезный сетап, чтобы понять, помогает ли это на ваших данных:

1. Возьмите набор из 50–100 задач вашего типа, для которых известны правильные ответы.
2. Замерьте точность одиночного запроса — это ваша база.
3. Добавьте self-consistency: тот же вопрос 3–5 раз, ответ по большинству. Часто уже это закрывает половину разрыва дешевле дебатов.
4. Если этого мало — включайте полноценные дебаты с обменом рассуждениями и сравнивайте прирост с ростом расхода.

Практический совет: не раздувайте число раундов. В упомянутой работе основной прирост приходит на первый-второй раунд обмена, дальше кривая выполаживается, а токены продолжают гореть. Три раунда — разумный потолок для большинства задач.

Дебаты агентов — не магия и не замена хорошему промпту или дообучению. Это инструмент обмена: вы платите деньгами и временем за снижение доли уверенных ошибок на задачах с проверяемым ответом. Если ваши ошибки стоят дорого, а бюджет на инференс есть — приём стоит замера. Если вы генерируете тексты, где нет одного правильного ответа, дебаты, скорее всего, только удорожат то же самое.