Бенчмарки для ИИ-агентов: от викторин к реальным задачам

Классические бенчмарки вроде MMLU проверяют, знает ли модель ответ. Но агент — это не отвечающий, а действующий: он вызывает инструменты, читает результат, исправляет ошибку и идёт дальше. Поэтому за последние два года центр внимания сместился к тестам, где важен не финальный текст, а завершённая задача. SWE-bench проверяет, чинит ли модель реальные баги в коде, WebArena — умеет ли она кликать по сайтам, а τ-bench (tau-bench) — держит ли она диалог с пользователем и правила компании одновременно.

Почему старые бенчмарки перестали работать

Проблема тестов из вопросов и ответов в том, что современные модели их уже насытили. Когда точность на бенчмарке упирается в 90 процентов и выше, отличить сильную модель от очень сильной по нему невозможно — все толпятся у потолка. Плюс многие такие датасеты давно попали в обучающие выборки, и высокий результат может означать не рассуждение, а запоминание.

Агенту же одного правильного ответа мало. Ему нужно спланировать последовательность действий, вызвать внешний инструмент¹, обработать ошибку и не потерять цель через двадцать шагов. Обычная викторина этого не измеряет в принципе.

Что именно теперь меряют

Новое поколение бенчмарков смотрит на три вещи, которых раньше не было:

• Завершение задачи, а не совпадение текста. Прошёл ли тест после правки кода, оформился ли заказ, изменилось ли состояние системы — вот метрика.
• Использование инструментов. Умеет ли модель выбрать нужную функцию, передать корректные аргументы и не зациклиться.
• Устойчивость на длинной дистанции. Многие агенты справляются с тремя шагами и разваливаются на пятнадцати.

Основные площадки сравнения

Ниже — бенчмарки, вокруг которых сегодня строится большинство публичных заявлений о качестве агентов. Конкретные числа лидеров меняются почти еженедельно, поэтому актуальные значения смотрите на официальных таблицах результатов каждого проекта.

Хороший агентский бенчмарк проверяет не то, что модель знает, а то, что она доводит до конца, когда что-то идёт не по плану.

Почему pass@1 честнее, чем кажется

В агентских тестах всё чаще смотрят на pass@1 — доля задач, решённых с первой попытки, без права на повтор. Это ближе к продакшену: в реальной интеграции агент не переигрывает сценарий десять раз, пока не повезёт. Метрики вроде pass@5 или голосования по нескольким прогонам показывают потенциал модели, но не то, как она поведёт себя в бою.

Куда всё движется

Несколько трендов видны уже сейчас.

1. Длинный горизонт. Появляются тесты, где задача занимает часы работы и десятки шагов — например, довести небольшую фичу от постановки до прохождения CI. Здесь важнее не точность отдельного действия, а способность не сорваться на середине.
2. Стоимость и время как часть оценки. Раньше считали только процент решённых задач. Теперь всё чаще рядом ставят число токенов, количество вызовов инструментов и денежную стоимость решения. Агент, который решает задачу за 50 центов, и агент, который решает её за 8 долларов, — это разные продукты, даже при одинаковой точности.
3. Мультиагентные сцены. Тесты, где несколько агентов договариваются между собой или делят роли, пока сыры, но их становится больше.
4. Защита от переобучения на бенчмарк. Проекты вроде SWE-bench Verified и закрытые части GAIA появились именно потому, что публичные датасеты начали протекать в обучение. Дальше будет больше приватных наборов и динамически генерируемых задач.

Кому это пригодится и кому нет

Пригодится, если вы:

• выбираете модель под конкретную автоматизацию — например, агента поддержки. Тогда τ-bench скажет больше, чем общий рейтинг рассуждений;
• интегрируете кодового ассистента в CI и хотите понять, сколько багов он реально закроет без человека — смотрите SWE-bench Verified и стоимость прогона;
• строите собственного веб-агента и вам нужна воспроизводимая среда для регрессионных тестов — WebArena или её форки.

Не поможет, если вы:

• ждёте, что верхняя строчка любого бенчмарка гарантирует лучший результат на ваших данных. Домен теста и ваш домен почти никогда не совпадают;
• оцениваете простой чат-бот без вызова инструментов — здесь агентские тесты избыточны;
• принимаете решение только по одной цифре. Точность без учёта стоимости, скорости и стабильности вводит в заблуждение.

Как читать чужие результаты

Когда вендор объявляет рекорд, проверьте три вещи: на каком именно срезе бенчмарка (Verified или полный набор — большая разница), сколько попыток разрешалось и с каким набором инструментов запускали модель. Один и тот же агент на SWE-bench может показать заметно разные числа в зависимости от обвязки вокруг модели, а не самой модели. Поэтому сравнивать корректно только результаты, полученные в сопоставимых условиях.

¹ Вызов инструмента (tool call) — механизм, при котором модель не отвечает текстом, а формирует запрос к внешней функции: поиску, калькулятору, API. Результат возвращается модели, и она продолжает рассуждение. Именно способность корректно пользоваться инструментами отличает агента от обычного чат-ассистента.