Как вендоры накачивают бенчмарки и почему им нельзя верить

Каждый релиз крупной модели сопровождается таблицей: столбцы с названиями тестов, проценты, выделенная жирным строка «мы» и строки конкурентов ниже. GPT, Gemini, Claude, Llama, DeepSeek — все показывают, что именно они вырвались вперёд на MMLU, GSM8K или HumanEval. Проблема в том, что эти цифры всё хуже предсказывают, как модель поведёт себя в вашей задаче. Разрыв между результатом на бенчмарке и результатом в проде стал настолько заметным, что исследователи и практики говорят о системной «накачке» тестов вендорами.

Что такое «накачка» бенчмарка

Под накачкой понимают набор приёмов, которые поднимают число в таблице, не улучшая реальные способности модели. Формально никто не жульничает — компания просто выбирает удобные условия замера. Но результат один: цифра растёт, польза для пользователя нет.

Основные механизмы:

• Загрязнение данных (data contamination). Вопросы теста или очень близкие к ним примеры попадают в обучающую выборку. Модель не решает задачу, а вспоминает ответ.
• Подбор промптов под тест. Одну и ту же модель можно замерить с разным системным промптом, разным форматом few-shot примеров и разной температурой. Разброс между «удобной» и «неудобной» настройкой бывает в десятки процентных пунктов.
• Выбор подмножества тестов. В таблицу попадают те бенчмарки, где модель выглядит хорошо, а неудобные тихо опускаются.
• Сравнение с чужими цифрами в невыгодных условиях. Свою модель гоняют с оптимальной конфигурацией и рассуждением по шагам, а конкурента берут в базовом режиме.

Когда метрика становится целью, она перестаёт быть хорошей метрикой. С бенчмарками LLM это правило работает буквально: как только тест попадает в маркетинговые таблицы, начинается гонка за числом, а не за способностью.

Почему загрязнение данных так трудно поймать

Современные модели обучаются на терабайтах текста из интернета. Популярные бенчмарки — GSM8K, MMLU, HumanEval — годами лежат в открытом доступе, обсуждаются на форумах, копируются в репозитории с решениями. Отфильтровать всё это из обучающего корпуса технически сложно, а проверить со стороны почти невозможно: веса и данные закрытых моделей недоступны.

Косвенный признак загрязнения — когда модель отлично решает известный тест, но проваливается на его свежем аналоге с той же логикой. Именно поэтому появились «живые» бенчмарки, которые постоянно обновляют задачи, чтобы новые вопросы гарантированно не успели попасть в обучение.

Контекстное загрязнение ^*

^* Data contamination — попадание тестовых примеров в обучающую выборку модели. Из-за этого модель «узнаёт» ответ вместо того, чтобы вывести его, и результат на бенчмарке завышается.

Что пытаются противопоставить

В ответ на кризис доверия появилось несколько подходов к более честной оценке. Ни один не идеален, у каждого свои слабые места.

Арены, где пользователи вслепую выбирают лучший из двух ответов, считаются устойчивее к прямому загрязнению — задачи задают живые люди в реальном времени. Но и там нашли уязвимость: модели, которые отвечают многословнее и «приятнее», получают преимущество, не будучи точнее по сути. Оценивается впечатление, а не корректность.

Как читать таблицу из пресс-релиза

Пока индустрия не договорилась о едином честном стандарте, защита ложится на читателя. Несколько практических проверок перед тем, как верить цифре:

1. Посмотрите, кто проводил замер. Собственные цифры вендора и независимая оценка — разные жанры.
2. Проверьте, указана ли конфигурация: промпт, число few-shot примеров, включён ли режим рассуждения. Без этого число несравнимо.
3. Сравните условия для своей модели и конкурента. Если у своей — «с рассуждением», а у чужой нет, таблица нечестная.
4. Ищите результаты на свежих или приватных тестах, а не только на общеизвестных.
5. Сопоставьте бенчмарк со своей задачей. Высокий балл по математике ничего не говорит о качестве работы с юридическими текстами или кодом на вашем стеке.

Кому это важно, а кому нет

Кому критично. Если вы выбираете модель под продакшн — чат-ассистента, RAG-систему ^** над своей базой знаний, генерацию кода в CI, — публичные бенчмарки для вас почти бесполезны как единственный критерий. Единственный надёжный способ — собрать свой небольшой набор задач из реальной работы (20–50 примеров) и прогнать на нём кандидатов вслепую. Это дешевле, чем кажется, и точнее любой чужой таблицы.

Кому можно расслабиться. Если вы используете модель для бытовых задач — переписать письмо, набросать план, объяснить тему — разница между 88% и 91% на MMLU для вас не значит ничего. Здесь важнее скорость ответа, цена подписки и то, как модель обходится с вашим языком и стилем. Проверяется это за пять минут ручного теста, а не по чужим графикам.

RAG ^**

^** Retrieval-Augmented Generation — схема, где модель отвечает не только на основе обучения, а подтягивает релевантные фрагменты из внешней базы документов. Качество тут зависит и от поиска, и от модели, поэтому общий бенчмарк модели его почти не предсказывает.

Что из этого следует

Бенчмарки не бесполезны — они полезны как грубый фильтр: модель, проваливающая базовые тесты, вряд ли справится с вашей задачей. Но верхняя граница таблицы давно стала полем маркетинговой борьбы, где разница в один-два процентных пункта чаще говорит о настройке замера, чем о превосходстве модели. Практический вывод простой: относитесь к цифрам из пресс-релиза как к рекламе, а решение принимайте по замеру на своих данных.