Двойное слепое тестирование ИИ: зачем это лидербордам

Когда компания заявляет, что её модель обошла конкурента на 3 процентных пункта в каком-нибудь бенчмарке, стоит задать простой вопрос: кто проводил замер и знал ли он заранее, какую модель тестирует. В большинстве публичных сравнений — знал. Разработчик сам выбирает бенчмарк, сам запускает прогон, сам решает, какие цифры показать. Идея двойного слепого тестирования, привычного в клинических исследованиях, наконец добирается до оценки ИИ — и обещает поломать этот удобный порядок.

Что не так с обычными бенчмарками

Стандартная схема оценки модели устроена так, что заинтересованная сторона контролирует почти весь процесс. Отсюда три системные проблемы.

• Утечка тестов в обучение. Многие открытые бенчмарки — например наборы задач по математике или программированию — попадают в обучающие данные модели. Она не решает задачу, а вспоминает ответ. Это называют контаминацией данных.¹
• Оптимизация под метрику. Как только показатель становится целью, он перестаёт быть честной мерой. Команды учат модель хорошо выглядеть именно на популярных наборах.
• Выбор благоприятных прогонов. Из десяти запусков в отчёт попадает лучший. Формально не подлог, но картину искажает.

Даже краудсорсинговые арены, где люди голосуют за ответ вслепую, не полностью свободны от смещения: пользователи узнают стиль конкретных моделей и голосуют за узнаваемый почерк, а не за качество ответа.

Как устроен двойной слепой формат

В медицине двойное слепое исследование означает: ни пациент, ни врач не знают, кто получил лекарство, а кто плацебо. Перенос на ИИ выглядит так: ни человек, который оценивает ответы, ни команда, которая готовит задачи, не знают, какая модель какой ответ выдала. Идентификаторы моделей скрыты за нейтральными метками вроде «Модель A» и «Модель B», а сопоставление меток с реальными названиями раскрывается только после того, как все оценки зафиксированы.

Пока разработчик знает, какой бенчмарк решает его модель, он оптимизирует не интеллект, а результат в таблице. Слепота ломает эту петлю обратной связи.

Ключевых элемента здесь три:

1. Свежие задачи. Вопросы генерируют или собирают уже после релиза моделей, чтобы исключить попадание в обучающую выборку.
2. Анонимизация в обе стороны. Оценщик не видит бренд, а автор задачи не подстраивает её под конкретную модель.
3. Предрегистрация протокола. Правила подсчёта фиксируют до начала прогона, чтобы нельзя было задним числом выбрать удобную метрику.

Почему это сложнее, чем в медицине

У таблетки нет узнаваемого почерка, а у языковой модели есть. Она форматирует списки определённым образом, любит конкретные обороты, по-своему извиняется за ошибку. Полная анонимизация требует нормализации ответов — приведения оформления к единому виду, чтобы оценщик не опознал модель по стилю. А это уже вмешательство в сам ответ, и здесь легко перестараться и исказить то, что оценивается.

Слепой и открытый форматы: что меняется

Плата за честность — деньги и время. Свежие задачи нужно писать и проверять, ответы нормализовать, оценщиков координировать так, чтобы слепота не нарушилась. Массовый ежедневный лидерборд в таком режиме не поднять, поэтому слепые эксперименты пока остаются точечными и небольшими по выборке.

Что это меняет для тех, кто выбирает модель

Если вы принимаете решение о подписке или интеграции API, разница между маркетинговым бенчмарком и слепой оценкой — это разница между обещанием и проверенным фактом. Практические ориентиры:

• Смотрите, кто автор оценки. Замер от самого вендора и независимая слепая оценка — не одно и то же.
• Проверяйте дату и происхождение задач. Если бенчмарк опубликован раньше релиза модели, вероятность контаминации выше.
• Не переносите чужой лидерборд на свою задачу. Модель, лидирующая в общем рейтинге, может проигрывать на ваших доменных запросах — тестируйте на своих данных.
• Один процентный пункт разницы на маленькой выборке — это чаще шум, чем превосходство. Ищите доверительные интервалы, а не голые числа.

Ограничения, о которых стоит помнить

Двойное слепое тестирование убирает часть смещений, но не делает оценку идеальной. Слепота не спасает от плохо составленных задач, от субъективности оценщиков в творческих заданиях, от узкой выборки. Это инструмент против конкретного класса проблем — контаминации и предвзятости по бренду, а не универсальный знак качества. Любую цифру из лидерборда, даже слепого, полезно перепроверять на собственном сценарии.

¹ Контаминация данных — попадание тестовых примеров в обучающую выборку модели. В результате модель демонстрирует высокий балл не за счёт способности решать задачу, а за счёт того, что видела ответ во время обучения.