Тест Тьюринга умер: почему агентов будут мерить иначе

В марте 2025 года команда Университета Калифорнии в Сан-Диего опубликовала препринт, в котором GPT-4.5 в формате трёхстороннего теста Тьюринга приняли за человека в 73% случаев — чаще, чем настоящих собеседников-людей. Это не сенсация уровня «машина восстала», а скорее эпитафия самому тесту: если модель проходит его лучше человека, измерять им больше нечего. Вопрос «через 5 лет тест Тьюринга покажет, что агенты стали умнее» построен на ложной предпосылке. Тест Тьюринга уже пройден, и индустрия давно смотрит в другую сторону.

Почему тест Тьюринга больше ничего не измеряет

Алан Тьюринг в 1950 году предложил имитационную игру как замену вопросу «может ли машина мыслить». Идея простая: если по переписке вы не отличаете машину от человека, спор о «мышлении» теряет смысл. Полвека это был скорее философский ориентир, чем инженерная метрика.

Проблема в том, что тест проверяет одно узкое умение — правдоподобно болтать. А правдоподобие достигается не рассуждением, а имитацией. Модель, обученная на терабайтах человеческих диалогов, воспроизводит паузы, опечатки и уклончивость лучше, чем уставший человек в чате. Пройти тест — не значит быть полезным, точным или безопасным.

Тест Тьюринга проверяет, умеет ли машина притворяться человеком. Но от агента, который бронирует вам билеты и правит код, нужно ровно обратное — чтобы он честно оставался инструментом и не ошибался.

Для агентов¹ — систем, которые не просто отвечают, а выполняют многошаговые задачи с доступом к инструментам, — разговорное правдоподобие вообще не критерий. Никого не волнует, отличит ли пользователь агента от человека. Волнует, довёл ли он задачу до конца, не сломал ли ничего и сколько это стоило в токенах.

Чем реально мерят агентов сегодня

Вместо «сойдёт за человека» индустрия перешла к измеримым задачам с проверяемым результатом. Вот основные семейства бенчмарков, которые вы встретите в отчётах лабораторий:

• SWE-bench — исправление реальных багов из открытых GitHub-репозиториев. Агенту дают issue и код, он должен внести правку, проходящую тесты. Метрика бинарна: тест зелёный или нет.
• GAIA — задачи для ассистентов общего назначения, требующие работы с инструментами, поиском и файлами. Отвечают ли агенты на вопросы, где нужно несколько шагов и внешние данные.
• WebArena — навигация по реалистичным веб-сайтам: заказать, найти, заполнить форму. Проверяет действие в среде, а не текст.
• τ-bench (tau-bench) — диалоговые задачи с соблюдением правил: агент как оператор поддержки, который должен следовать политике компании, а не выдумывать.

Общее у всех — результат проверяется автоматически или по чёткому эталону. Не «звучит как человек», а «сделал или не сделал».

Сравнение подходов к оценке

Оговорка: конкретные проценты прохождения по этим бенчмаркам меняются с каждым релизом моделей, поэтому актуальные цифры смотрите в лидербордах самих проектов, а не в статьях полугодовой давности.

Что «покажет» оценка агентов через 5 лет

Предсказывать точные цифры на пять лет — гадание, а не журналистика. Но направление сдвига видно уже сейчас, и оно логичное. Три вещи, которые почти наверняка станут важнее «прошёл ли за человека»:

1. Надёжность на длинной дистанции. Не «решил задачу», а «решает 99 из 100 однотипных задач без надзора». Сегодня агенты падают на длинных цепочках действий: чем больше шагов, тем выше шанс накопленной ошибки.
2. Стоимость и скорость. Агент, который решает задачу за 200 шагов и десять долларов токенов, проигрывает тому, что делает это за 20 шагов и десять центов. Экономика становится частью метрики.
3. Безопасность и управляемость. Соблюдает ли агент границы, отказывается ли от вредных действий, не поддаётся ли на инъекцию инструкций. Это уже мерят, но грубо.

Вероятный итог: единого «теста Тьюринга для агентов» не будет. Будет набор специализированных сред под задачи — код, поддержка, исследования, работа с браузером — и оценка на реальных пользователях в проде, а не в лаборатории.

Кому это пригодится, а кому нет

Пригодится, если вы:

• выбираете ИИ-агента для внедрения и хотите сравнивать не по маркетинговым слайдам, а по SWE-bench или GAIA под свою задачу;
• разработчик, который встраивает агента в продукт и должен объяснить руководству, почему один вариант надёжнее другого;
• инвестор или аналитик, которому нужно отличить реальный прогресс от красивой демки.

Не пригодится, если вы:

• ждёте от «теста Тьюринга» ответа на вопрос, появился ли у машины разум — этого он не даёт и не давал;
• оцениваете чат-бота для развлекательного общения, где как раз правдоподобие и есть цель, а не задача;
• рассчитываете на один универсальный балл «ум агента» — такого числа не существует и через 5 лет не появится.

¹ Агент — программа на основе языковой модели, которая не только генерирует текст, но и планирует действия, вызывает внешние инструменты (поиск, код, API) и выполняет задачу в несколько шагов, оценивая промежуточные результаты.