Retro Contest: чему научились ИИ-агенты в Sonic the Hedgehog

OpenAI провела Retro Contest — двухмесячное соревнование, в котором участники обучали ИИ-агентов проходить уровни игры Sonic the Hedgehog для Sega Genesis. Ключевая деталь: агентов оценивали не на тех уровнях, на которых они тренировались, а на закрытом наборе новых. Смысл был в проверке способности к обобщению — умения переносить навык на незнакомую ситуацию, а не заучивать один конкретный сценарий. Результаты показали, насколько эта задача далека от решения даже в узкой игровой среде.

Что именно проверяли

Обучение с подкреплением умеет впечатляюще проходить конкретные игры. Но стоит поменять уровень, расположение врагов или геометрию карты — и агент, натренированный до совершенства на одной задаче, часто теряется. Retro Contest построили вокруг этой проблемы: тренировочные и тестовые уровни Sonic были разными, а тестовый набор участникам вообще не показывали до конца.

Каждый агент получал ограниченный бюджет времени на дообучение прямо на новом уровне перед оценкой — то есть проверялась не только заранее выученная стратегия, но и способность быстро адаптироваться. Итоговая метрика — сколько игрового прогресса агент проходит за отведённые кадры.

Способность пройти уровень, который ты видел тысячу раз, — это память. Способность пройти уровень, который видишь впервые, — это то, что мы называем интеллектом. Разрыв между ними в текущих алгоритмах огромен.

Почему выбрали именно Sonic

Платформер удобен как испытательный полигон: множество уровней с общей механикой, но разной геометрией. Агент, освоивший бег, прыжки и реакцию на врагов, теоретически должен переносить эти навыки на новую карту. На практике переносится далеко не всё — и это делает игру честным тестом на обобщение, а не на зубрёжку.

Итоги: базовые методы почти не обобщают

Главный результат конкурса неутешителен для сторонников готовых рецептов. Стандартные алгоритмы обучения с подкреплением, запущенные «из коробки», на незнакомых уровнях работали заметно хуже, чем на знакомых. Лучшие решения участников обошли базовые подходы, но и они были далеки от результата, который показывает человек, впервые взявший в руки геймпад.

Топовые команды выигрывали не за счёт одного гениального трюка, а за счёт комбинации приёмов:

• Совмещение обучения и имитации — агент подсматривал за записями прохождений, а не учился только методом проб и ошибок.
• Дообучение на тестовом уровне — использование разрешённого бюджета кадров, чтобы приспособиться к конкретной карте перед оценкой.
• Аккуратная работа с наградой — поощрение продвижения вправо и вглубь уровня, а не случайных действий.
• Настройка исследования — баланс между попытками нового и эксплуатацией уже найденной стратегии.

OpenAI параллельно опубликовала собственные базовые реализации (baselines), чтобы участникам было с чем сравниваться, а результаты — воспроизводимыми. Точные числовые значения счёта победителей и распределение по таблице лидеров смотрите в оригинальном отчёте OpenAI — приводить их по памяти как точную цифру было бы некорректно.

Какие подходы соревновались

Почему это важно за пределами игры

Обобщение — узкое место всего прикладного обучения с подкреплением. Робот, обученный собирать одну деталь на одном стенде, ломается при малейшем изменении освещения или положения объекта. Торговый или логистический агент, оптимальный на исторических данных, проседает, когда рынок ведёт себя иначе. Retro Contest в миниатюре показал ту же болезнь: агент, который блестяще проходит выученное, беспомощен перед новым.

Именно поэтому OpenAI строила конкурс вокруг разделения тренировочных и тестовых уровней. Это дисциплинирует: нельзя случайно переобучиться на тесте и выдать красивую, но обманчивую цифру. Такой подход к оценке — отдельный урок для всех, кто меряет своих агентов на тех же данных, на которых их учил.

Что забрать себе разработчику

1. Разделяйте наборы для обучения и для оценки строго — иначе метрика врёт.
2. Имитация человеческих демонстраций дёшево улучшает старт, если такие данные есть.
3. Заложите бюджет на адаптацию к новой среде, а не только на обучение с нуля.
4. Не доверяйте одному прогону: обобщение проверяется на нескольких независимых сценариях.

Retro Contest не выдал алгоритм, решающий проблему обобщения. Его ценность в другом — это чистый, воспроизводимый бенчмарк, который честно показывает, где мы находимся: агенты уверенно повторяют выученное и всё ещё плохо справляются с по-настоящему новым.