SIMA 2: агент DeepMind, который играет и рассуждает в 3D-мирах

Что показала DeepMind

Google DeepMind представила SIMA 2 — вторую версию агента для виртуальных 3D-миров. Ключевое отличие от первой SIMA: агент теперь построен на базе модели Gemini. Он не просто выполняет команды вроде «поверни налево» или «собери дерево», а рассуждает о цели, объясняет, что собирается сделать, и способен обучаться на собственном опыте внутри симуляции. Компания позиционирует SIMA 2 как шаг к воплощённым (embodied) агентам — тем, что действуют в среде, а не только генерируют текст.

SIMA расшифровывается как Scalable Instructable Multiworld Agent — масштабируемый обучаемый агент для множества миров. Первую версию DeepMind показала в 2024 году: она умела выполнять около 600 базовых навыков в нескольких коммерческих играх, но действовала механически и плохо справлялась с длинными или абстрактными задачами. SIMA 2, по описанию исследователей, планирует последовательности действий, комментирует их на естественном языке и переносит навыки в игры, которых раньше не видела.

Как это работает

Агент получает на вход изображение с экрана — тот же поток пикселей, что видит человек. Он не имеет доступа к внутреннему состоянию игры, API или коду. На выходе — эмуляция нажатий клавиш и движений мыши. Между входом и выходом стоит Gemini, которая интерпретирует сцену, соотносит её с инструкцией пользователя и выстраивает план.

Смысл SIMA 2 не в том, чтобы пройти конкретную игру, а в том, чтобы один агент действовал в среде так же, как действовал бы новый игрок: смотрит на экран, понимает задачу словами, пробует и корректируется.

DeepMind отдельно подчёркивает механизм самообучения: агент может генерировать себе задачи, пытаться их выполнить, оценивать результат и использовать эти попытки для улучшения — в связке с другой моделью Gemini, которая играет роль оценщика. Это позволяет добирать навыки без ручной разметки каждого действия человеком.

Чем SIMA 2 отличается от первой версии

Сравнение опирается на то, что DeepMind сообщила публично. Точных чисел по многим метрикам компания в открытом виде не давала, поэтому там, где показателя нет, честнее оставить прочерк, чем подставлять правдоподобную цифру.

Главный сдвиг — переход от «двигательного» агента к агенту, который держит цель в голове и рассуждает о шагах. Первая SIMA хорошо повторяла разученные движения, но терялась, когда задача формулировалась не так, как в обучении. SIMA 2 опирается на языковые способности Gemini, поэтому команда вроде «найди что-нибудь, чем можно разжечь костёр» для неё осмысленнее, чем набор жёстких инструкций.

Где проверяли

DeepMind тестировала агента в коммерческих играх с открытым миром (среди них ранее назывались проекты вроде No Man's Sky) и в сгенерированных 3D-сценах, в том числе созданных с помощью модели Genie. Публичного сравнительного бенчмарка с конкурентами по единой методике на момент анонса нет, поэтому называть SIMA 2 «лучшей» среди игровых агентов было бы некорректно — сравнивать пока не с чем по одной шкале.

Кому это пригодится, а кому нет

SIMA 2 — не игровой ассистент, который завтра появится в вашем Steam. Это исследовательский проект, и польза от него сейчас распределяется очень по-разному.

• Исследователям в робототехнике и embodied AI — да. Навык действовать по картинке экрана и переносить умения между средами напрямую перекликается с задачей управления роботом в физическом мире.
• Разработчикам игр, думающим об NPC нового типа — скорее да, но на перспективу. Агент, который понимает цель словами и импровизирует, интереснее скриптованного бота, однако о готовых инструментах речи пока нет.
• Обычным игрокам, которые хотят, чтобы ИИ проходил игры за них — нет. Это не сервис и не функция, доступа для широкой публики на общих условиях компания не открывала.
• Компаниям, ищущим готового агента для автоматизации интерфейсов — не сейчас. SIMA 2 заточена под 3D-миры, а не под работу с деловыми приложениями.

Практическая ценность здесь в направлении, а не в продукте. Если агент учится ориентироваться в незнакомой трёхмерной среде по одному лишь изображению и текстовой цели, тот же подход теоретически ложится на управление физическими системами. Именно об этом мостике DeepMind говорит прямее всего.

Цена вопроса и открытые сомнения

Стоимости у SIMA 2 нет — это не подписка и не API с прайсом. Цена вопроса измеряется в другом: насколько заявленный перенос навыков в новые миры устойчив, насколько самообучение работает без деградации, и не окажется ли, что впечатляющие ролики — это отобранные удачные прогоны. DeepMind публикует демонстрации, но воспроизводимого публичного бенчмарка, который позволил бы независимо проверить утверждения, на момент анонса нет.

Отдельный вопрос — надёжность. Агент, который импровизирует по картинке, ошибается иначе, чем скриптованный бот: он может «уверенно» пойти не туда, объяснив это связным, но неверным рассуждением. Для игры это забавно, для управления чем-то в реальном мире — принципиальная проблема, которую предстоит решать.

SIMA 2 интересна не тем, что проходит игры, а тем, что показывает: одна модель может смотреть на экран, понимать цель словами, действовать и учиться на своих попытках. Насколько это масштабируется за пределы демо — покажут независимые проверки и следующие версии.