Project Genie превращает панорамы Street View в игровой мир

Google показал очередной шаг в направлении генеративных миров: систему, которая берёт панораму из Street View и разворачивает вокруг неё интерактивное пространство, по которому можно перемещаться в реальном времени. Не видео, не заранее собранная 3D-модель, а мир, который модель дорисовывает на ходу — по мере того, как вы поворачиваете камеру и идёте вперёд. Это продолжение линейки Genie, только теперь стартовой точкой служит не текстовый промпт или один кадр, а конкретное место на карте.

Ключевой вопрос для читателя простой: чем это отличается от того, что уже умеют Genie и подобные модели, и насколько «реальным» получается сгенерированный мир. Разберём по частям, оговорившись сразу — часть деталей Google раскрывает дозированно, и там, где точных цифр в публичных материалах нет, честнее их не выдумывать.

Что такое линейка Genie

Genie — семейство генеративных world-моделей от Google DeepMind. Первая версия (Genie, 2024) училась превращать статичные изображения и видео в управляемые 2D-миры: подаёте картинку, а модель позволяет «нажимать кнопки» и получать следующий кадр, будто это игра. Genie 2 сделал шаг в 3D и продлил длительность связной сцены. Логика во всех версиях одна: модель предсказывает следующий кадр в зависимости от вашего действия¹, а не воспроизводит заранее отрендеренную геометрию.

World-модель отличается от генератора видео одним: видео вы смотрите, а в мир вы вмешиваетесь. Каждый ваш поворот меняет то, что модель покажет дальше.

Project Genie в контексте Street View — это применение той же идеи к реальным местам. Вместо абстрактного концепт-арта на вход идёт панорама реального перекрёстка, набережной или улицы, а на выходе — сцена, по которой можно пройти вглубь, заглянуть за угол, повернуться.

Как это работает на верхнем уровне

Street View даёт то, чего не хватает генеративным мирам: масштабную привязку к реальной географии и визуальный стиль настоящих мест. Панорама — это 360-градусный снимок с конкретными координатами. Модель использует его как «якорь» и достраивает недостающее: то, что оказывается за пределами исходного кадра, чего в панораме физически нет, но что должно там быть, если вы сделаете шаг вперёд.

• Вход — панорамный снимок Street View с географической привязкой.
• Генерация — модель предсказывает новые кадры в ответ на действия пользователя (движение, поворот).
• Выход — интерактивная сцена, по которой можно перемещаться, а не готовый ролик или полигональная модель.

Принципиальный момент: модель не реконструирует точную геометрию улицы, как это делают фотограмметрия или NeRF. Она галлюцинирует правдоподобное продолжение. Это одновременно сила (не нужны сотни ракурсов и лидарные данные) и слабость (детали могут «плыть», а объекты — не совпадать с реальностью).

Genie против классических методов реконструкции

Чтобы понять место Project Genie, полезно сравнить подходы к тому, как из фотографий получить пространство, по которому можно двигаться.

Разница по цене вопроса ощутимая. Классическая реконструкция даёт достоверную сцену, но требует сбора данных и вычислений. World-модель обходится минимальным входом, но не гарантирует, что второй этаж дома за углом выглядит так же, как в реальности — его там могло не быть в исходной панораме, и модель его придумала.

Зачем это Google и индустрии

Наиболее очевидное применение — обучение и тестирование ИИ-агентов и роботов в средах, максимально похожих на реальные улицы, без затрат на ручное моделирование каждого квартала. World-модели рассматриваются как способ дать агенту «песочницу», где он тренирует навигацию и планирование. Второе направление — быстрое прототипирование виртуальных пространств: игры, симуляторы, предпросмотр локаций.

Есть и более осторожное чтение. Демо генеративных миров традиционно впечатляют на коротких дистанциях и разваливаются на длинных: чем дольше вы идёте, тем сильнее модель теряет связность, забывает, что было позади, и начинает противоречить сама себе. Насколько Project Genie решает проблему долговременной согласованности на реальных данных Street View — вопрос, который стоит проверять по официальным демонстрациям, а не по маркетинговым роликам.

Что стоит держать в голове

• Сгенерированная сцена — правдоподобная, но не документально точная копия места.
• Технология ближе к исследовательскому превью, чем к продукту, которым можно пользоваться завтра.
• Конкретные метрики — длительность связной сцены, разрешение, задержка — Google раскрывает дозированно; ориентируйтесь на официальные публикации DeepMind.

Где границы применимости

Если вам нужна точная цифровая копия улицы — для навигации, замеров, юридически значимого отображения — генеративный мир не подходит, потому что он додумывает. Для этого существуют фотограмметрия и картографические 3D-модели. Project Genie сильнее там, где важна интерактивность и масштаб при минимальном входе: тренировка агентов, черновые виртуальные локации, исследования восприятия пространства нейросетями.

¹ World-модель — нейросеть, которая учит внутреннее представление среды и предсказывает её следующее состояние в ответ на действие. В отличие от генератора видео, она реагирует на управление пользователя, а не воспроизводит фиксированную последовательность кадров. Вернуться к тексту