D4RT: как ИИ учат видеть мир в четырёх измерениях

Камера в беспилотнике видит не набор фотографий, а поток. Пешеход шагнул с бордюра, велосипедист вильнул, впереди тормозит фура — и всё это происходит одновременно и связно. Классические детекторы объектов вроде YOLO или трансформеры типа DETR разбирают каждый кадр по отдельности, а связывание объектов между кадрами навешивают сверху отдельным трекером. Подход, который в исследовательских работах обозначают как 4D-восприятие (иногда под рабочим именем D4RT — 4D Ray Transformer), пробует сделать иначе: рассматривать пространство и время как единое четырёхмерное поле и учить модель рассуждать сразу в нём.

Разберём, что стоит за идеей «четырёх измерений», где это уже применяют и почему это не маркетинговая обёртка над обычным видеоанализом.

Что значит «четвёртое измерение» для модели зрения

Три измерения здесь — привычные X, Y, Z: положение точки в пространстве. Четвёртое — время. Ключевое отличие 4D-подхода от покадровой обработки в том, что модель не склеивает готовые предсказания задним числом, а изначально держит в представлении, что одна и та же точка сцены существует в разные моменты и движется по траектории.

На практике сцена описывается как облако точек, растянутое во времени, или как поле лучей¹, каждый из которых несёт информацию не только «что здесь», но и «куда это движется». Трансформер учится связывать наблюдения между временными срезами через механизм внимания — так же, как языковая модель связывает слова в предложении, только вместо токенов текста здесь токены пространства-времени.

Разница как между стопкой фотографий и видеозаписью: на фотографиях вы видите отдельные позы, на видео — само движение. 4D-модель с самого начала работает с движением, а не восстанавливает его постфактум.

Почему покадровый подход упирается в потолок

Детектировать объект на одном кадре модели научились хорошо. Проблемы начинаются, когда объектов много и они перекрывают друг друга. Человек зашёл за столб и вышел — покадровый трекер легко теряет его или путает с другим. Быстрое движение размывает границы. Датчик LiDAR² в один момент видит спину пешехода, в следующий — бок, и связать эти проекции в один объект без понимания динамики трудно.

4D-представление даёт модели контекст: если точка двигалась с определённой скоростью и на долю секунды пропала из виду, её положение можно предсказать, а не терять. Это критично для автономного транспорта, где ошибка трекинга измеряется не в метрике качества, а в тормозном пути.

Где это уже работает

Четырёхмерное восприятие раньше всего пришло в области, где ставка высока, а данные изначально трёхмерны и потоковы:

• Автономное вождение. Данные с LiDAR и радаров — это облака точек в реальном времени. Модели предсказывают не только текущее положение других участников движения, но и их траектории на секунды вперёд.
• Робототехника. Манипулятору нужно понимать, как объект будет двигаться, пока рука до него дотягивается. Статичной картинки недостаточно.
• Медицинская визуализация. Сердце бьётся, лёгкие расширяются — 4D-КТ и 4D-УЗИ дают объём плюс время, и модели учатся отличать патологию от нормальной динамики.
• Спорт и биомеханика. Разбор движения тела в объёме и во времени для оценки техники и рисков травм.

Чем 4D-модель отличается от «видео плюс трекер»

Главный компромисс виден в последней строке. Четыре измерения — это в разы больше данных на вход, а значит больше памяти и вычислений. Поэтому 4D-модели чаще запускают на специализированном железе или урезают временное окно, чтобы уложиться в бюджет реального времени.

Что мешает внедрению

Ограничений хватает, и о них честнее говорить прямо, чем обещать революцию.

1. Данные. Размеченных 4D-датасетов мало. Разметить движущийся объект в объёме и во времени дороже, чем обвести коробкой на фото.
2. Вычисления. Обработка пространственно-временного объёма требовательна к памяти. Для бортового компьютера в машине это жёсткое ограничение.
3. Латентность. Модель должна выдавать результат за миллисекунды. Чем длиннее временное окно, тем труднее уложиться.
4. Обобщение. Модель, обученная на городских улицах, необязательно поймёт сцену на трассе или в снегопаде.

Точные метрики качества и скорости зависят от конкретной реализации и датасета — сравнивать цифры из разных статей напрямую некорректно, потому что условия замеров различаются. Если встретите заявление «модель X точнее на столько-то процентов», проверьте, на каком бенчмарке и в каких условиях его получили.

Куда это движется

Тренд общий: модели зрения уходят от плоской картинки к пространственному и теперь пространственно-временному пониманию. Это часть более широкого поворота к так называемым world models — системам, которые не просто распознают, что на изображении, а строят внутреннюю модель того, как мир устроен и как он будет меняться. Четырёхмерное восприятие — один из кирпичей такой модели.

Для разработчиков практический вывод простой: если ваша задача связана с движением в объёме — транспорт, робот, медицинская динамика — стоит смотреть в сторону пространственно-временных архитектур, а не наращивать частоту кадров у плоского детектора. Для всех остальных задач, где сцена статична или движение вторично, покадровый подход остаётся дешевле и проще.

¹ Поле лучей (ray field) — представление сцены как набора лучей из точки наблюдения, вдоль каждого из которых модель предсказывает, что находится в пространстве. Идея пришла из нейронного рендеринга (NeRF).

² LiDAR — лазерный дальномер, который сканирует окружение и выдаёт облако точек с расстояниями. Основной источник трёхмерных данных в беспилотниках.