Мультимодальные модели учат «видеть» мир: что изменилось

Что произошло

За последние полтора года основные лаборатории перешли от текстовых моделей к мультимодальным: одна и та же нейросеть принимает на вход текст, картинку, а иногда звук и видео, и отвечает, опираясь на всё это сразу. OpenAI представила GPT-4o (буква «o» — от omni) в мае 2024 года, Google развивает линейку Gemini с встроенной обработкой изображений и видео, Anthropic добавила распознавание изображений в семейство Claude 3. Идея у всех одна: модель должна воспринимать входные данные ближе к тому, как это делает человек — не читать описание картинки, а «смотреть» на неё.

Разница не косметическая. Раньше, чтобы модель поняла фотографию, нужен был отдельный сервис распознавания, который переводил изображение в текст, и уже этот текст уходил в языковую модель. Теперь картинка и текст живут в одном контекстном окне¹, и модель может рассуждать о них совместно: сравнить два графика, прочитать рукописную заметку на фото, разобрать скриншот интерфейса и объяснить, где нажать.

Чем мультимодальность отличается от «модели с распознаванием картинок»

Ключевое слово — совместное обучение. В по-настоящему мультимодальной модели изображения и текст проходят через общее представление, а не склеиваются двумя разными системами. Это даёт три практических эффекта.

• Контекст сохраняется. Можно показать чертёж и весь дальнейший диалог вести про него, не пересказывая заново.
• Рассуждение поверх картинки. Модель не просто называет объекты («стол, чашка, ноутбук»), а отвечает на вопрос «почему этот дашборд выглядит подозрительно» или «какой шаг в рецепте я пропустил на фото».
• Меньше потерь. При переводе изображения в текст теряются детали — цвет, расположение, мелкий шрифт. Прямая обработка их сохраняет лучше.

Модель, которая видит скриншот ошибки и сразу предлагает исправление, полезнее той, которой этот скриншот нужно сначала описать словами.

Как это выглядит на практике

Самые заметные сценарии, где мультимодальность уже работает у широкой аудитории:

1. Сфотографировать страницу с формулами или конспект и попросить объяснить.
2. Загрузить скриншот кода или интерфейса и получить разбор ошибки.
3. Показать график или таблицу-картинку и попросить вытащить цифры и выводы.
4. Голосовой режим GPT-4o, где модель отвечает почти без задержки и распознаёт интонацию — заявленная OpenAI средняя задержка ответа около 320 миллисекунд, близкая к темпу живого разговора.

Где всё ещё ломается

Мультимодальные модели уверенно ошибаются на мелких деталях: путают похожие цифры в таблице, неверно читают плотный текст на фото, придумывают элементы, которых на картинке нет. Это та же галлюцинация, что и в тексте, только визуальная — и её труднее заметить, потому что ответ звучит убедительно. Для задач, где цена ошибки высока (медицинский снимок, юридический документ, показания счётчика), вывод модели нужно проверять глазами, а не принимать на веру.

Сравнение подходов

Ниже — обобщённое сравнение трёх линеек по состоянию на 2024 год. Конкретные лимиты и цены меняются, поэтому характеристики уточняйте на официальных страницах провайдеров.

Цифры по контекстному окну лаборатории объявляли для разных версий и тарифов — не воспринимайте их как единый постоянный лимит для всей линейки.

Кому это пригодится и кому нет

Пригодится:

• Студентам и преподавателям — разбор конспектов, формул, схем по фото.
• Разработчикам — быстрый анализ скриншотов ошибок, макетов, диаграмм архитектуры.
• Аналитикам — вытащить данные из картинки-графика, когда исходной таблицы нет под рукой.
• Поддержке и онбордингу — объяснить пользователю по его скриншоту, куда нажать.

Скорее не пригодится или требует осторожности:

• Там, где ошибка стоит дорого и проверить нечем — диагностика по снимку, распознавание юридически значимых документов без человека в цикле.
• Задачи с очень мелким или плотным текстом на изображении — точность падает.
• Ситуации с чувствительными данными: загрузка чужих медицинских или паспортных фото в облачный сервис создаёт риски приватности.

Что дальше

Направление движения — от «модель, которая видит» к «модель, которая действует»: агенты², которые смотрят на экран, понимают интерфейс и сами выполняют шаги. Первые демонстрации управления браузером и приложениями уже показывали и OpenAI, и Anthropic. Но пока это ранняя стадия: надёжность на реальных задачах и цена ошибки остаются главным ограничением, а не разрешение картинки или размер контекста.

¹ Контекстное окно — объём информации (текста, изображений), который модель удерживает и учитывает в рамках одного диалога; измеряется в токенах.

² Агент — модель, которая не только отвечает, но и выполняет последовательность действий во внешней среде: нажимает кнопки, вызывает инструменты, работает с файлами.