Диффузионные языковые модели: обещание генерации в 4 раза быстрее

Классические языковые модели вроде GPT или Gemma генерируют текст по одному токену за раз: каждое следующее слово зависит от всех предыдущих. Это упирается в жёсткий потолок — сколько бы мощных видеокарт вы ни поставили, токены всё равно идут строго по очереди. Диффузионный подход к тексту пытается сломать эту очередь: модель уточняет весь ответ параллельно за несколько шагов, а не выдаёт его слово за словом. Заявленный выигрыш в скорости — кратный, вплоть до четырёх раз на сопоставимом железе.

Важная оговорка сразу: под названием вроде DiffusionGemma сейчас нет единого официального продукта Google с подтверждёнными бенчмарками, который можно было бы скачать и замерить. Есть исследовательское направление — диффузионные языковые модели (dLLM) — и отдельные проекты вокруг открытого семейства Gemma. Поэтому ниже речь о том, как работает технология и какие цифры реалистичны, а не о готовом релизе с фиксированными характеристиками.

Чем диффузия отличается от привычной генерации

Авторегрессионная модель (AR) — это то, к чему все привыкли. Она предсказывает распределение вероятностей для следующего токена, выбирает один, добавляет его к контексту и повторяет. Тысяча токенов ответа — тысяча последовательных проходов через модель. Отсюда и задержка: длинный ответ физически не может появиться быстрее, чем модель успеет прогнать себя нужное число раз.

Диффузионная текстовая модель работает иначе. Она стартует с зашумлённой или замаскированной последовательности фиксированной длины и за несколько шагов денойзинга¹ постепенно превращает шум в осмысленный текст, уточняя сразу все позиции. Ключевое слово — сразу все. Число шагов денойзинга (например, 10-20) заметно меньше, чем число токенов в длинном ответе (сотни). Отсюда и потенциальное ускорение.

Авторегрессия платит за качество временем: один токен — один проход. Диффузия пытается платить за скорость параллелизмом: много токенов — один проход, но проходов несколько.

Откуда берётся ускорение в 4 раза

Цифра «в 4 раза быстрее» — это не свойство самой архитектуры, а результат конкретного сравнения при конкретных условиях. Она складывается из трёх факторов:

• Меньше проходов на длинный ответ. Если ответ — 400 токенов, AR-модель делает около 400 шагов, а диффузионная может уложиться в 15-30 шагов денойзинга.
• Параллельность внутри шага. Каждый шаг обрабатывает всю последовательность, а видеокарты хорошо распараллеливают такие операции — простаивающих ядер меньше.
• Условия замера. Ускорение обычно измеряют на длинных генерациях и при большом батче. На коротком ответе в один-два предложения преимущество тает или исчезает.

Отсюда практический вывод: если вам попадётся цифра «4x», первым делом ищите, на какой длине ответа и при каком размере батча её получили. Без этих условий число не значит почти ничего.

Сравнение подходов

Где диффузия реально выигрывает, а где нет

Технология не универсальный ускоритель. Она даёт максимум там, где ответ длинный и структурированный, а задержка критична: генерация кода, длинные черновики, пакетная обработка. На коротких репликах чат-бота выигрыш почти незаметен — там и AR-модель отвечает за доли секунды.

Отдельная слабость — фиксированная длина. Многие диффузионные схемы генерируют блок заранее заданного размера, тогда как AR-модель естественно останавливается там, где мысль закончилась. Это неудобно для диалогов с ответами непредсказуемой длины.

Что это значит для тех, кто строит продукт

Если вы выбираете модель под свою задачу, ориентируйтесь не на громкий множитель, а на профиль нагрузки:

1. Замерьте свои реальные длины ответов. Если медиана — 30-50 токенов, кратное ускорение от диффузии вы вряд ли увидите.
2. Проверьте зрелость инструментов. Для AR-моделей есть готовые движки инференса, квантизация, кэш. Для диффузионных многое ещё делается руками.
3. Считайте не только скорость, но и качество. Ускорение бесполезно, если ответы стали хуже на ваших задачах. Меряйте на своих данных, а не на публичных бенчмарках.
4. Не завязывайтесь на один множитель из пресс-релиза. Цифры вендора получены в его условиях, а не в ваших.

Диффузионные языковые модели — это не замена авторегрессии, а другой инженерный компромисс: скорость на длинных генерациях в обмен на зрелость экосистемы и гибкость. Направление активно развивается, и в открытых семействах моделей эксперименты с диффузией будут появляться. Но пока стоит относиться к громким множителям как к приглашению проверить, а не как к готовой гарантии.

¹ Денойзинг (denoising) — пошаговое удаление шума. Модель обучена по зашумлённому входу восстанавливать осмысленный, и за несколько итераций доводит случайный шум до связного текста.