Инференс дороже обучения: как железо борется за ватты

Обучить модель — разовая трата. Запускать её на миллионах запросов в день — расход, который не заканчивается никогда. По мере того как генеративные сервисы выходят из демо в постоянную нагрузку, центр тяжести смещается с обучения на инференс, а вместе с ним — и разговор о железе. Вопрос больше не в том, чья карта быстрее считает, а в том, сколько токенов она выдаёт на каждый потраченный ватт и на каждый доллар владения.

Почему инференс стал главной статьёй расходов

Логика простая. Модель обучают один раз (плюс дообучения и правки), а отвечает она на запросы постоянно. У сервиса с большой аудиторией суммарные затраты на инференс за жизненный цикл модели легко перекрывают стоимость её обучения. Отсюда и смена метрик: раньше мерились FLOPS и временем эпохи, теперь — задержкой на первый токен, пропускной способностью в токенах в секунду и энергопотреблением на этот же токен.

Есть и физический потолок. Дата-центры упираются не столько в деньги на закупку чипов, сколько в подведённую мощность и охлаждение. Стойка, которая раньше потребляла единицы киловатт, у современных ускорителей уходит в десятки. Когда лимит — это ватты в здании, а не количество серверов, энергоэффективность перестаёт быть строчкой в маркетинге и становится ограничением бизнеса.

Пиковая производительность продаётся на слайдах. Счёт за электричество и место в стойке платится каждый месяц — и именно он решает, останется ли сервис прибыльным.

Что изменилось в новых поколениях железа

Основных рычагов у производителей несколько, и почти все нацелены на снижение затрат энергии, а не только на рост чистой скорости.

• Низкоточные форматы. Переход от FP16 к FP8, а дальше к 4-битным представлениям снижает объём памяти под модель и трафик по шине. Меньше данных гоняется — меньше энергии тратится, а качество ответа при аккуратном квантовании страдает умеренно.
• Память ближе к вычислениям. Инференс больших языковых моделей упирается не в арифметику, а в пропускную способность памяти: веса нужно постоянно подтягивать. Отсюда ставка на HBM с высокой полосой и на архитектуры, где данные меньше путешествуют по кристаллу.
• Специализация под инференс. Появляются чипы, заточенные именно под выдачу токенов, а не под универсальные тренировочные нагрузки. Они жертвуют гибкостью ради того, чтобы конкретная операция стоила меньше джоулей.
• Софт как часть эффективности. Батчинг запросов, спекулятивное декодирование, кэш ключей и значений — без грамотного стека даже лучший чип выдаёт долю своей паспортной эффективности.

Метрики, по которым честно сравнивать

Сравнивать чипы только по TFLOPS бессмысленно: это пиковое число, до которого реальная нагрузка не дотягивает. Для инференса важнее прикладные показатели.

• Токены в секунду на конкретной модели и длине контекста.
• Токены в секунду на ватт — та самая энергоэффективность.
• Задержка первого токена и задержка между токенами при заданном числе одновременных пользователей.
• Стоимость владения на миллион токенов с учётом энергии и охлаждения, а не только цены железа.

Классы решений: чем они отличаются

Рынок инференс-железа не сводится к одному вендору. Ниже — сравнение подходов на уровне классов устройств, без привязки к конкретным цифрам производительности, которые зависят от модели, версии драйверов и стека и должны сверяться по документации на дату закупки.

Названия конкретных продуктов и их поколений я сознательно не подставляю там, где не уверен в актуальных характеристиках: линейки обновляются несколько раз в год, и цифра, верная сегодня, устаревает к следующему кварталу. Перед закупкой сверяйтесь с официальной документацией вендора и, если есть возможность, гоняйте пилот на своей модели и своём трафике.

Кому это пригодится и кому нет

Гонка за токенами на ватт касается не всех одинаково.

Кому важно прямо сейчас

• Сервисам с постоянной высокой нагрузкой. Чат-ассистенты, поиск с генерацией, обработка документов потоком — там, где инференс крутится 24/7, разница в энергоэффективности напрямую превращается в маржу.
• Компаниям, упёршимся в лимит мощности дата-центра. Если нельзя поставить больше стоек, единственный путь к росту — выжимать больше токенов из тех же ватт.
• Разработчикам локальных решений. Тем, кто держит модель на своём железе ради приватности данных, важен баланс между размером модели и потреблением на устройстве.

Кому можно не спешить

• Проектам на стадии прототипа. Пока нагрузка измеряется десятками запросов в день, экономия на ваттах не окупит миграцию. Дешевле облачный API с оплатой за токены.
• Разовым задачам. Пакетная обработка раз в месяц не требует собственного парка ускорителей.
• Тем, у кого узкое место в софте. Если стек не использует батчинг и кэш, смена железа даст меньше, чем оптимизация кода.

Практический порядок выбора

1. Замерьте свою реальную нагрузку: какая модель, какая длина контекста, сколько одновременных пользователей, какая допустимая задержка.
2. Посчитайте цель в токенах на ватт и в стоимости на миллион токенов с учётом энергии и охлаждения, а не только цены чипа.
3. Прогоните пилот на двух-трёх вариантах железа на своей же модели — паспортные цифры вендора почти всегда оптимистичнее прода.
4. Проверьте зрелость софтового стека под выбранный чип: наличие батчинга, квантования, кэша ключей и значений.
5. Оцените риск привязки к экосистеме: насколько дорого будет переехать, если условия провайдера изменятся.

Инференс — режим работы модели, когда она отвечает на запросы, а не учится. В отличие от обучения, здесь нет обратного прохода и обновления весов: модель только считает выход по готовым параметрам, поэтому и требования к железу другие — важнее пропускная способность памяти и энергия на токен, чем пиковая арифметическая мощность.