Компьют стал новой нефтью ИИ: кто платит за обучение моделей

Стоимость одного прогона обучения крупной языковой модели измеряется десятками, а по ряду оценок — сотнями миллионов долларов. Публично компании точные цифры почти не раскрывают, но порядок понятен по косвенным признакам: заказы на десятки тысяч ускорителей, отдельные подстанции под дата-центры, многолетние контракты на поставку чипов. Компьют — то есть суммарная вычислительная мощность — стал главным ограничителем в разработке ИИ. Не алгоритм, не данные, а доступ к железу и электричеству определяет, кто останется в гонке.

Из чего складывается счёт за обучение

Когда говорят «модель стоила X долларов», обычно имеют в виду только аренду или амортизацию вычислений на этапе тренировки. Это не полная картина. Реальные затраты распадаются на несколько слоёв, и каждый растёт нелинейно с размером модели.

• Железо. Ускорители (GPU или специализированные чипы вроде TPU) — основная строка. Кластер под фронтир-модель — это тысячи, а у крупнейших игроков десятки тысяч карт.
• Электроэнергия. Дата-центр под обучение потребляет мегаватты. Счёт за электричество за месяцы тренировки сопоставим со стоимостью части оборудования.
• Охлаждение и инфраструктура. Отвод тепла, сеть с высокой пропускной способностью между узлами, резервное питание.
• Люди и провалившиеся запуски. Неудачные прогоны, отладка, эксперименты с гиперпараметрами. То, что публикуется как «финальная тренировка», — вершина айсберга.

Отдельная ловушка: обучение — разовое событие, а инференс¹ идёт постоянно, каждый раз, когда пользователь отправляет запрос. При массовом продукте суммарные затраты на инференс за год легко перекрывают стоимость самого обучения.

Почему компьют стал дефицитом

Спрос на ускорители несколько лет обгоняет предложение. Причин несколько, и они наложились друг на друга.

Во-первых, производство передовых чипов сосредоточено у узкого круга фабрик, и нарастить мощности за квартал невозможно — новая линия строится годами. Во-вторых, спрос синхронно вырос у всех сразу: облачные провайдеры, лаборатории ИИ, корпорации, запускающие собственные модели. В-третьих, чем крупнее становятся модели, тем больше карт нужно на один проект — рост не линейный.

Компьют превратился из технической детали в стратегический актив. Доступ к чипам сегодня значит примерно то же, что доступ к капиталу: без него вы просто не участвуете в гонке.

Масштаб против эффективности

Долгое время работал простой рецепт: больше параметров, больше данных, больше вычислений — лучше результат. Это правило масштабирования дало прорывы, но упёрлось в физику и экономику. Каждый следующий шаг качества требует кратно больше ресурсов.

Ответом стал сдвиг в сторону эффективности. Компании оптимизируют архитектуры, применяют разреженные модели (mixture-of-experts²), дистилляцию, квантизацию и другие приёмы, чтобы получить сопоставимое качество дешевле. Часть игроков делает ставку не на самые большие модели, а на компактные, которые дают приемлемый результат при доле затрат.

Обучение и инференс — разные экономики

Стоит различать две статьи расходов, потому что оптимизируют их по-разному.

Именно поэтому цена подписки на ИИ-сервис и цена API-запроса — это в первую очередь про инференс, а не про то, сколько стоило обучить модель. Провайдер размазывает стоимость обучения на весь срок жизни продукта, а вот каждый ваш запрос генерирует затраты здесь и сейчас.

Что это значит для тех, кто строит на ИИ

Если вы не тренируете фронтир-модель, а используете чужую через API или разворачиваете открытую у себя, компьют всё равно ваша главная переменная затрат. Несколько практических ориентиров.

1. Считайте стоимость на запрос, а не на модель. При росте нагрузки инференс определяет экономику продукта. Прикиньте, сколько стоит один типичный ответ и умножьте на прогноз трафика.
2. Не берите самую большую модель по умолчанию. Для многих задач компактная модель или дистиллят дают достаточное качество в разы дешевле.
3. Кешируйте и группируйте запросы. Повторяющиеся обращения и батчинг снижают счёт без потери качества.
4. Сравнивайте цены провайдеров и сверяйте актуальные тарифы. Цены на API и аренду GPU меняются часто; конкретные ставки уточняйте на страницах провайдеров, а не по памяти.
5. Оценивайте риск дефицита. Если бизнес критически зависит от доступа к мощностям, закладывайте запасной вариант — второй провайдер или собственное железо.

Гонка компьюта пока не выходит на плато. Одни игроки строят собственные чипы, чтобы не зависеть от одного поставщика, другие — гигаваттные дата-центры, третьи вкладываются в эффективность, чтобы обойтись меньшим. Проигрывает тот, у кого нет ни доступа к железу, ни инженерных приёмов его экономить.

¹ Инференс — работа уже обученной модели на реальных запросах: генерация ответа, классификация, перевод. Противопоставляется обучению, когда модель настраивает свои параметры.

² Mixture-of-experts — архитектура, где на каждый запрос активируется только часть подсетей («экспертов»), а не вся модель целиком. Позволяет наращивать число параметров без пропорционального роста затрат на вычисления.