Локальный запуск LLM: реальна ли экономия углеродного следа

Вокруг ИИ-агентов, которые крутятся сутками и дёргают модель на каждом шаге рассуждения, всё чаще звучит аргумент: перенесите инференс с облачных GPU на локальное железо и снизите углеродный след. За последний год под это подросла инфраструктура — Ollama, llama.cpp, LM Studio, семейства открытых весов вроде Llama 3, Qwen2.5, Mistral и Gemma 2 в квантованных версиях, которые запускаются на ноутбуке или домашнем ПК с одной видеокартой. Вопрос не в том, можно ли так делать — можно. Вопрос в том, действительно ли это экологичнее и в каких сценариях.

Что вообще считаем

Углеродный след инференса складывается из трёх слагаемых: сколько энергии тратит железо на генерацию ответа, откуда эта энергия (уголь, газ, атом, ветер) и накладные расходы дата-центра на охлаждение. Для облака последнее слагаемое описывают коэффициентом PUE¹ — у крупных провайдеров он близок к 1,1–1,2, то есть на каждый ватт вычислений уходит ещё 10–20% на инфраструктуру. Домашний ПК работает без промышленного охлаждения, но и без него же — то есть его эффективность на единицу вычислений обычно хуже, а энергия из розетки может быть куда «грязнее» облачной.

Ключевая развилка — не «локально против облака», а «на каком железе и на какой энергии». Модель на 7 миллиардов параметров в 4-битном квантовании отвечает на бытовой запрос за доли секунды, потребляя на разряд меньше, чем облачный вызов к модели уровня GPT-4-класса. Тот же агент, гоняющий локально плотную модель на 70B без разгрузки на CPU, легко упрётся в 300–450 Вт на видеокарте под нагрузкой — и тогда вся «экономия» испарится.

Где локальный запуск реально выигрывает

Выигрыш появляется на пересечении трёх условий: маленькая или сильно квантованная модель, много однотипных запросов и энергоэффективное железо. Самый показательный случай — Apple Silicon и другие ARM-платформы с унифицированной памятью: они дают приличную скорость генерации при энергопотреблении в единицы и десятки ватт, а не сотни.

• Агент-классификатор. Разбирает входящие письма или тикеты по категориям. Запрос короткий, модели 3B–8B хватает, вызовов тысячи в день. Локально это ватты, в облаке — сетевой трафик плюс доля прожорливой большой модели.
• Локальная RAG-система² по внутренним документам. Эмбеддинги и небольшая генеративная модель на своём сервере — и данные не уходят наружу, и на каждый вопрос не будят облачный кластер.
• Пакетная обработка ночью. Если железо всё равно включено и часть суток простаивает, догрузить его инференсом дешевле по совокупному следу, чем поднимать облачную квоту.

Локальная модель экологична не потому, что она локальная, а потому что вы осознанно берёте инструмент под задачу. Гонять 70B ради сортировки писем — это как топить дом костром из мебели.

Где это иллюзия экономии

Облачные провайдеры выигрывают за счёт масштаба: одна и та же дорогая видеокарта обслуживает сотни пользователей, загрузка близка к максимальной, а простой минимален. Ваша домашняя карта, купленная ради агента, большую часть суток либо простаивает (и всё равно ест энергию в idle), либо недогружена. С точки зрения углеродного следа на один полезный ответ облако при высокой утилизации часто оказывается эффективнее.

Второй фактор — источник энергии. Крупные дата-центры всё активнее заявляют о питании от возобновляемых и атомных источников; ваша розетка питается от того, что в местной сети. Если это регион с угольной генерацией, локальный запуск может оказаться грязнее облачного, даже при меньшем числе ватт-часов на запрос.

Сравнение подходов

Точные цифры энергопотребления зависят от конкретной видеокарты, длины контекста и настроек квантования — приведённые диапазоны это ориентир, а не измерение вашей системы. Померить свой случай можно бытовым ваттметром на розетке или через показания драйвера GPU.

Кому это пригодится, а кому нет

Пригодится:

• Тем, у кого агент делает много однотипных коротких вызовов и хватает модели до 8–14B — экономия и по деньгам, и по следу реальна.
• Тем, для кого важнее приватность и офлайн-работа: локальный запуск здесь оправдан сам по себе, углеродная выгода идёт бонусом при разумном железе.
• Разработчикам, которые уже держат сервер или мощный ПК под другие задачи и загружают его инференсом в простое.

Не пригодится:

• Тем, кому агент нужен раз в час на пару запросов: покупать и держать включённой GPU ради этого — чистый перерасход.
• Тем, кто хочет качество уровня топовых проприетарных моделей: локально придётся ставить крупную модель, и энергетический баланс развернётся не в вашу пользу.
• Тем, кто живёт в регионе с угольной сетью и рассчитывает именно на экологию, а не на приватность.

Как снизить след, если решили запускать локально

1. Берите минимальную модель, которая проходит вашу задачу по качеству. Проверьте, справляется ли 3B, прежде чем ставить 8B.
2. Используйте квантование (4–5 бит) — оно режет и память, и потребление при приемлемой потере качества на многих задачах.
3. Не держите модель постоянно в памяти, если запросы редкие: инструменты вроде Ollama выгружают её из VRAM по таймауту.
4. Группируйте запросы в пакеты вместо непрерывного опроса — так GPU реже выходит из энергосберегающего состояния.
5. Измерьте фактическое потребление ваттметром и сравните с оценкой облачного вызова, а не полагайтесь на ощущение «локально значит зелёно».

¹ PUE (Power Usage Effectiveness) — отношение всей энергии дата-центра к энергии, ушедшей непосредственно на вычисления. Значение 1,0 — идеал, когда на охлаждение и инфраструктуру не тратится ничего.

² RAG (Retrieval-Augmented Generation) — схема, где модель перед ответом подтягивает релевантные фрагменты из базы документов, а не полагается только на знания в весах.