Приватный AI-агент на своём железе: что нужно в 2025 году

Локальный AI-агент — это не только про паранойю и NDA. Открытые модели вроде Llama 3.3 70B, Qwen 2.5 и DeepSeek-V3 подтянулись достаточно, чтобы связка «модель + оркестратор + инструменты» на своём сервере закрывала часть задач, ради которых раньше платили за API OpenAI или Anthropic. Цена вопроса сместилась с ежемесячной подписки на разовую покупку видеокарты и часы на настройку. Разбираем, что реально понадобится и где проходит граница между «работает» и «мучение».

Из чего состоит self-hosted агент

Агент¹ — это не одна программа, а несколько слоёв, каждый из которых можно поменять независимо:

• Движок инференса — то, что физически запускает модель. Чаще всего это Ollama, llama.cpp или vLLM. Ollama проще всего поднять, vLLM выжимает больше скорости на одной или нескольких GPU.
• Модель — веса в формате GGUF (для llama.cpp/Ollama) или safetensors (для vLLM). Размер и квантизация определяют, влезет ли она в вашу память.
• Оркестратор — код, который решает, когда модель зовёт инструмент, а когда отвечает текстом. LangChain, LlamaIndex, CrewAI или собственный цикл на пару сотен строк.
• Инструменты — поиск по вашим документам через RAG², вызов внутренних API, выполнение кода в песочнице, чтение файлов.

Минимальный работающий набор: Ollama плюс модель на 7–14 млрд параметров плюс веб-интерфейс Open WebUI. Это ставится за вечер и уже отвечает на вопросы. Агентность — способность самому вызывать инструменты — начинается там, где вы добавляете оркестратор.

Сколько нужно железа

Главное ограничение — видеопамять (VRAM). Грубое правило: для модели в квантизации 4 бита нужно примерно столько гигабайт VRAM, сколько у неё миллиардов параметров, плюс запас на контекст. Реальные конфигурации на конец 2025 года выглядят так:

Отдельный вариант — Apple Silicon. У Mac Studio и Mac mini единая память делится между CPU и GPU, поэтому машина с 64 ГБ гоняет 70B-модель без отдельной видеокарты, хоть и медленнее, чем связка из двух 3090. Для одного пользователя, который не ждёт мгновенного ответа, этого достаточно.

Можно обойтись и без GPU вовсе — llama.cpp работает на CPU, — но скорость падает до единиц токенов в секунду на крупных моделях. Для интерактивной работы это тяжело, для фоновой обработки пачки документов ночью — терпимо.

Пошаговая сборка минимального агента

1. Поставьте движок инференса. Ollama ставится одной командой и сама скачивает модель: ollama pull qwen2.5:14b.
2. Проверьте, что модель отвечает локально, и убедитесь, что порт не торчит наружу без авторизации — по умолчанию Ollama слушает localhost, но при развороте на сервере это легко упустить.
3. Добавьте интерфейс. Open WebUI даёт чат в браузере и умеет подключать несколько моделей.
4. Подключите свои документы через RAG: загрузите PDF и заметки, чтобы агент отвечал на их основе, а не только из памяти модели.
5. Только после этого включайте вызов инструментов. Начните с одного безопасного — например, поиска по базе — и лишь потом давайте агенту доступ к выполнению кода или изменению файлов.

Самая частая ошибка при разворачивании — открыть агенту доступ к shell или файловой системе до того, как вы поняли, как он себя ведёт. Локальность защищает ваши данные от утечки наружу, но не от того, что модель сама сделает что-то разрушительное на вашей машине.

Приватность: что вы реально получаете

Главный аргумент за self-hosted — данные не покидают ваш контур. Ни промпты, ни документы, ни история диалогов не уходят на чужие серверы, не попадают в логи провайдера и не используются для обучения. Для медицины, юрфирм, разработки под NDA это часто не удобство, а требование.

Но приватность не бесплатна и не абсолютна. Модель вы качаете из интернета — доверие к её весам остаётся вопросом. Обновления безопасности инференс-движков придётся ставить самому. А если вы подключаете агенту внешние инструменты — веб-поиск, сторонний API, — данные уходят туда же, куда ушли бы и без локальной модели. Локальность защищает ядро, а не периметр.

Кому это пригодится, а кому нет

Стоит связываться, если:

• Вы работаете с данными, которые по закону или договору нельзя отправлять в облако — персональные данные пациентов, коммерческая тайна, код заказчика.
• У вас предсказуемая большая нагрузка: агент обрабатывает тысячи документов в месяц, и API-счёт вышел бы дороже амортизации видеокарты.
• Вам важна работа без интернета — офлайн-контур, изолированная сеть.
• Вам интересно разбираться в инфраструктуре, и время на настройку вы не считаете чистым убытком.

Не стоит, если:

• Вам нужен максимум качества на сложных задачах прямо сейчас — топовые проприетарные модели пока обгоняют открытые на многих замерах, и разрыв на самых трудных задачах ощутим.
• Нагрузка редкая и непредсказуемая: платить за простой видеокарты дороже, чем за токены по запросу.
• У вас нет ни своего железа, ни желания администрировать сервер, обновления и мониторинг.
• Задача разовая. Для неё дешевле и быстрее облачный API.

Гибрид как компромисс

Не обязательно выбирать один путь. Рабочая схема: локальная модель обрабатывает всё, что содержит чувствительные данные, а для редких сложных запросов оркестратор обращается к облачному API — предварительно вырезав из промпта то, что нельзя показывать наружу. Так вы держите приватность на потоке рутины и подключаете тяжёлую артиллерию только там, где локальная модель не тянет.

¹ Агент — программа, которая не просто отвечает текстом, а сама решает, какие действия предпринять: вызвать инструмент, выполнить поиск, повторить шаг. Модель тут — «мозг», а оркестратор — цикл, который даёт ей руки.

² RAG (Retrieval-Augmented Generation) — подход, при котором модель перед ответом ищет релевантные куски в вашей базе документов и отвечает на их основе, а не только по тому, что запомнила при обучении.