Финансовые LLM: BloombergGPT против открытых моделей

В марте 2023 года Bloomberg показал BloombergGPT — языковую модель на 50 миллиардах параметров, обученную наполовину на собственном корпусе финансовых данных за 40 лет. В опубликованной статье она обошла сопоставимые по размеру открытые модели (GPT-NeoX, OPT-66B) на финансовых бенчмарках, не потеряв при этом в общих задачах. Спустя два года модель так и осталась внутренним инструментом: её нельзя скачать, нельзя запустить у себя и нельзя дообучить. И это главный вопрос для любого, кто строит финансового агента — платить за закрытую вертикаль или собирать стек из открытых компонентов.

Что такое BloombergGPT и почему это отдельная история

Большинство отраслевых LLM — это дообученные версии общих моделей. BloombergGPT пошёл иначе: модель обучали с нуля на смешанном корпусе. По данным исследовательской работы Bloomberg, обучающий датасет составил около 700 миллиардов токенов, из которых примерно половину составил проприетарный корпус FinPile — новости, пресс-релизы, финансовая отчётность и документы, накопленные компанией. Вторая половина — публичные данные общего назначения.

Смысл затеи в том, что финансовый текст живёт по своим правилам. «EPS beat», «guidance cut», тикеры, аббревиатуры регуляторов, специфика тональности в отчётах — на этом общие модели спотыкаются. Модель, которая с рождения видела такой язык, распознаёт тональность новости и извлекает сущности точнее.

Отраслевая модель выигрывает не там, где нужен интеллект, а там, где нужен словарь. Финансовый жаргон — это не сложность рассуждения, это плотность контекста, которого нет в открытом интернете.

Где закрытость становится проблемой

BloombergGPT встроен в функции терминала Bloomberg и недоступен отдельно. Для инвестбанка с подпиской это нормально. Для финтех-стартапа, хедж-фонда средней руки или команды, которая строит собственного агента для анализа отчётности, это тупик: нельзя провести аудит поведения модели, нельзя дообучить под свою нишу, нельзя гарантировать, что данные не уйдут наружу.

Что предлагают открытые альтернативы

За два года ландшафт изменился радикально. Пока BloombergGPT оставался за забором, открытые базовые модели (Llama, Qwen, Mistral, DeepSeek) выросли и в размере, и в качестве. На их основе появились специализированные финансовые проекты — от дообученных моделей до готовых бенчмарков.

• FinGPT — открытый проект, делающий ставку не на обучение с нуля, а на дешёвое дообучение (LoRA) поверх открытых базовых моделей. Идея прямо противоположна Bloomberg: не тратить миллионы на предобучение, а быстро адаптировать готовую модель под задачу вроде анализа тональности.
• Открытые базовые модели общего назначения — Llama, Qwen, Mistral и другие, которые можно развернуть локально и дообучить на своих данных под конкретный финансовый пайплайн.
• Финансовые бенчмарки — наборы задач (например, FinBen и подобные) позволяют сравнивать модели на извлечении сущностей, тональности, вопросах по отчётности, а не верить на слово чужим таблицам.

Точные размеры, лицензии и метрики конкретных версий сверяйте по репозиториям и карточкам моделей — они обновляются часто, и цифра из прошлогодней статьи уже может быть неверной.

Дообучение вместо предобучения

Главный сдвиг рынка: обучать модель с нуля ради одной отрасли почти никому не нужно. Дообучение открытой модели через LoRA^* обходится в тысячи, а не миллионы долларов, и делается на паре видеокарт за часы. Подход Bloomberg — предобучение на закрытом корпусе — оправдан, когда у вас есть уникальные 40 лет данных. У большинства их нет, зато есть узкая задача, под которую достаточно адаптации.

Сравнение подходов

Цена вопроса

Разница не в абстрактном качестве, а в деньгах и рисках. BloombergGPT приходит вместе с подпиской на терминал, а это десятки тысяч долларов в год на одного пользователя — но за них вы получаете данные, которых больше нигде нет, и не думаете об инфраструктуре. Открытый стек снимает лицензионный порог, но перекладывает на вас три статьи расходов, о которых легко забыть на старте:

1. Инфраструктура. Запуск модели среднего размера в проде требует GPU. Это либо аренда в облаке помесячно, либо капитальные затраты на своё железо.
2. Данные. Открытая модель не знает вашей специфики. Качественный датасет для дообучения — это часы работы аналитиков, а не бесплатный скрапинг.
3. Поддержка и оценка. Финансовый агент, который иногда галлюцинирует по цифрам, опаснее его отсутствия. Нужен постоянный контроль качества и защита от ошибок в числах.

Когда что выбирать

Если вы уже платите за терминал и вам нужен помощник внутри рабочего процесса — закрытое решение вендора избавит от головной боли. Если вы строите продукт, работаете с чувствительными клиентскими данными или вам нужна ниша, которую вендор не покрывает, — открытый стек даёт контроль, которого у закрытой модели нет по определению.

^* LoRA (Low-Rank Adaptation) — метод дообучения, при котором обновляют не все веса модели, а небольшой добавочный набор параметров. Это резко снижает требования к памяти и стоимость адаптации под конкретную задачу.