GPT-3 в приложениях: как API OpenAI изменил рынок за два года

OpenAI открыла API GPT-3 в июне 2020 года — сначала по инвайтам, потом для всех желающих. К марту 2021 года на модели работало более 300 приложений, а генерация текста дошла до 4,5 миллиарда слов в сутки. За два года GPT-3 превратился из демо для энтузиастов в бэкенд для десятков коммерческих сервисов — от копирайтинга до генерации кода.

Что именно даёт разработчикам GPT-3

Модель на 175 миллиардов параметров доступна через REST API. Разработчик отправляет промпт, получает продолжение. Никаких обучающих датасетов, GPU-кластеров и месяцев работы ML-команды — вся инфраструктура на стороне OpenAI. Это принципиальное отличие от предыдущей эпохи, когда для запуска приличной языковой модели требовалось нанимать исследователей и арендовать сервера за десятки тысяч долларов в месяц.

Технически интеграция сводится к HTTP-запросу:

import openai

openai.api_key = "sk-..."

response = openai.Completion.create(
    model="text-davinci-002",
    prompt="Напиши краткое описание товара: кроссовки для бега",
    max_tokens=120,
    temperature=0.7
)

print(response.choices[0].text)

Всё. Никакого TensorFlow, никакой возни с весами. Именно эта простота и запустила волну стартапов.

Кто уже строит бизнес на GPT-3

Пул продуктов широкий, но большинство укладывается в четыре сценария: генерация маркетинговых текстов, помощь программистам, чат-боты и суммаризация.

• Copy.ai, Jasper (бывший Jarvis), Copysmith — генерация рекламных текстов, постов, email-рассылок. Jasper к концу 2021 года заявлял о 70 000 клиентов и годовой выручке около 40 миллионов долларов.
• GitHub Copilot — помощник программиста на основе Codex, специализированной версии GPT-3. Подсказывает код прямо в IDE.
• Duolingo — использует GPT-3 для объяснения грамматических ошибок во французском.
• Viable — анализирует отзывы клиентов и превращает тысячи комментариев в короткие сводки.
• Fable Studio — генерирует диалоги для интерактивных персонажей в VR.

Сколько это стоит

Цена зависит от модели. OpenAI считает в токенах — примерно 0,75 слова английского текста на токен. Русский текст токенизируется хуже: одно слово — два–три токена, что делает генерацию на кириллице заметно дороже.

Средняя статья на 800 слов, сгенерированная Davinci, обходится примерно в 5–7 рублей на сырую генерацию. С учётом того, что реальные продукты крутят по несколько запросов на пользовательскую сессию, расходы на API у активного SaaS-сервиса легко превышают 50 000 долларов в месяц.

Где GPT-3 ломается

Модель уверенно генерирует правдоподобный текст, но не отличает правду от выдумки. Это главная головная боль тех, кто строит на ней продукт.

«GPT-3 — превосходный стилист и посредственный источник фактов. Если вы полагаетесь на него как на энциклопедию, вы полагаетесь зря».

Конкретные проблемы, о которых знает любой, кто запускал модель в прод:

1. Галлюцинации. Модель выдумывает названия книг, цитаты, статистику и даже ссылки на несуществующие исследования. В юридических и медицинских продуктах это дисквалифицирующий недостаток.
2. Контекстное окно. Davinci помнит 4096 токенов — около 3000 слов вместе с промптом и ответом. Для длинных документов приходится городить схемы с чанкованием и векторным поиском.
3. Смещения. Модель обучалась на интернете и воспроизводит его предвзятости — от гендерных стереотипов до токсичности. OpenAI встроила фильтры, но обходятся они за десять минут инженерной работы.
4. Латентность. Davinci отдаёт длинный ответ 3–8 секунд. Для чата приемлемо, для автодополнения — уже нет.
5. Зависимость от одного вендора. Если OpenAI поднимет цены или закроет доступ конкретному продукту, у бизнеса нет плана Б за неделю.

Что делать с этим сейчас

Если вы рассматриваете GPT-3 для своего продукта, короткий чек-лист:

• Считайте юнит-экономику до того, как писать код. Прикиньте среднее число токенов на действие пользователя и умножьте на MAU. Многие красивые идеи не сходятся на цене API.
• Не отдавайте фактологию модели. Для домена со строгими требованиями — RAG^*: подтягивайте факты из своей базы и просите GPT-3 только переформулировать.
• Держите fallback на случай сбоя API. Даунтаймы у OpenAI бывают, и они бьют по всей вашей воронке сразу.
• Проверьте свой сценарий на конкурентах — Cohere, AI21 Jurassic-1, EleutherAI GPT-J. Иногда open-source-модель, развёрнутая у себя, выходит дешевле уже на 10 миллионах токенов в месяц.

^* RAG (Retrieval-Augmented Generation) — подход, при котором модель получает не только запрос, но и релевантные фрагменты из внешней базы знаний. Снижает частоту галлюцинаций за счёт опоры на проверенные данные.