GPT-2 через полгода: как OpenAI выкладывала модель по кускам

14 февраля 2019 года OpenAI анонсировала GPT-2 — языковую модель на 1,5 миллиарда параметров, которая умела дописывать связные тексты в тон затравке. Вместе с анонсом компания сделала то, чего от неё не ждали: не выложила полные веса. Опубликовали маленькую версию на 124M параметров, а старшие оставили у себя — из соображений безопасности. Через шесть месяцев, в августе 2019-го, OpenAI подвела промежуточный итог этого эксперимента с поэтапной публикацией и выложила модель на 774M. В ноябре того же года открыли и полную версию на 1,5B.

Что вообще случилось в феврале

В блоге OpenAI формулировка была осторожной: «из-за опасений о вредоносных применениях мы не выпускаем обученную модель». Под вредоносными понимали три сценария — генерация дезинформации в промышленных масштабах, поддельные отзывы и обзоры, автоматизированный фишинг и спам. Компания предложила подход, который сама назвала staged release: сначала маленькая модель для сообщества, потом — постепенное открытие версий побольше по мере того, как становится понятно, как с этим живут.

Реакция раскололась. Одни исследователи назвали это разумной предосторожностью и прецедентом для отрасли. Другие — Zachary Lipton, Anima Anandkumar и часть NLP-сообщества — считали, что OpenAI устроила пиар-манёвр: закрытость мешает науке, а сама модель не настолько прорывна, чтобы её нельзя было воспроизвести. К лету 2019-го внешние команды уже показали свои реплики сопоставимого качества.

Что показал шестимесячный отчёт

В августе 2019 OpenAI опубликовала пост «GPT-2: 6-Month Follow-Up» и параллельно — технический отчёт с партнёрами: Корнельским университетом, Институтом Миддлбери (CTEC) и Университетом Орегона. Главные наблюдения из отчёта:

• Массовых кампаний по автогенерации фейков с использованием GPT-2 в дикой природе не зафиксировано.
• Люди оценивают тексты GPT-2 как «убедительные» примерно так же, как настоящие статьи из New York Times — если не вчитываться.
• Автоматические детекторы синтетического текста ловят GPT-2 с точностью около 95% при доступе к весам модели и хуже — если модель дообучена под конкретную задачу.
• Файн-тюнинг на пропаганде и экстремистских текстах работает и даёт связный результат — это подтвердила команда Middlebury CTEC.

Хронология релизов

Почему в итоге всё-таки открыли

В ноябрьском посте OpenAI объяснила решение просто: за девять месяцев не появилось свидетельств массовых злоупотреблений, зато появились независимые реплики модели — например, от Buchanan и от студентов, воспроизведших архитектуру за несколько тысяч долларов на облачных GPU. Держать веса закрытыми стало бессмысленно: любой мотивированный игрок мог обучить сопоставимую модель сам.

Мы не увидели ни одного подтверждённого случая злоупотребления, но мы видели демонстрации того, что модель может быть использована для генерации синтетического текста, поддерживающего идеологические позиции.

Критика подхода

Через полгода после февральского анонса стало ясно, где staged release проседает. Во-первых, у решения о том, «опасна» ли модель, не было формальных критериев — только внутренняя оценка команды OpenAI. Во-вторых, задержка релиза не остановила злоумышленников (их и не было), но замедлила академические исследования — тем, кто хотел изучать детекцию синтетического текста, приходилось ждать. В-третьих, коммуникация подогрела ожидания: пресса писала про «слишком опасную модель», и это подсветило GPT-2 сильнее, чем сама модель того заслуживала.

Через год OpenAI пошла по противоположному пути: GPT-3 в 2020-м вышла не с открытыми весами, а через закрытый API с ручной модерацией доступа. Staged release как термин из отрасли пропал, но его наследие — идея responsible disclosure* для ML-моделей — осталось. Именно на неё сегодня ссылаются Anthropic, Google DeepMind и Meta, когда объясняют, почему у одной модели открыты веса, у другой — нет.

Что это изменило для отрасли

Февральский релиз GPT-2 создал шаблон, по которому теперь публикуются все крупные модели. Что именно вошло в норму:

1. Model card — карточка с описанием ограничений, датасета, известных провалов. После GPT-2 её сделали стандартом Google, Meta, Hugging Face.
2. Оценка рисков до релиза — red-teaming, тесты на дезинформацию, биориски. У GPT-4 и Claude это отдельный раздел system card на десятки страниц.
3. Разделение на open-weights и API-only — крупные лаборатории явно выбирают одну из двух стратегий и обосновывают выбор.
4. Совместные исследования с академией до публикации — модель Middlebury CTEC → OpenAI повторили Anthropic с METR и Apollo Research.

* Responsible disclosure — практика, пришедшая из инфобеза: сначала уведомить тех, кого касается уязвимость (или мощный инструмент), дать время подготовиться и только потом публиковать полные технические детали. Применительно к ML это означает поэтапное раскрытие весов и деталей обучения с оценкой рисков на каждом шаге.