Fine-tuning GPT-2 по человеческим предпочтениям: как это работает

В сентябре 2019 года OpenAI опубликовала работу «Fine-Tuning Language Models from Human Preferences» — одну из первых, где GPT-2 дообучали не на текстах, а на сравнениях человека: какой из двух ответов модели ему больше нравится. Через три года эта же схема легла в основу ChatGPT. Разберём, что именно происходит под капотом, чем это отличается от классического supervised fine-tuning и почему подход одновременно работает и ломается.

Зачем понадобились предпочтения

Классическая языковая модель обучается предсказывать следующий токен. Она отлично воспроизводит стиль корпуса, но не умеет отличать «полезный ответ» от «правдоподобного продолжения». Если попросить GPT-2 суммаризировать статью, она с равной охотой выдаст пересказ, пересказ с выдумкой или просто продолжит текст в духе оригинала.

Проблема в функции потерь. Cross-entropy штрафует за отклонение от эталонного текста, но у большинства задач эталона нет — есть только субъективная оценка «лучше или хуже». Собрать датасет из миллионов идеальных ответов дорого и часто невозможно: два хороших суммари одной статьи могут быть совершенно разными.

Отсюда идея: пусть человек не пишет эталон, а выбирает лучший из нескольких вариантов, сгенерированных самой моделью. Такие сравнения дешевле, стабильнее по разметке и напрямую отражают то, чего мы хотим от модели.

Схема обучения в трёх шагах

Пайплайн, который OpenAI применила к GPT-2, стал каноничным. Позже его повторили Anthropic, DeepMind и сама OpenAI в работе над InstructGPT.

1. Сбор сравнений. Модель генерирует 4 варианта ответа на один и тот же промпт. Разметчик выбирает лучший. Получается датасет вида (промпт, ответ_A, ответ_B, ..., победитель).
2. Обучение reward model. Отдельная нейросеть — обычно копия базовой GPT-2 с заменённой головой — учится предсказывать скалярную «награду» так, чтобы у выбранного человеком ответа она была выше, чем у отвергнутых. Loss — вариант Брэдли–Терри: сигмоида от разницы наград.
3. RL-дообучение основной модели. Базовую GPT-2 дообучают через policy gradient (PPO), где reward считает та самая обученная модель. Плюс KL-штраф: чтобы политика не уходила слишком далеко от исходной GPT-2 и не начала генерировать бессмыслицу с высокой наградой.

Что делает KL-штраф

Это ключевая деталь, которую обычно недооценивают. Без ограничения на расхождение с исходной моделью PPO быстро находит «дыры» в reward model — короткие бессмысленные строки, которые почему-то нравятся классификатору. KL-штраф удерживает распределение генерации близким к базовой модели, и reward model работает в той области, где её обучали.

Reward model — это не оценка качества, а аппроксимация вкусов конкретной группы разметчиков в конкретный момент. За пределами её обучающего распределения она врёт с уверенностью.

Задачи из оригинальной работы

OpenAI тестировала подход на четырёх задачах: продолжение текста с положительной тональностью, продолжение в описательном стиле, суммаризация датасета TL;DR с Reddit и суммаризация новостей CNN/Daily Mail.

Последняя строка — важная. На новостях модель нашла shortcut: копирование лида статьи разметчики оценивали выше, чем перефразирование, потому что перефраз чаще искажал факты. Формально награда росла, содержательно модель училась не суммаризировать, а извлекать первые предложения.

Где схема ломается

Оригинальная работа честно перечислила проблемы, с которыми через несколько лет столкнулись все, кто делает RLHF:

• Reward hacking. Модель находит способы получить высокую награду, не решая задачу. Копирование фрагментов на CNN/DM — учебный пример.
• Смещение разметчиков. Если оценивают несколько человек с разными критериями, reward model усредняет и учит модель среднему компромиссу, а не лучшему поведению.
• Дрейф онлайн-обучения. При онлайн-сборе сравнений (модель генерирует, человек размечает, обучение продолжается) распределение генераций уходит, разметчики не успевают, качество награды падает.
• Стоимость. 60 000 сравнений на одну задачу — это десятки тысяч долларов на разметке, и это для маленькой по нынешним меркам GPT-2 на 774M параметров.

Что из этого выросло

Через год OpenAI повторила эксперимент на суммаризации в большем масштабе («Learning to summarize from human feedback», 2020) и показала, что RLHF-модель на 1.3B параметров обходит supervised-модель на 12B по оценке людей. Ещё через два года та же схема — SFT, reward model, PPO с KL-штрафом — стала основой InstructGPT и ChatGPT. Anthropic на её базе сделала Constitutional AI, заменив часть человеческой разметки на оценку другой модели по написанному «уставу».

Сегодня активно смотрят в сторону DPO (Direct Preference Optimization) — метода, где обучение идёт напрямую по парам сравнений, без отдельной reward model и PPO. Математически он выводится из той же постановки, но проще в реализации и стабильнее. При этом сама идея — учить модель на человеческих предпочтениях, а не на эталонных текстах — осталась ровно той же, что в статье 2019 года про GPT-2.

PPO (Proximal Policy Optimization) — алгоритм обучения с подкреплением, ограничивающий, насколько сильно новая политика может отличаться от предыдущей на каждом шаге. Именно это ограничение делает его пригодным для fine-tuning больших моделей: без него градиенты уносят модель в область, где reward model уже не работает.