Репозиторий OpenAI Baselines давно заморожен, а его DQN всё ещё копируют в туториалах. Разбираемся, что реально работает, где грабли и чем заменить в 2024 году.
Обучение на человеческих предпочтениях превратило сырую языковую модель в ChatGPT. Разбираем, как работает RLHF, чем его заменяют DPO и RLAIF и сколько стоит собрать разметку предпочтений.
Ансамбль из нескольких Q-сетей превращает разброс их оценок в бонус за исследование. Разбираем, как это работает на практике и чем отличается от epsilon-greedy.
Одиночная нейросеть отвечает на вопрос. Несколько агентов в одной среде начинают вести себя иначе: договариваться, обманывать и делить ресурсы. Разбираем, чему на самом деле учатся мультиагентные системы.
Наивный цикл интегрирования N тел на чистом Python считает секунды там, где NumPy справляется за миллисекунды. Разбираем, где Python теряет скорость и чем это лечится.
Дистилляция знаний и curriculum learning дают связку: сильная модель-учитель размечает и упорядочивает данные, а компактный студент учится быстрее и дешевле. Разбираем, где это работает, а где ломается.
В разреженных наградах агент может миллионы шагов не получать ни одного положительного сигнала. HER переписывает цель постфактум и превращает неудачные эпизоды в обучающие примеры.
Изменение одного знака в изображении переворачивает предсказание нейросети. Разбираем, что такое устойчивые состязательные примеры, чем они опасны в проде и как их ловить.
Proximal Policy Optimization стал стандартом обучения с подкреплением: на нём OpenAI обучала манипуляторы, игровых ботов и этап RLHF в ChatGPT. Разбираем, как он устроен и почему вытеснил конкурентов.
Каждый матч Dota 2 оставляет след в открытых данных: пики, урон, тайминги. Разбираем, как вытащить эту статистику через OpenDota API и не упереться в лимиты запросов.
OpenAI показала, что добавление шума не к действиям агента, а прямо к весам его нейросети заметно улучшает исследование среды в задачах обучения с подкреплением.
RLHF стоит компаниям миллионы долларов и сотни часов работы разметчиков. Разбираем, как устроен сбор человеческой обратной связи и где он ломается.