OpenAI выпустила очередной набор Scholars — стипендиатов, которые за несколько месяцев с нуля осваивают исследования в ML. Разбираем, как устроена программа, сколько платят и что из этого получается.
OpenAI показала DALL·E в январе 2021 года как исследовательскую демку. За четыре года text-to-image стал массовым продуктом с ценой за картинку и лицензионными спорами.
OpenAI усиливает совет директоров политиком и бывшим офицером ЦРУ Уиллом Хёрдом. Это назначение продолжает линию на укрепление связей компании с Вашингтоном после кризиса в правлении.
Шесть стратегий, четыреста миллионов раундов симуляции и агенты, которые научились строить укрытия и красть рампы. Разбираем эксперимент OpenAI с эмерджентным поведением в мультиагентной среде.
Microsoft расширяет инвестиции в OpenAI и продлевает эксклюзивное партнёрство. Формально — ради «безопасного AGI на пользу человечеству». По факту — ради Azure, Copilot и контроля над самой дорогой лабораторией отрасли.
RLHF стал стандартом обучения языковых моделей, но всё началось с экспериментов OpenAI над GPT-2 в 2019 году. Разбираем, как модель учат писать так, как хочет человек, а не так, как ей удобно.
Safe RL обещает агентов, которые не ломают окружение ради награды. На практике разные бенчмарки дают противоположные выводы об одних и тех же алгоритмах. Разбираемся, почему так и что с этим делать.
В феврале 2019 OpenAI показала GPT-2, но полную модель не выложила — испугалась массовой генерации фейков. Через шесть месяцев компания отчиталась, что увидела за это время, и открыла версию покрупнее.
Procgen — набор из 16 процедурно генерируемых игр от OpenAI, где агент обучается на одних уровнях и проверяется на других. Именно на нём становится видно, что RL умеет запоминать, но не переносить навык.
В апреле 2019 бот от OpenAI обыграл чемпионов мира OG со счётом 2:0. За кулисами — 10 месяцев обучения, 128 000 CPU-ядер и алгоритм, который уместился в десяток страниц.
Классическая статистика учит: сложная модель переобучается. Но на нейросетях кривая ошибки делает второй нырок вниз — и это меняет практику подбора размера и длительности обучения.
OpenAI закрепила PyTorch как основной фреймворк для исследований и продакшена. Разбираем, что это значит для рынка, конкурентов и разработчиков, которые выбирают инструмент для своих моделей.