Робот смотрит, как задачу выполняет человек, а потом повторяет её сам — со своей камерой, своим телом и своим углом зрения. Разбираем, почему это сложнее, чем скопировать движения один в один.
Модель, которая учится сразу на отрезках траектории вместо отдельных переходов, реже накапливает ошибку прогноза. Разбираем, где это помогает в управлении и как это устроено.
Когда нейросети учатся координироваться, они начинают придумывать собственные сигналы. Разбираем, как из простой игры в передачу сообщений рождается язык с признаками композиционности.
Классическому роботу нужны тысячи повторов, чтобы освоить действие. One-shot imitation learning обещает обучение с одной демонстрации — и это меняет экономику робототехники.
Метод, где вместо градиентов агента обучает случайный шум и естественный отбор, масштабируется на тысячи ядер почти линейно. Разбираем, где он обгоняет RL, а где проигрывает.
Те же байесовские классификаторы, что чистят почту, теперь фильтруют телефонные звонки, SMS и даже посылки на складе. Разбираем, как работает детекция спама там, где нет заголовков письма.
OpenAI в 2017 году обучала модель просто предсказывать следующий символ в отзывах Amazon — а внутри неё сам собой возник один нейрон, отвечающий за позитив и негатив.
Стохастические нейросети (SNN) с шумом на скрытом слое учат политику низкого уровня набирать разнообразные навыки без явной награды, а затем менеджер комбинирует их под конкретную задачу.
За entropy-регуляризованным RL стоит математический факт: градиент политики и мягкий Q-learning оптимизируют один и тот же критерий и в пределе дают одну и ту же политику. Разбираем, откуда берётся эквивалентность и что она даёт на практике.
Google DeepMind, Nvidia и стартапы вроде Physical Intelligence переносят подход больших языковых моделей на роботов. Итог — машины, которые складывают бельё и открывают ящики без ручного программирования под каждую задачу.
Репозиторий OpenAI Baselines давно заморожен, а его DQN всё ещё копируют в туториалах. Разбираемся, что реально работает, где грабли и чем заменить в 2024 году.
Обучение на человеческих предпочтениях превратило сырую языковую модель в ChatGPT. Разбираем, как работает RLHF, чем его заменяют DPO и RLAIF и сколько стоит собрать разметку предпочтений.