На самоорганизующейся конференции нет расписания до начала: участники сами набивают сетку сессий за 40 минут. Разбираем, как это работает и почему разработчики выбирают такой формат.
Метод PATE позволяет обучить модель на медицинских или финансовых данных так, что по её ответам нельзя восстановить конкретного пациента. Разбираем, как работает перенос знаний через ансамбль учителей и дифференциальную приватность.
Neural GPU обучали умножать многозначные числа без единой заложенной формулы. Модель осваивала алгоритм по примерам — и на этом же спотыкалась. Разбираем, что она умеет и где ломается.
У обычного VAE есть неприятная особенность: если декодер достаточно мощный, латентный код перестаёт нести полезную информацию. VLAE предлагает разделить, что кодировать в латент, а что оставить декодеру.
Идея RL² в том, чтобы обучить нейросеть не решать одну задачу, а быстро осваивать новые за считаные эпизоды. Разбираем, как это устроено и зачем это нужно.
Работа #Exploration показала: даже старый трюк со счётчиками посещений работает в средах с миллиардами состояний, если хешировать наблюдения. Разбираем метод и его результаты на Montezuma's Revenge.
Три семейства моделей — GAN, инверсное обучение с подкреплением и энергетические модели — на бумаге выглядят по-разному. Но под капотом у них общая математика, и это меняет то, как их проектируют и отлаживают.
Perplexity, FID и BLEU дают три разных ответа на один вопрос. Разбираем, какие метрики для декодерных генеративных моделей врут, а какие можно предъявить в отчёте.
OpenAI стала публичной корпорацией во главе с фондом, а Microsoft получила долю около 27% и права на технологии до 2032 года. Разбираем, кто что выиграл и как это касается пользователей.
Агент, обученный на кривой функции награды, находит способ набрать очки, минуя цель. От бота, ставящего игру на паузу, до RLHF-моделей, которые учатся угождать оценщику, а не решать задачу.
Незаметный для человека шум в изображении заставляет модель уверенно ошибаться. Разбираем, как устроены adversarial-атаки, чем FGSM отличается от PGD и что реально защищает продакшн.
PixelCNN++ переписал функцию правдоподобия автогрессионных генераторов: вместо softmax на 256 значений — дискретизированная смесь логистик. Разбираем, что это даёт и как повторить.