Агент, обученный проходить уровень игры без единой ошибки, проваливается на новом уровне с той же механикой. Разбираем, как исследователи научились отделять запоминание от настоящего обобщения в RL.
Каждое удвоение размера модели требует непропорционально больше данных и вычислений. Разбираем законы масштабирования: сколько это стоит и где рост упирается в потолок.
Языковые модели стали дешевле в пересчёте на токен и лучше в бенчмарках, но три проблемы никуда не делись: выдумки, стоимость контекста и приватность данных. Разбираем, что это значит для тех, кто их внедряет.
Атаки, добавляющие невидимые для человека помехи, ломают нейросети. Но требование устойчивости упирается не только в данные, а в вычислительную стену — и это даёт неожиданные бонусы.
Выравнивание моделей всё чаще ломается не на математике, а на людях: чью пользу оптимизировать, как собирать оценки и почему разметчики не согласны друг с другом.
OpenAI выложила Spinning Up in Deep RL бесплатно: теория, шесть алгоритмов с кодом и список статей для чтения. Разбираем, кому этот материал реально поможет войти в обучение с подкреплением, а кому стоит поискать другое.
Neural MMO — открытая среда, где сотни и тысячи обучаемых агентов борются за еду, воду и территорию одновременно. Разбираем, чем она отличается от классических RL-песочниц и зачем такой масштаб исследователям.
Энергетические модели снова в игре: вместо явной генерации они учат функцию энергии и достают образцы через MCMC. Разбираем, как это работает и где спотыкается на практике.
OpenAI и Google Brain показали Activation Atlases — способ развернуть на плоскости то, что распознаёт свёрточная сеть внутри. Это не просто картинки: атлас вскрывает и слабые места классификаторов.
В апреле 2019 года бот OpenAI Five победил команду OG — действующих чемпионов The International — со счётом 2:0. Разбираемся, что стояло за этой победой и почему она важнее шахмат и го.
Полное внимание в трансформере стоит O(n²) по памяти и времени. Разреженные схемы внимания снижают эту стоимость и позволяют работать с длинными последовательностями — от геномов до аудио и изображений.
Модель, обученную держать удар против L-бесконечности, легко ломает L2 или пятно-патч. Разбираем, почему робастность не переносится между типами возмущений и что с этим делать инженеру.