
L₀-регуляризация: как обучать разреженные нейросети напрямую
Прямая штрафовка числа ненулевых весов долго считалась невозможной для градиентного спуска. Метод L₀-регуляризации через hard concrete distribution обходит это ограничение и режет параметры прямо во время обучения.










