Устойчивость к атакам не переносится между типами шума

Проблема в одной фразе

Вы потратили несколько суток GPU на adversarial training, прогнали модель через PGD, получили на CIFAR-10 честные 50 с лишним процентов точности под атакой — и радуетесь. А потом кто-то меняет тип возмущения с L-бесконечности на L2 или подставляет наклейку-патч в углу кадра, и точность падает почти до нуля. Это не баг вашего кода. Это фундаментальное свойство состязательной устойчивости: она обучается под конкретную угрозовую модель¹ и почти не переносится на другие.

Для инженера вывод неприятный: «робастная модель» без указания, к чему именно она робастна, — это маркетинг, а не характеристика. Ниже — что известно о переносе устойчивости между типами атак, почему перенос слабый и какие подходы реально расширяют покрытие, а не создают его иллюзию.

Что такое тип возмущения

Состязательная атака ищет минимальное изменение входа, которое ломает предсказание. Но «минимальное» измеряется в какой-то метрике, и метрик несколько. Самые распространённые семейства:

• L∞ — ограничивается максимальное изменение каждого пикселя (например, не более 8/255). Классика, под неё заточен PGD и большинство бенчмарков.
• L2 — ограничивается евклидова норма всего вектора изменений. Возмущение может быть заметным в одной области и нулевым в другой.
• L1 — поощряет разреженные изменения: сильно меняется мало пикселей.
• Патчи и наклейки — локальное, но ничем не ограниченное по амплитуде изменение в небольшой зоне кадра.
• Пространственные и физические — сдвиги, повороты, изменение яркости, распечатанные объекты в реальном мире.

Ключевое: L∞ и L2 задают геометрически разные «шары» вокруг исходного примера. Модель, у которой выровнена граница решения под кубический шар L∞, ничего не гарантирует про сферу L2, и наоборот.

Почему перенос слабый

Adversarial training по сути минимизирует худший случай внутри выбранного шара. Оптимизация честно делает то, о чём её просили: сглаживает поверхность потерь ровно в тех направлениях, которые допускает угрозовая модель. Направления, лежащие вне этого шара, никто не штрафовал — там граница решения остаётся такой же хрупкой, как у обычной модели.

Модель не учится «быть устойчивой». Она учится быть устойчивой к тому конкретному множеству возмущений, которое вы ей показали во время обучения. Всё остальное — вне её опыта.

Есть и второй эффект, который делает ситуацию хуже наивных ожиданий: обучение под одну норму может снижать устойчивость к другой по сравнению даже с необученной моделью. Специализация под L∞ иногда делает модель более уязвимой к разреженным L1-атакам, потому что защита «размазывает» чувствительность равномерно, а L1 бьёт точечно.

Наблюдаемая картина

Обобщая опубликованные эксперименты по multi-norm robustness, качественная картина такая:

Конкретные проценты сильно зависят от датасета, архитектуры и бюджета атаки, поэтому здесь намеренно даны качественные градации, а не выдуманные числа. Если вам нужны цифры для отчёта — снимайте их на своей связке модель-данные-атака, чужие бенчмарки не переносятся так же плохо, как сама робастность.

Что делать инженеру

1. Определите угрозовую модель до обучения

Прежде чем считать метрики, ответьте: от чего защищаемся? Физические патчи в камере распознавания и цифровые L∞-возмущения в API — это разные враги. Если вы не можете назвать норму, эпсилон и способ доставки атаки, вы не можете и обещать устойчивость.

2. Тестируйте несколькими независимыми атаками

Одна атака одного типа — это не оценка робастности, а её имитация. Минимальный честный набор:

1. Сильная итеративная атака под ту норму, под которую обучали (проверка, что обучение вообще сработало).
2. Хотя бы одна атака под другую норму — чтобы увидеть провал переноса своими глазами.
3. Ансамблевая или адаптивная атака (например, семейство AutoAttack), которая не даёт модели «обмануть» одну конкретную процедуру.

3. Обучайте под несколько угроз сразу, если нужно широкое покрытие

Если реально требуется держать и L∞, и L2, и разреженные атаки, есть несколько стратегий, и у каждой своя цена:

• Worst-case по нескольким нормам — на каждом шаге берётся самая сильная из нескольких атак. Дороже обычного adversarial training кратно числу норм и просаживает чистую точность сильнее.
• Average-case — усреднение по типам атак. Дешевле, но защита от каждого отдельного типа получается слабее пиковой.
• Расширение угрозового множества — обучение на объединении шаров (например, аппроксимация union нескольких Lp). Технически сложнее, но ближе к тому, что реально хочется.

4. Не путайте робастность и общую устойчивость к шуму

Устойчивость к случайному гауссову шуму, размытию, JPEG-компрессии (это уже corruption robustness) — отдельная задача. Модель, натренированная против состязательных возмущений, не обязана хорошо держать обычные искажения, и наоборот. Смешивать эти метрики в одном отчёте — способ ввести в заблуждение и себя, и заказчика.

Итог

Adversarial robustness — не глобальное свойство модели, а локальный контракт: «в пределах вот этого множества возмущений предсказание не сломается». За границами контракта гарантий нет, и часто их нет драматически. Поэтому первый артефакт любого проекта по устойчивости — не обученная модель, а точно сформулированная угрозовая модель. Без неё цифры робастности говорят ровно столько же, сколько «наш сервис быстрый» без указания нагрузки и перцентиля.

¹ Угрозовая модель (threat model) — формальное описание того, что именно может делать атакующий: какие возмущения допустимы, в какой метрике и с каким ограничением, есть ли у него доступ к весам модели и градиентам. Без неё утверждение «модель устойчива» не имеет проверяемого смысла.