Модель учит модель: интерпретируемость через обучение

Обычный разговор об интерпретируемости строится вокруг того, как заглянуть внутрь обученной модели: карты внимания, SHAP-значения, градиенты по входу. Есть другой угол зрения — оценивать объяснение не по тому, красиво ли оно выглядит для человека, а по тому, помогает ли оно кому-то учиться. Если модель-учитель выбирает такие примеры и подсказки, что модель-ученик по ним быстрее осваивает задачу, значит, объяснение несёт полезную информацию, а не украшение. Эта идея — interpretable machine learning through teaching — переносит акцент с интроспекции на измеримый результат передачи знания.

Откуда взялась постановка «учитель — ученик»

Классическая теория обучения на примерах (machine teaching) спрашивает: какой минимальный набор примеров нужно показать ученику, чтобы он выучил целевую гипотезу. В интерпретируемости этот же аппарат разворачивают в сторону человека и других моделей. Учитель — не тот, кто знает правильный ответ, а тот, кто умеет подобрать доходчивую демонстрацию.

Ключевая перемена в критерии качества. Тепловая карта, на которой видно, что классификатор смотрит на морду собаки, а не на фон, приятна глазу, но ничего не гарантирует. Проверка через обучение жёстче: возьмём наивного ученика, покажем ему отобранные учителем примеры и замерим, насколько выросла его точность по сравнению со случайной выборкой того же размера.

Хорошее объяснение — это не то, что понравилось разметчику, а то, после чего кто-то другой начинает решать задачу лучше. Всё остальное — гипотеза о пользе, а не проверка.

Что здесь измеряют на самом деле

Метрика проста по духу: разница в скорости или итоговом качестве обучения ученика на «обучающих» примерах учителя против базовой линии. Если учитель выбирает по три примера на класс и ученик после них выходит на 80% точности, а на случайных трёх примерах — на 55%, то отобранные примеры несут интерпретируемый сигнал о том, что важно для задачи.

Тонкость в том, что учитель может «схитрить». Если ученик и учитель заранее договорились о протоколе кодирования (например, порядок примеров кодирует метку), высокая эффективность обучения не будет означать понятность для человека. Поэтому в честной постановке ученика делают простым и заранее фиксированным, а протокол — открытым для проверки.

Три роли ученика

От того, кто выступает учеником, зависит, что именно мы называем интерпретируемостью.

• Человек-ученик. Учитель отбирает примеры для живых людей. Тогда рост точности человека на новых данных — прямая мера того, объясняет ли модель задачу так, как её понимает человек.
• Простая модель-ученик. Линейный классификатор или неглубокое дерево. Если сложная модель может «надиктовать» такому ученику работающую стратегию малым числом примеров, значит, её знание сжимаемо и переносимо.
• Копия себя. Ученик той же архитектуры проверяет, насколько отобранное подмножество данных достаточно для воспроизведения поведения — близко к идеям дистилляции датасета.

Чем это отличается от дистилляции знаний

В классической knowledge distillation большая модель передаёт маленькой мягкие вероятности по всем данным. Здесь интерес обратный: не сжать модель, а понять её через минимальный обучающий набор. Дистилляция оптимизирует итоговую точность ученика, обучение через преподавание оптимизирует ещё и компактность и осмысленность демонстрации.

Как выглядит сравнение подходов

Ниже — грубое сопоставление трёх семейств методов интерпретации по тому, что они на самом деле проверяют. Цифры не приводятся: результаты сильно зависят от датасета и архитектуры, и подставлять «правдоподобные» проценты здесь было бы обманом.

Где это уже полезно

Практический смысл появляется там, где нужно не просто отчитаться «модель смотрит сюда», а передать понимание дальше.

1. Отбор обучающих примеров для разметчиков. Если модель-учитель находит десяток пограничных случаев, на которых человек-новичок быстрее всего осваивает критерий разметки, это снижает стоимость сбора данных.
2. Аудит датасета. Минимальный набор примеров, воспроизводящий поведение модели, показывает, на что она реально опирается — и вскрывает утечки признаков, если модель «выучила» водяной знак или артефакт съёмки.
3. Отладка курсов и инструкций. Тот же аппарат применим к подбору учебных заданий: какие примеры быстрее выводят обучаемого на нужный навык.

Слабые места, о которых стоит помнить

Подход не бесплатный. Во-первых, он требует обучать ученика много раз, что дороже, чем однократный расчёт атрибуций. Во-вторых, результат зависит от выбора ученика: то, что понятно линейной модели, не обязательно понятно человеку, и наоборот. В-третьих, риск «тайного сговора» учителя и ученика через кодирование в порядке или форме примеров — его нужно явно исключать проверкой протокола.

Ещё одна ловушка — соблазн считать высокую эффективность обучения доказательством правильности модели. Учитель может отобрать примеры, на которых ученик выучит ту же ошибочную закономерность. Метод измеряет переносимость знания, а не его истинность.

Практический вывод простой: если вам нужна интерпретируемость, спросите не «что модель считает важным», а «сможет ли по её подсказкам кто-то другой решить задачу лучше». Второй вопрос проверяется экспериментом, первый чаще остаётся на уровне красивой картинки.