Прочитать мысли агента: что даёт интерпретируемость LLM

Пока агенты бронируют билеты, пишут код и рассылают письма от вашего имени, остаётся неудобный вопрос: почему модель приняла именно это решение? В 2024 году Anthropic опубликовала работу Scaling Monosemanticity, где исследователи выделили внутри Claude 3 Sonnet миллионы интерпретируемых «признаков» — от понятия «Golden Gate Bridge» до абстрактных вроде «код с уязвимостью». Признак можно не только увидеть, но и усилить: подкрутили один — и модель начинала упоминать мост Золотые Ворота в любом ответе. Это ближе всего к «чтению мыслей», что у индустрии сейчас есть. И это всё равно не мысли.

Что вообще значит «прочитать мысли» модели

Под интерпретируемостью понимают две разные вещи, и их постоянно путают. Первая — это то, что модель сама говорит о своих рассуждениях: цепочка шагов, объяснение, «я выбрал вариант B, потому что…». Вторая — то, что реально происходит внутри сети: какие нейроны и признаки активировались, какие части входа повлияли на выход. Между этими двумя слоями зазор, и он опасен именно для агентов, которые действуют без человека в цикле.

Объяснение, которое модель выдаёт постфактум, — это ещё один сгенерированный текст, а не протокол её вычислений. Совпасть они могут. Обязаны — нет.

Chain-of-thought: рассуждение или спектакль

Рассуждающие модели — OpenAI o1 и o3, Claude с расширенным мышлением, DeepSeek-R1 — показывают промежуточные шаги перед ответом. Соблазн прочитать это как «мысли» огромен. Но исследование Anthropic про faithfulness рассуждений (2025) показало на замерах: модели далеко не всегда упоминают в цепочке подсказки, которые фактически повлияли на ответ. Модель может прийти к выводу по одной причине, а в «рассуждении» изложить другую, более приличную. Для агента, который на основании такой цепочки решает перевести деньги или удалить файлы, это не философия, а риск-фактор.

Механистическая интерпретируемость: смотрим внутрь

Здесь другой подход — не спрашивать модель, а вскрывать её. Sparse autoencoders (разреженные автоэнкодеры) раскладывают запутанные активации на отдельные признаки, каждый из которых соответствует понятию. Anthropic и группа независимых исследователей показали, что такие признаки можно каталогизировать и даже редактировать поведение модели, зажимая или отпуская конкретный признак. Проблема — масштаб: признаков в большой модели миллиарды, а размечены единицы миллионов, и связать их в понятную причинную цепочку для конкретного агентного решения пока не выходит.

Три подхода и их пределы

Ни один из трёх не даёт полной картины сам по себе. На практике команды комбинируют: reasoning trace для быстрой диагностики, attribution для проверки, не зацепился ли агент за случайный кусок промпта, механистику — для глубоких расследований, когда что-то пошло не так системно.

Почему для агентов это острее, чем для чат-ботов

Чат-бот выдаёт текст, человек читает и решает. Агент замыкает цикл сам: получил задачу, вызвал инструмент, изменил состояние во внешнем мире. Если решение опирается на скрытую, невысказанную причину, вы узнаете об этом по последствиям, а не по логу. Отсюда практический сдвиг: интерпретируемость для агентов всё чаще заменяют на наблюдаемость — трассировку вызовов инструментов, логирование каждого шага, точки, где человек обязан подтвердить действие.

• Логируйте не только финальный ответ, но и каждый вызов инструмента с аргументами — это то, что агент реально сделал, в отличие от того, что он рассказал.
• Ставьте human-in-the-loop на необратимые действия: платежи, удаление, отправку наружу.
• Сравнивайте reasoning trace с фактическими вызовами: расхождение — сигнал, что объяснение декоративное.
• Для критичных доменов держите отдельный «судья»-модель или правила, проверяющие вывод независимо.

Кому это пригодится, а кому нет

Пригодится: командам, которые строят агентов в финансах, здравоохранении, юридических и HR-процессах — там, где решение надо объяснить регулятору или пострадавшему. Пригодится ML-инженерам, отлаживающим, почему агент внезапно начал галлюцинировать вызовы API. Пригодится ресёрчерам по безопасности, ищущим в модели признаки обмана или sandbagging.

Не пригодится прямо сейчас: если вы делаете простого ассистента для суммаризации или генерации черновиков без автономных действий — тут дешевле хорошее логирование и оценка качества выхода, чем механистическая интерпретируемость. И не стоит продавать заказчику «полную прозрачность ИИ»: инструментов, которые дают гарантированное объяснение каждого агентного решения, на рынке пока нет.

Что дальше

Тренд ближайшего года — не «прочитать мысли», а сделать модели, которые честнее их излагают, и обвязку, которая ловит расхождения. Anthropic ведёт публичную линию исследований по интерпретируемости, OpenAI и другие работают над faithfulness рассуждений. Полного детектора мыслей ждать рано. Рабочая стратегия — считать объяснение модели гипотезой, которую надо проверять, а не признанием.

SAE (sparse autoencoder, разреженный автоэнкодер) — нейросеть, которая раскладывает плотные, «перепутанные» активации модели на набор отдельных признаков, где в каждый момент активна лишь малая их часть. Это делает признаки читаемыми: один признак — одно понятие, а не смесь десятков.