Independent red-teaming ИИ-агентов: кто ломает их за деньги

Пока разработчики выпускают агентов, которые сами бронируют билеты, пишут код и лезут в корпоративные базы, отдельная индустрия учится их взламывать. Речь не о классическом пентесте приложения, а о red-teaming¹ именно агентной логики: можно ли текстом на веб-странице заставить агента слить содержимое почты, выполнить перевод денег или запустить произвольную команду в терминале. За последние два года этим занялись и специализированные стартапы, и краудсорс-платформы, и внутренние команды лабораторий — и подходы у них разные.

Что вообще ломают в агенте

Обычная языковая модель отвечает текстом, и худшее, что она может сделать, — выдать вредную инструкцию. Агент действует: у него есть инструменты (браузер, шелл, API, доступ к файлам) и цикл, в котором он сам решает, какой инструмент вызвать. Это меняет модель угроз.

Главный вектор — непрямая инъекция промпта (indirect prompt injection). Атакующий не разговаривает с агентом напрямую, а прячет команду в данных, которые агент прочитает сам: в тексте письма, в комментарии на странице, в описании товара, в README репозитория. Агент не отличает «данные для анализа» от «инструкции к исполнению» и выполняет спрятанную команду.

Классический пентест спрашивает: «можно ли пробить систему снаружи». Red-teaming агента спрашивает: «можно ли уговорить систему навредить самой себе, подсунув ей текст».

Помимо инъекций, независимые команды проверяют утечку данных через инструменты, эскалацию прав (агент получает доступ к тому, чего пользователь не давал), зацикливание с расходом бюджета на токены и «джейлбрейки» самой модели, снимающие ограничения безопасности.

Кто этим занимается

Внутренние red-team лабораторий

У крупных разработчиков есть собственные команды, которые тестируют модель до релиза. OpenAI, Anthropic и Google публикуют так называемые system cards и model cards — документы с описанием проведённых проверок безопасности. Плюс подхода — глубокий доступ к весам и логам. Минус очевиден: команда внутри компании оценивает продукт этой же компании.

Внешние сети экспертов

Чтобы снять конфликт интересов, лаборатории привлекают внешних специалистов. OpenAI объявляла о формировании сети внешних экспертов (Red Teaming Network) для платного привлечения к оценке моделей. Anthropic описывала практику приглашения сторонних доменных экспертов — например, по биобезопасности и кибербезопасности. Здесь тестировщик независим от продуктовой команды, но всё ещё работает по контракту с вендором.

Bug bounty и краудсорс

Отдельный слой — платформы вознаграждений за уязвимости. HackerOne и Bugcrowd открыли направления, связанные с ИИ, где исследователи со всего мира ищут дыры за вознаграждение. Anthropic анонсировала расширенную программу bug bounty с фокусом на universal jailbreak — атаки, обходящие защиту сразу по многим сценариям. Модель «плати за найденное» дёшева на входе, но плохо гарантирует систематичность: находят то, что заметнее и дороже, а не то, что важнее.

Независимые стартапы и лаборатории

Появились компании, для которых оценка ИИ — основной бизнес. Их продают как аудит третьей стороной: заказчик получает отчёт от того, кто не заинтересован в хорошем результате. Также существуют некоммерческие и академические группы, которые публикуют бенчмарки атак и открытые наборы для проверки агентов. Их ценность в том, что методику можно воспроизвести и сравнить, а не поверить на слово.

Сравнение подходов

Ни один подход не закрывает картину целиком. Внутренняя команда видит всё, но ей не всегда верят снаружи. Краудсорс независим, но хаотичен. Разумная практика — сочетать несколько слоёв, и именно так поступают крупные лаборатории.

Как выглядит проверка на практике

Типовой сценарий независимой оценки агента строится по шагам:

1. Зафиксировать модель угроз: какие инструменты у агента, к каким данным он имеет доступ, что считается недопустимым действием.
2. Собрать набор атакующих сценариев — от готовых бенчмарков до кастомных под конкретный продукт.
3. Прогнать агента в изолированной среде (sandbox), где реальные переводы, письма и команды перехватываются, а не выполняются по-настоящему.
4. Замерить долю успешных атак и классифицировать их по типам и последствиям.
5. Передать разработчику отчёт с воспроизводимыми примерами и повторить прогон после исправлений.

Ключевой момент — воспроизводимость. Отчёт «мы что-то сломали» бесполезен; ценен отчёт «вот вход, вот действие агента, вот результат, повторяется в N процентах запусков».

Кому это пригодится, а кому нет

Пригодится:

• Компаниям, которые дают агенту доступ к деньгам, клиентским данным или инфраструктуре — здесь цена ошибки измеряется в реальных убытках и штрафах.
• Продуктам с автономным браузингом: агент читает внешние страницы, а значит гарантированно встретит подготовленный злоумышленником текст.
• B2B-сервисам, где заказчик по договору требует аудит безопасности третьей стороной.

Скорее не нужно:

• Внутренним прототипам без доступа к чувствительным действиям — там достаточно базовых проверок команды.
• Чат-ботам, которые только отвечают текстом и не вызывают инструментов: у них модель угроз проще и дешевле в проверке.
• Проектам на самой ранней стадии, где архитектура ещё меняется каждую неделю — дорогой аудит устареет к следующему релизу.

Сколько это стоит и чего ждать

Единого прайса на рынке нет: краудсорс-выплаты за отдельную уязвимость варьируются от сотен до десятков тысяч долларов в зависимости от программы, а полноценный аудит стартапом — это проектная работа на недели с соответствующим бюджетом. Конкретные суммы уточняйте у самих платформ и подрядчиков, публичных фиксированных тарифов у большинства из них нет.

Главное, что стоит понять до заказа: red-teaming не выдаёт сертификат «агент безопасен». Он показывает, что нашли на момент проверки и при данной конфигурации. Стоит агенту получить новый инструмент или сменить модель под капотом — и часть выводов устаревает. Это непрерывный процесс, а не разовая печать.

¹ Red-teaming — намеренная атака на систему силами специально выделенной команды, которая играет за противника, чтобы найти уязвимости раньше настоящего злоумышленника. Термин пришёл из военных учений и кибербезопасности.