Кто заплатит за ошибку AI-агента: как устроено страхование

Осенью 2024 года авиакомпания Air Canada проиграла спор клиенту, которому её чат-бот пообещал скидку, не предусмотренную реальными правилами. Трибунал British Columbia обязал компанию выплатить компенсацию, отклонив аргумент, что бот — «отдельная сущность». Это один из первых публичных случаев, когда бизнесу пришлось платить за слова автоматической системы. Пока агенты только отвечали на вопросы, цена ошибки была маленькой. Когда агент сам оформляет заказ, переводит деньги или меняет запись в базе, вопрос «кто заплатит за сбой» перестаёт быть теоретическим.

Что меняется с приходом агентов

Обычная нейросеть выдаёт текст, и человек решает, что с ним делать. AI-агент¹ действует сам: получает цель, разбивает её на шаги, вызывает внешние инструменты — API, браузер, платёжный шлюз — и доводит задачу до результата без подтверждения на каждом шаге. Именно эта автономность создаёт новый тип риска. Ошибка перестаёт быть «неудачным ответом» и становится действием с последствиями: списанным платежом, отправленным письмом клиенту, изменённой конфигурацией сервера.

Для страхового рынка это неудобная материя. Классические полисы строятся на статистике: известна частота событий и средний ущерб. По агентам такой статистики нет. Модели обновляются каждые несколько месяцев, поведение зависит от промпта и подключённых инструментов, а одна и та же система может вести себя по-разному в двух похожих ситуациях.

Страховщик умеет считать вероятность пожара на складе. Он пока не умеет считать вероятность того, что автономный агент однажды интерпретирует инструкцию буквально и совершит дорогое действие, которого никто не заказывал.

Какие полисы уже пытаются закрыть этот риск

Отдельного массового продукта «страхование AI-агента» на рынке пока нет. Риски раскладывают по уже существующим видам покрытия, и агент просто попадает в один из них — иногда не вполне подходящий.

Слабое место всех этих конструкций — исключения. Стандартные формулировки часто выводят из-под покрытия «ущерб, вызванный работой программного обеспечения» или «намеренные действия». Автономный агент попадает в серую зону: он не человек, ошибившийся при исполнении обязанностей, но и не классический дефектный товар.

Как страховщики пробуют оценивать риск

Пока рынок нащупывает три подхода, и все они несовершенны.

• Лимит автономии. Полис действует, только если агент не выходит за оговорённые рамки: не переводит суммы выше порога, не совершает необратимых действий без подтверждения человека. Нарушил рамки — покрытие снимается.
• Требования к логам. Компания обязана хранить полную трассировку действий агента: какой запрос пришёл, какие инструменты вызваны, что вернулось. Без воспроизводимого лога доказать, что произошло, почти невозможно — а значит, и выплатить сложно.
• Human-in-the-loop как условие. Скидка к тарифу за то, что критичные действия визирует человек. По сути страховщик доплачивает за то, чтобы автономности было меньше.

Отдельная проблема — цепочка ответственности. В инциденте могут участвовать разработчик базовой модели, компания-интегратор, поставщик инструмента, к которому агент подключился, и сам бизнес, который его запустил. Кто из них виноват в конкретной ошибке, юридически не решено ни в одной крупной юрисдикции. Крупные вендоры моделей в пользовательских соглашениях, как правило, ограничивают свою ответственность и перекладывают риск на того, кто разворачивает систему в продакшене.

Что уже происходит на практике

Появляются нишевые предложения. Часть insurtech-стартапов и брокеров тестирует покрытие «AI liability» как расширение к киберполисам — с потолком выплат и жёсткими условиями по мониторингу. Крупные страховые группы публично обсуждают агентские риски в отраслевых отчётах, но массовых стандартизированных продуктов с открытыми тарифами на сегодня нет. Конкретные цифры лимитов и премий у таких предложений индивидуальны и зависят от масштаба внедрения — их имеет смысл запрашивать напрямую у брокера, а не ориентироваться на «средние по рынку», которых пока не существует.

Кому это пригодится, а кому пока рано

Отдельно думать о страховании агентских рисков стоит, если у вас один из таких сценариев:

• агент совершает финансовые операции — оформляет возвраты, выставляет счета, инициирует платежи;
• агент общается с клиентами от имени компании и его слова могут стать обязательством, как в случае Air Canada;
• агент имеет доступ к персональным данным и может их куда-то передать;
• агент с правами на запись работает в вашей инфраструктуре — меняет конфигурации, деплоит код, правит базы.

Скорее всего, отдельный полис пока избыточен, если:

• агент работает только в режиме подсказки — генерирует черновик, а действие выполняет человек;
• его действия обратимы и не касаются денег и чужих данных (например, сортировка внутренних задач);
• масштаб маленький и потенциальный ущерб укладывается в сумму, которую бизнес готов покрыть сам.

Практический совет на сегодня: до того как искать полис, свести технический риск. Ограничьте права агента, поставьте потолки на суммы и необратимые действия, включите подтверждение человеком на критичных шагах и настройте детальное логирование. Это и снижает вероятность дорогой ошибки, и делает вас понятнее для страховщика, если продукт под ваш случай всё-таки появится.

¹ AI-агент — программная система на базе языковой модели, которая получает цель, самостоятельно планирует шаги и вызывает внешние инструменты (API, браузер, код), доводя задачу до результата без подтверждения человеком на каждом действии.