Когда ИИ нельзя оставить без человека: разбор кейсов

Автономный агент обрабатывает заявку на кредит за секунды, а человек — за день. Соблазн убрать человека из цепочки очевиден: это дешевле, быстрее и масштабируется. Но в части сценариев отсутствие живого контролёра превращается не в экономию, а в юридический и репутационный риск. Human-in-the-loop (HITL) — это не архитектурное украшение, а требование, которое в ряде областей прописано в регуляции или диктуется ценой ошибки.

Что значит human-in-the-loop на практике

Термин путают с двумя соседними. Разведём их сразу, потому что от этого зависит, где именно стоит человек.

• Human-in-the-loop — человек участвует в самом решении: система готовит вариант, но действие не выполняется, пока его не подтвердил оператор.
• Human-on-the-loop — система действует сама, человек наблюдает и может вмешаться или откатить решение постфактум.
• Human-out-of-the-loop — полная автономия, человек не участвует и не наблюдает в реальном времени.

Дальше речь именно о первом режиме — когда без подтверждения человека действие не происходит вовсе.

Где человек обязателен по закону

Начну с кейсов, где выбор за вас уже сделал регулятор. Это не «хорошая практика», а условие, нарушение которого стоит денег.

Решения с юридическими последствиями для человека

Европейский GDPR в статье 22 даёт человеку право не быть объектом решения, основанного исключительно на автоматизированной обработке, если такое решение порождает юридические последствия или существенно влияет на него. Классические примеры — отказ в кредите, отсев кандидата на вакансию, автоматическое расторжение договора. Ключевое слово — «исключительно»: как только в цепочку встроен человек, который реально может изменить исход, а не просто нажимает «ОК», ограничение снимается.

Отдельно этот же принцип развивает AI Act — регламент ЕС по ИИ. Для систем, отнесённых к категории высокого риска (найм, доступ к образованию, кредитный скоринг, критическая инфраструктура), предусмотрен обязательный человеческий надзор. Точные сроки вступления отдельных положений в силу и перечень высокорисковых сценариев сверяйте в актуальном тексте регламента — он вводится поэтапно.

Автоматизация не отменяет ответственность. Она лишь переносит её с оператора на того, кто спроектировал систему без человека там, где он был нужен.

Медицина и здоровье

ИИ-система может размечать снимок или предлагать диагноз, но постановка диагноза и назначение лечения остаются за врачом. Софт для анализа медицинских изображений в большинстве юрисдикций проходит регистрацию как медицинское изделие, и его роль формулируется как поддержка принятия решения, а не замена клинициста. Причина не только правовая: цена ложноотрицательного результата — пропущенная патология.

Где человек обязателен по цене ошибки

Здесь закон может молчать, но убрать человека — значит принять на себя риск, который в деньгах превышает экономию на автоматизации.

Модерация контента и баны

Автомодерация ошибается в обе стороны: пропускает нарушения и блокирует безобидное. Массовая жалоба на несправедливый автобан — это отток аудитории и репутационный урон. Разумная схема: автоматика фильтрует поток и эскалирует спорные случаи, а окончательное решение по апелляции и по чувствительным категориям (угрозы жизни, детская безопасность) принимает человек.

Финансовые операции и необратимые действия

Любое действие, которое нельзя откатить, — кандидат на подтверждение человеком. Перевод крупной суммы, удаление продакшн-базы, отправка письма всей клиентской базе, публикация от имени бренда. Агент может подготовить операцию целиком, но исполнение ставится на паузу.

Как решить, нужен ли человек в цепочке

Три вопроса, которые отсекают большинство спорных случаев.

1. Обратимо ли действие? Если откат невозможен или дорог — человек нужен.
2. Затрагивает ли решение права конкретного человека? Отказ, увольнение, штраф, доступ к услуге — сигнал к обязательному надзору.
3. Какова цена одной ошибки в деньгах, здоровье или репутации? Если цена высока, а частота действий позволяет — оставляйте контролёра.

Сравнение режимов по типу задачи

Частая ошибка: формальный человек

Регуляторы прямо указывают на риск «резинового штампа» — когда оператор механически подтверждает всё, что предлагает система, не имея ни времени, ни данных, чтобы возразить. Такой человек в цепочке не спасает от ответственности: надзор считается формальным, если у оператора нет реальной возможности изменить решение.

Чтобы человек был настоящим, а не декоративным, ему нужны три вещи: понятное объяснение, на чём основана рекомендация системы; полномочия отклонить её без бюрократических барьеров; и разумная нагрузка — если на решение отведены две секунды, надзора нет.

Вывод простой. Автономия хороша там, где ошибка дешёва и обратима. Как только на кону права человека, необратимое действие или требование закона — человек в цепочке перестаёт быть вопросом вкуса и становится обязательным элементом системы.