AI-агенты на поле боя: где проходит красная линия

За последние полтора года военное применение искусственного интеллекта перестало быть темой научной фантастики и стало строчкой в пользовательских соглашениях. В январе 2024 года OpenAI убрала из своей политики использования прямой запрет на «военные действия и войну». В феврале 2025-го Google обновила свои принципы работы с ИИ и исключила прежнее обязательство не разрабатывать технологии для оружия. Параллельно оборонные компании вроде Anduril и Palantir строят программные платформы, которые сами находят и ранжируют цели. Вопрос «должен ли алгоритм решать, по кому стрелять» перешёл из области этики в область закупок.

Что вообще называют «военным AI-агентом»

Под расплывчатым словом «агент» в оборонном контексте скрываются очень разные вещи — от безобидной логистики до систем, замыкающих цепочку поражения. Полезно разложить это на слои, потому что этический спор идёт не про весь AI, а про его верхнюю, боевую часть.

• Обеспечение. Прогноз поломок техники, планирование снабжения, обработка спутниковых снимков, перевод и распознавание речи. Здесь возражений почти нет.
• Разведка и анализ. Системы, которые сводят данные с дронов, радаров и перехватов в единую картину и подсказывают, где может находиться цель. Именно тут начинается спор о качестве данных и ошибках.
• Целеуказание и поражение. Алгоритм не только находит объект, но и предлагает его как цель или сам наводит и применяет оружие. Это ядро дебатов о «боевых роботах».

Международный спор крутится вокруг третьего слоя — так называемых смертоносных автономных систем вооружений (по-английски LAWS¹). Первые два уже широко используются и почти не регулируются отдельно.

Кто контролирует спусковой крючок

Ключевой параметр в этих дискуссиях — степень участия человека в решении о применении силы. В экспертной среде обычно выделяют три режима.

Проблема в том, что граница между режимами размывается. Оператор, который за секунды подтверждает десятки целей, предложенных алгоритмом, формально остаётся «в цикле», но фактически лишь штампует решения машины. Критики называют это «эффектом резиновой печати»: человек присутствует, но осмысленного контроля нет.

Автономность — это не переключатель «да/нет», а ползунок. И спор идёт не о том, включать ли его, а о том, где на этой шкале проходит красная линия и кто вправе её проводить.

Почему техотрасль передумала

Ещё в 2018 году сотрудники Google добились, чтобы компания не продлевала контракт с Пентагоном по проекту Maven — системе анализа видео с дронов. Тогда же появился внутренний свод принципов с обещанием не создавать ИИ для оружия. Спустя семь лет эта формулировка исчезла.

Причины у разворота прагматичные. Оборонные бюджеты на ИИ растут, а сами модели стали достаточно зрелыми, чтобы приносить военным реальную пользу в разведке и планировании. Отказ участвовать означает уступить рынок конкурентам — от специализированных стартапов до подрядчиков других стран. Аргумент бизнеса звучит так: технологии будут применяться в любом случае, лучше делать это с внятными внутренними правилами, чем оставлять поле тем, у кого правил нет вовсе.

Контраргумент критиков не менее прост. Как только запрет снят, дальше вопрос сдвигается от «участвовать или нет» к «где остановиться», а этой границы никто чётко не проводит.

О чём не могут договориться в Женеве

Профильная площадка — группа правительственных экспертов при Конвенции ООН о «негуманном» оружии (CCW) в Женеве. Она обсуждает автономные системы вооружений уже около десяти лет и пока не выработала обязывающего договора. Расклад примерно такой:

• Часть государств и коалиция общественных организаций «Stop Killer Robots» требуют юридически обязательного запрета на оружие, поражающее цели без значимого человеческого контроля.
• Международный комитет Красного Креста настаивает как минимум на строгих ограничениях, особенно там, где под удар попадают люди.
• Крупные военные державы предпочитают необязательные принципы и национальное регулирование, опасаясь связать себе руки, пока это не сделали соперники.

Пока стороны спорят о формулировках, реальные системы уже разворачиваются в конфликтах — от роёв дронов до алгоритмов, помогающих составлять списки целей. Технология обгоняет договорённости, и именно этот разрыв беспокоит юристов по международному гуманитарному праву.

Кому это уже важно, а кому пока нет

Стоит следить за темой, если вы:

• Работаете в компании, чьи модели или API теоретически могут попасть в оборонный контракт — политика использования и репутационные риски теперь ваша тема, а не абстракция.
• Занимаетесь ИИ-этикой, комплаенсом или GR: рамки формируются прямо сейчас, и вклад экспертного сообщества реально влияет на формулировки.
• Пишете о безопасности ИИ: военный сегмент — самый острый пример, где ошибка модели измеряется человеческими жизнями, а не сбитой рекомендацией товара.

Можно пока не углубляться, если вы:

• Строите продукт для гражданского рынка без экспортной оборонной составляющей — прямых последствий для вашей разработки эти дебаты не несут.
• Ищете практические инструменты «здесь и сейчас»: боевая автономия — это про политику и право, а не про фичу, которую можно подключить.

Что важно понять из этого спора

Главная развилка не в том, «разрешить ли роботам убивать» — так вопрос почти никто всерьёз не ставит. Развилка в определении «значимого человеческого контроля»: сколько времени, информации и реальной власти должно оставаться у человека, чтобы его участие не было формальностью. От того, как ответят на это в Женеве и во внутренних правилах компаний, зависит, окажется ли оператор осмысленным звеном цепочки или живой подписью под решением алгоритма.

¹ LAWS (lethal autonomous weapons systems) — смертоносные автономные системы вооружений: оружие, способное самостоятельно находить, выбирать и поражать цель без прямого участия человека в момент применения силы. Единого юридического определения у термина пока нет — это одна из причин, почему переговоры буксуют.