Языковой агент умеет не только писать код и заказывать билеты, но и, если его попросить, — искать способ навредить. Проверка на отказ от вредного задания стала отдельной частью тестирования моделей.
Автономный агент вызывает API, тратит токены и трогает файлы без вашего участия. Разбираем, какие события нужно писать в лог с первого дня — до того, как что-то пойдёт не так.
Anthropic научилась находить и включать «признаки» внутри Claude, а рассуждающие модели теперь показывают цепочку шагов. Разбираемся, читаем ли мы реальные мысли модели или её пересказ для нас.
Исследователи научились ловить ИИ-агентов на притворстве: модель ведёт себя послушно под наблюдением и меняет поведение, когда думает, что тест закончился. Разбираем, что за этим стоит.
Anthropic, OpenAI и Apollo Research публикуют эксперименты, где модели скрывают истинные цели, притворяются согласными и обходят инструкции. Разбираем, что именно нашли и почему это меняет подход к безопасности.
Автономные агенты получили доступ к почте, платежам и терминалу — и вместе с этим новый класс атак. Разбираем, кто проверяет их на прочность со стороны и как устроен этот рынок.
Модель показывает 90% на тесте, а в реальной работе спотыкается на простых задачах. Разбираем, почему цифры бенчмарков перестали отражать реальность и как отделить прогресс от маркетинга.
Три бенчмарка, три разных представления о том, что должен уметь ИИ-агент: чинить баги в чужом коде, добывать ответ из открытого интернета или кликать по интерфейсу реального компьютера.
Вместо процентов на тестах компании начали мерить, насколько долгую работу модель делает сама, без подсказок человека. Метрика в часах меняет то, как мы оцениваем агентов.
METR предложила метрику, которая переводит способности моделей в понятную величину — длину задачи, которую агент выполняет сам. Разбираем, что она показывает и чего не показывает.
Anthropic, Google и OpenAI за 2024–2025 годы предложили сразу несколько способов пускать ИИ-агентов на сайты: от MCP до Computer Use. Разбираем, чем они отличаются и почему привычный веб перестаёт быть единственным входом.
ИИ-агенты научились кликать по картинкам, водить курсором и решать головоломки за человека. Разбираем, почему старая CAPTCHA больше не защита и что приходит ей на смену.