Агент проходит демо и падает на реальном пользователе. Разбираем, какие граничные случаи ломают LLM-агентов и как строить тесты, которые ловят провалы до продакшена.
Промпт — это часть логики приложения, но чаще всего он живёт вне контроля версий. Разбираем, как отслеживать изменения агентов и промптов и откатываться, когда обновление ломает ответы.
Агент отправил платёж, не дождался ответа сети, повторил запрос — и деньги ушли дважды. Разбираем, как ретраи ломают действия агентов и что с этим делают ключи идемпотентности.
Языковые модели знают мир на момент обучения, а не на сегодня. Разбираем, откуда берётся устаревшая информация в ответах агентов, как это чинят RAG и веб-поиск и где заканчивается их помощь.
Потоковая выдача ответа по токенам стала стандартом для чат-интерфейсов, но у агентов с инструментами она ломается. Разбираем, где стриминг помогает, где мешает и что показывать пользователю, пока модель думает.
Гарантированный JSON по схеме, вызов функций и генерация SQL-запросов превратили языковые модели из болтливых чат-ботов в компонент, которому можно доверить данные. Разбираем, что умеют агенты сегодня и где спотыкаются.
Один и тот же промпт на GPT-4o отвечает за секунду, а на o1 может думать минуту. Разбираем, когда агенту нужна быстрая модель, когда — думающая, и как считать цену ошибки в деньгах и секундах.
Когда агент ошибается на вашем домене, есть два пути: переписать промпт или дообучить модель. Первый дешевле и быстрее, второй нужен реже, чем кажется. Разбираем, что выбрать и сколько это стоит.
Автономный агент делает не один запрос, а десятки в цикле — и упирается в лимиты API и счёт за токены быстрее, чем чат-бот. Разбираем, откуда берётся перерасход и чем его гасят.
Промпт агента — такой же код, только без тестов и типов. Меняете формулировку — и не знаете, стало лучше или хуже. A/B тестирование в проде превращает догадки в цифры.
AI-агент, который дергает инструменты и ходит по нескольким шагам, ломается непредсказуемо. Разбираем, чем его трейсить: LangSmith, Langfuse, Phoenix и открытый стандарт OpenTelemetry.
Агенты вроде Claude Code и Codex сами пишут и запускают код на вашей машине. Разбираем, чем их изолировать — от контейнеров до микровиртуалок — и сколько это стоит по скорости и деньгам.