Потоковая выдача ответа по токенам стала стандартом для чат-интерфейсов, но у агентов с инструментами она ломается. Разбираем, где стриминг помогает, где мешает и что показывать пользователю, пока модель думает.
Гарантированный JSON по схеме, вызов функций и генерация SQL-запросов превратили языковые модели из болтливых чат-ботов в компонент, которому можно доверить данные. Разбираем, что умеют агенты сегодня и где спотыкаются.
Один и тот же промпт на GPT-4o отвечает за секунду, а на o1 может думать минуту. Разбираем, когда агенту нужна быстрая модель, когда — думающая, и как считать цену ошибки в деньгах и секундах.
Когда агент ошибается на вашем домене, есть два пути: переписать промпт или дообучить модель. Первый дешевле и быстрее, второй нужен реже, чем кажется. Разбираем, что выбрать и сколько это стоит.
Автономный агент делает не один запрос, а десятки в цикле — и упирается в лимиты API и счёт за токены быстрее, чем чат-бот. Разбираем, откуда берётся перерасход и чем его гасят.
Промпт агента — такой же код, только без тестов и типов. Меняете формулировку — и не знаете, стало лучше или хуже. A/B тестирование в проде превращает догадки в цифры.
AI-агент, который дергает инструменты и ходит по нескольким шагам, ломается непредсказуемо. Разбираем, чем его трейсить: LangSmith, Langfuse, Phoenix и открытый стандарт OpenTelemetry.
Агенты вроде Claude Code и Codex сами пишут и запускают код на вашей машине. Разбираем, чем их изолировать — от контейнеров до микровиртуалок — и сколько это стоит по скорости и деньгам.
Агент, которому дали доступ к файловой системе, может собрать проект, а может стереть половину папки одной командой. Разбираем, какие механизмы защиты используют Claude Code, Codex и Cursor и как настроить их под себя.
Три крупных вендора дают моделям вызывать внешние функции по-разному — от формата описания инструментов до параллельных вызовов. Разбираем, что это значит для кода и переносимости.
Длинные задачи агента падают на середине — из-за таймаута API, лимита токенов или сбоя сети. Разбираем, как чекпоинты и восстановление состояния спасают часы работы и деньги на токенах.
System prompt перестал быть парой строк «ты полезный ассистент». У агентов с инструментами и памятью он превратился в спецификацию поведения, и цена ошибки в нём — зацикленные вызовы функций и слитые данные.