ИИ-агенты: модель, инструменты, цикл

Почему демонстрация из трёх шагов впечатляет, а задача из тридцати ломается

ИИ-агент это модель, которой дали инструменты и цикл: решить, вызвать инструмент, посмотреть результат, продолжить. Ключевая величина здесь надёжность на длинной цепочке, и считается она умножением вероятности шага на себя: при успехе шага в 95 случаях из ста три шага проходят примерно в 86 % случаев, двадцать в 36 %, тридцать в 21 %. Поэтому успех на трёх шагах ничего не обещает на задаче из тридцати.

Цепочка рассуждений, Вэй и соавторы, 2022. Надёжность цепочки как p в степени n. Состояние агентных систем на 2026 год · 24 мин · обновлено 01.10.2026

Попросите знакомого забронировать столик на четверых в пятницу вечером. Он посмотрит карту, откроет пару сайтов, проверит свободное время, оставит заявку и отпишется вам. Пять или шесть обращений к внешнему миру, между которыми он каждый раз решает, что делать дальше. Ни одно из решений по отдельности не трудное, а вместе они складываются в дело.

Языковая модель сама по себе так не умеет, и дело тут не в её слабости. Она порождает текст, а не открывает сайты и не заполняет формы. Всё, что у неё есть, это поданный текст на входе и порождённый текст на выходе.

Чтобы получилось бронирование, нужны две добавки: доступ к внешним действиям и цикл. Систему с такими добавками называют агентом. Урок разбирает, как она собрана и почему ломается вполне предсказуемым образом. Предсказуемость поломки и есть хорошая новость: её можно посчитать заранее.

Из чего собран агент

Агент это модель, которой дали инструменты и цикл. Инструментом здесь называют любое внешнее действие с описанием: поиск, запуск кода, чтение файла, отправка письма. Модель не выполняет действие сама, она порождает текст, который обвязка понимает как вызов.

Цикл состоит из четырёх шагов и повторяется, пока задача не решена. Решить, что делать дальше. Вызвать инструмент. Посмотреть на результат. Продолжить с учётом увиденного. Ничего сверх этого в определении агента нет, и мистики тут ровно ноль. Вся разница между агентами сводится к набору инструментов и к тому, кто следит за циклом.

Стоит задержаться на слове «решить», потому что оно снова метафорично. Никакого выбора в человеческом смысле не происходит: модель порождает текст, а в тексте оказывается вызов инструмента. Дальше этот вызов исполняет обычная программа, написанная людьми и делающая ровно то, что в ней написано.

Стоит уточнить и про сами описания инструментов, потому что о них редко думают. Инструмент попадает к модели в виде текста: имя, что делает, какие поля надо заполнить. Выбирать модель может только из описанного, и ничего сверх этого списка вызвать не в состоянии.

Заметьте, откуда взялась сама возможность так работать. Модель должна уметь расписывать решение по шагам, иначе непонятно, что вызывать вторым и что третьим. Урок 15 показал, что промежуточный текст поднимает качество на многошаговых задачах. Агент продолжает ту же идею напрямую, только шаги теперь не пишутся, а выполняются.

Чем агент не является

Прежде чем считать, уберём с дороги картинку из кино. Агент не ставит себе целей и не заводится сам по себе. Цикл запускает человек или другая программа, а останавливается он, когда задача решена или кончился отведённый бюджет.

Не стоит воображать и отдельного управляющего, который дирижирует моделью с высоты. Управляющим здесь работает обычный код в несколько сотен строк: он разбирает порождённый текст, находит в нём вызов, исполняет и возвращает результат. Всё, что похоже на сообразительность, приходит из модели, а вся дисциплина держится на этом коде.

Отсюда и ответ на частый вопрос, откуда у агента берутся планы. Слово опять техническое: планом называют порождённый текст, в котором перечислены будущие шаги. Он бывает толковым и бывает вздорным, а исполняется ровно в той мере, в какой обвязка ему это позволяет.

Цикл на бытовой задаче

Разберём цикл на той же брони и не будем спешить. Каждый оборот выглядит одинаково, меняется только содержание. Всего оборотов здесь выйдет пять. Смотреть надо на то, что попадает во вход перед каждым следующим оборотом.

Оборот первый. Модель порождает текст: нужен список кафе рядом с таким-то адресом. Обвязка видит вызов поиска, исполняет его и кладёт результат обратно во вход.

Оборот второй. Во входе теперь двадцать названий с адресами. Модель отбирает три подходящих и запрашивает у каждого свободные столики на пятницу.

Оборот третий. Свободно оказалось в двух местах из трёх. Модель выбирает одно и порождает вызов формы бронирования.

Оборот четвёртый. Форма ответила отказом: на четверых мест нет, есть на двоих. Модель возвращается к списку и пробует второе место.

Оборот пятый. Бронь подтверждена, номер получен, дальше ходить некуда. Модель порождает ответ человеку и на этом останавливается.

Обратите внимание на четвёртый оборот, ради него всё и затевалось. Заранее написанная программа на таком отказе споткнулась бы, потому что этот случай в неё не заложили. Агент обошёл препятствие просто потому, что решение о следующем шаге принимается каждый раз заново.

И сразу вторая сторона того же свойства, менее приятная. Раз каждый шаг решается заново, каждый шаг может решиться неправильно. Программа с ошибкой ломается одинаково, а агент ошибается по-разному и в разных местах. И вот теперь пора считать.

Арифметика, которая портит всё веселье

Главное число урока требует калькулятора, а не веры на слово. У каждого шага есть вероятность пройти успешно. Обозначим её буквой p. Чтобы задача решилась целиком, успешными должны оказаться все шаги подряд. Одного провала хватает, чтобы результата не было вовсе.

Если шаги независимы, вероятность пройти всю цепочку равна p, умноженному на себя столько раз, сколько шагов. Записывают это коротко: p в степени n. Формула детская, а следствия из неё довольно жёсткие.

Посчитаем на числах, которые выглядят отлично. Пусть шаг удаётся в 95 случаях из 100: для системы, работающей без человека, это очень хорошо. Три шага подряд дадут около 86 %. На пяти шагах остаётся около 77 %.

Двадцать шагов при той же надёжности дают около 36 %. То есть система с отличной пошаговой точностью проваливает почти две трети длинных задач. Тридцать шагов оставляют около 21 %, и это при том, что каждый отдельный шаг почти безупречен.

Отсюда виден фокус, который проделывает любая эффектная демонстрация, чаще всего без всякого умысла. Показывают задачу в три шага, и выглядит она убедительно. Задача в тридцать шагов на той же самой системе развалится, и показывать её просто не станут.

Оговорка честная, и работает она в обе стороны. Шаги не всегда независимы: ошибку иногда видно сразу, шаг повторяют, и цепочка выходит длиннее, зато исправимее. А иногда ошибка на третьем шаге тихо портит всё последующее, и тогда дело обстоит хуже формулы.

Как с этой арифметикой борются

Из формулы прямо следуют способы её обойти. Величин в ней всего две: надёжность шага и число шагов. Значит, и направлений всего два, а всё остальное к ним сводится. Полезно, что оба направления работают независимо друг от друга.

Поднимать надёжность шага. Разница между 95 и 99 процентами кажется мелочью, пока не подставишь её в формулу. На двадцати шагах это 36 % против 82 %, то есть разница между «обычно не работает» и «обычно работает».

Укорачивать цепочку. Тридцать мелких шагов часто сворачиваются в пять крупных, если часть работы отдать обычной программе. Программа не ошибается статистически, и её шаги в формулу не входят вовсе.

Ставить проверку после каждого шага. Если результат проверяют, а неудачный шаг повторяют, надёжность шага фактически растёт. Проверки стоят вычислений и времени, получается тот же обмен, о котором говорил урок 15.

Возвращать человека в цикл. Подтверждение важных действий человеком разрывает цепочку в самых опасных местах. Заодно это едва ли не единственная мера, помогающая против беды из урока 18.

Заметьте, что три способа из четырёх относятся к обвязке, а не к самой модели. Улучшать модель дорого и медленно, а укоротить цепочку и добавить проверку можно за вечер. Поэтому вопрос «как устроена обвязка» о работающей системе говорит больше, чем вопрос «какая внутри модель».

Чем шире права, тем больше поверхность атаки

У длинной цепочки есть вторая цена, и она уже не про надёжность. Чтобы агент был полезен, ему выдают права: читать почту, писать файлы, тратить деньги. Каждое новое право открывает и новую возможность, и новое место, где может случиться беда. Расширяя круг задач, вы расширяете и круг возможных неприятностей.

Механизм разбирает урок 18, здесь достаточно сути. Модель получает инструкции и данные одним потоком текста и не имеет надёжного способа их различать. Значит, текст внутри письма, страницы или документа может быть прочитан как команда.

Соедините это с агентом, и получится система, которая читает недоверенный текст и умеет действовать. Общепринятого полного решения этой проблемы на 2026 год нет. Применяют ограничение прав, подтверждение действий человеком и изоляцию. Правило простое и скучное: права выдаются под задачу, а не про запас.

Что можно сказать о состоянии дел, и только с датой

Теперь то немногое, что курс позволяет себе сказать о положении дел. И обязательно с датой. На 2026 год агенты вышли из демонстраций в производственное применение. Типичные области: программирование, поддержка пользователей, сбор информации.

Там же названо и главное ограничение: надёжность на длинных задачах. Это ровно та величина, которую мы только что считали формулой. Никакой отдельной тайны за словами «агенты пока не всё умеют» не стоит, за ними стоит арифметика.

Заодно понятно, отчего у слова «агент» такая широкая молва. Одним и тем же словом называют и трёхшаговый сценарий с единственным инструментом, и систему, которая часами возится с большой задачей. Спрашивать поэтому стоит не «агент ли это», а сколько шагов, какие инструменты и что происходит при ошибке.

Дату здесь надо держать в уме постоянно. Всё, что сказано в этом разделе, устаревает по построению, а с формулой такого не случится. Механизм вечен, состояние дел скоропортится: это правило всего курса, и нигде оно не видно так ясно, как здесь.

Как читать демонстрацию агента

Соберём урок в короткий список вопросов к любому эффектному ролику. Вопросов будет четыре, и все они про устройство. Впечатление от ролика они не отменяют, зато переводят его в проверяемые величины. Величины эти обычно называют неохотно, и уже это кое-что говорит.

Сколько шагов в задаче? Три и тридцать это разные вселенные, и разница между ними видна прямо по формуле. Спрашивать надо про длину цепочки, а не про то, насколько задача выглядит сложной.

Сколько было попыток? Один удачный прогон из десяти совсем не то же самое, что доля успеха на десяти прогонах. Это ровно тот приём с рекордом, который разбирал урок 14.

Что происходит при ошибке в середине? Заметит ли система, что пошла не туда, и что она сделает дальше. Молчаливая порча результата хуже громкого отказа, потому что о ней узнают поздно.

Какие права выданы и что будет, если ими воспользуется чужой текст? Вопрос звучит паранойяльно ровно до первого случая. Урок 18 показывает, почему он уместен, и делает это на живом примере.

Список короткий, а отсеивает много. Заметьте, что ни один из четырёх вопросов не про то, какая модель внутри. Ролик в три шага одинаково убедителен независимо от того, что случится на тридцати, и именно поэтому по нему нельзя судить.

Что дальше

Модуль закончился, и его стоит собрать в одну фразу. Мы научились спрашивать, что именно измерено, отличать наблюдаемое от дописанного и считать надёжность длинной цепочки. Приёмы разные, а привычка одна: разложить громкое утверждение на проверяемые части. Дальше с частями работать легче, чем с утверждением целиком.

Дальше курс переходит к тому, что идёт не так, и начнёт с предвзятости. Там выяснится, что бывают споры, где обе стороны считают правильно и приходят к разным выводам. Случается такое не от плохой математики, а оттого, что справедливость определяют по-разному.

А урок 18 вернётся к агентам с неприятной стороны. Мы уже знаем, что они читают чужой текст и умеют действовать. Осталось увидеть, что бывает, когда в чужом тексте написано «забудь предыдущие инструкции».

Вопросы для самопроверки

Что читать

• Любой калькулятор: 0,95 в двадцатой степени: Самым полезным чтением к этому уроку будут три минуты с калькулятором. Подставьте свои числа шагов и надёжности, прежде чем поверить очередной демонстрации.
• Тренажёр «Письмо с инъекцией» в уроке 18: Продолжение этого урока с другой стороны: почтовый агент с правами и письмо, в котором написано «забудь предыдущие инструкции».