Решит ли проблему переход на более мощную модель?

Обычно нет. Исследование Принстонского университета «Towards a Science of AI Agent Reliability» оценило 15 моделей на двух бенчмарках и показало, что рост возможностей дал лишь небольшой прирост надёжности: точность и предсказуемость — разные свойства. Когда результаты скачут, сначала сужают задачу, добавляют критерии приёмки и запреты. Предложение «заменим модель» в ответ на нестабильность — красный флаг.

Что такое harness простыми словами?

Это обёртка вокруг модели: набор ограничений, который задаёт, что агенту можно делать, какие данные он видит и по каким критериям его ответ засчитывается. Аналогия с наймом работает точно: модель — это квалификация человека, harness — должностная инструкция, доступы и контроль качества. Команда Manus публично описала, что переписывала свою обёртку четыре раза на тех же моделях, и каждая итерация давала лучший результат.

Почему «ты — опытный маркетолог» не улучшает ответы?

Роль не добавляет модели знаний. Она активирует усреднённый образ из обучающих данных, поэтому ответы становятся осторожными и предсказуемыми. Вместо идентичности описывают функцию: что агент получает на вход, что возвращает на выход и где граница качества. Проверять можно только вторую формулировку.

Сколько обращений агент должен отдавать человеку?

Рабочая норма в наших кейсах — 10–20 % эскалаций. Ноль означает, что агент отвечает даже там, где не имеет оснований, и вы увидите эти случаи уже в жалобах клиентов. Слишком высокий процент означает, что задача описана слишком широко или данных для ответа не хватает. Эту долю согласуют до пилота и смотрят на неё еженедельно.

Как отличить слабую модель от слабой настройки?

По характеру ошибок. Слабая модель ошибается равномерно и на простом тоже. Слабая настройка даёт другой рисунок: на подготовленных случаях всё хорошо, а на реальных агент плавает, повторяет одну и ту же ошибку в одном и том же месте и не имеет критерия, по которому остановиться. Второй случай встречается значительно чаще.

Что требовать от подрядчика до подписания договора?

Три вещи: названное число, которое должно сдвинуться за пилот; согласованный до старта способ его измерить; и дату совместного ревью. Плюс перечень того, что агент делать не будет, — запреты так же важны, как задачи. Предложение без этих пунктов означает, что результат пилота потом можно будет трактовать как угодно.

Почему один и тот же AI-агент даёт разные результаты — и как проверить подрядчика

Две компании запускают AI-агента на одной и той же модели. У первой он месяцами стабильно обрабатывает обращения, у второй сегодня отвечает блестяще, а завтра выдаёт нелепицу. Владелец второй делает вывод «AI ещё сырой» и откладывает тему на год. На самом деле он только что оплатил разницу не в моделях, а в том, как подрядчик построил ограничения вокруг модели. Эту разницу видно на этапе переговоров, если знать, о чём спрашивать.

Шесть вопросов подрядчику

Демо здесь не поможет: на презентации агент работает всегда, потому что ему показывают подготовленный случай. Зато ограничения проверяются разговором.

Вопрос	Ответ, который стоит услышать
Как вы ограничиваете агента?	Каждая задача описана отдельно: цель, шаги, критерии приёмки, формат ответа, запреты
Сколько задач выполняет один агент?	Одну. Широкую задачу делим между несколькими
Что будет с неправильным результатом?	Не прошёл критерии приёмки — не засчитывается и не уходит клиенту
Пишете ли вы в промптах «ты — лучший эксперт»?	Нет, роли функциональные: что на входе, что на выходе, где граница качества
Откуда агент берёт актуальные данные?	Из живого источника: ваша CRM, база знаний, документация поставщика — не только из памяти модели
Результаты нестабильны — ваши действия?	Сужаем задачу и усиливаем ограничения

Если в ответ на жалобу о нестабильности вам предлагают перейти на более мощную модель — это замена двигателя там, где не хватает руля и тормозов.

Четыре красных флага в коммерческом предложении

Ноль эскалаций. Если в предложении написано, что агент отвечает на все обращения сам, подрядчик либо не мерил, либо не покажет вам ошибки. Рабочая норма эскалации, то есть доля обращений, которые агент осознанно передаёт человеку, — 10–20 % в наших кейсах.

Нет критериев приёмки. «Запустим агента для поддержки» — это не предмет договора. Предмет договора — число, которое должно сдвинуться, и способ его измерить.

Демо на чужих данных. Агент, который хорошо выглядит на примере из презентации, ничего не говорит о вашем потоке: у вас другие формулировки клиентов, другой ассортимент и собственные исключения.

Одна большая задача. «Агент закроет весь клиентский сервис» стоит дороже и ломается чаще, чем три узких агента, запущенных по очереди.

Что стоит за этими вопросами

Три вещи определяют, будет ли агент предсказуемым. Ни одна из них не связана с тем, какая модель внутри.

Ограничения. В инженерии их называют harness — обёртка вокруг модели, которая задаёт, что агенту можно, что он видит и по каким правилам его результат засчитывается. Звучит контринтуитивно, но чем уже задача и чем строже критерии, тем стабильнее результат. Средняя модель в строгих ограничениях предсказуемее самой умной без них. Это не только про AI: вспомните лучшего сотрудника, которому не дали чёткого задания.

Формулировка. Популярный рецепт «дайте модели роль, и она станет умнее» не работает. Роль не добавляет модели знаний — она активирует усреднённый стереотип из обучающих данных, и агент начинает звучать как осторожная корпоративная вики. Работает функциональное описание: что агент получает на вход, что возвращает на выход, где граница качества. Сравните «ты — лучший ревьюер с двадцатилетним опытом» и «получаешь изменения, возвращаешь максимум пять замечаний с пометками критично / предупреждение / мелочь». Вторая формулировка проверяется, первая — нет.

Свежесть. У каждой модели есть дата, после которой она не знает ничего: новых цен, нового ассортимента, новых правил возврата, новой версии инструмента. Агент, который опирается только на память модели, будет уверенно рассказывать клиентам прошлогоднюю правду. Поэтому агента подключают к живому источнику — вашей CRM, базе знаний, каталогу — и он читает оттуда в момент ответа.

Как это выглядит в живом внедрении

Производственная компания с сетью 500 дилеров (название не раскрываем по договорённости) поставила агента между дилерами и учётной системой. Раньше эту роль выполняли двое менеджеров: дилер писал вопрос об остатке или статусе отгрузки, менеджер открывал ERP и отвечал.

Стабильность здесь держат четыре слоя, а не выбор модели. База знаний даёт агенту фактуру. Guardrails — жёсткие правила, которые физически не позволяют выйти за пределы дозволенного, в том числе доступ к учётной системе только на чтение. Отдельная модель-супервизор проверяет ответ до отправки. Эскалация передаёт случай человеку, когда уверенности не хватает.

Результат: 95 %+ точности на типовых запросах, остальные случаи идут человеку. Рутина, которая стоила ≈700 тыс. грн в год (≈$17K), закрывается агентом, сборка которого стоила ≈110 тыс. грн (≈$2,7K) плюс ≈18 тыс. грн в год (≈$440) обслуживания; чистый эффект первого года — ≈572 тыс. грн (≈$14K), окупаемость 2–3 месяца. Уволенных людей — ноль. Полный разбор кейса с цифрами — отдельной статьёй.

Для технической команды

Три наблюдения из открытых источников, которые подтверждают то же самое с другой стороны.

Исследование группы Принстонского университета «Towards a Science of AI Agent Reliability» (принятое на ICML 2026) разводит два свойства, которые часто путают: точность и надёжность. Авторы предлагают двенадцать метрик по четырём измерениям — согласованность, устойчивость, предсказуемость и безопасность — и, оценив 15 моделей на двух бенчмарках, приходят к выводу, что рост возможностей дал лишь небольшой прирост надёжности. Более умная модель сама по себе стабильности не добавляет.

Команда Manus описала, что переписывала обёртку своего агента четыре раза, каждый раз после того, как находила лучший способ формировать контекст. Модели при этом оставались те же.

Vercel опубликовал разбор под названием «We removed 80% of our agent's tools»: внутреннего агента для работы с данными лишили большинства специализированных инструментов и свели к одному. Успешность выросла с 80 % до 100 % при меньшем количестве шагов и токенов. Меньше опций — меньше места для ошибки.

Отсюда три рабочих правила: один агент на одну задачу, критерии приёмки в коде, актуальные данные через MCP — протокол, которым агент обращается к внешним источникам в момент ответа. Для документации библиотек эту роль закрывает, например, Context7.

Что записать в договор на пилот

Проверка подрядчика заканчивается формулировкой в договоре, не разговором. Три вещи, без которых пилот не стоит начинать: названное число, которое должно сдвинуться; способ его измерить, согласованный до старта; и срок, на котором вы вместе смотрите на результат.

В Grow2.ai это выглядит так. Starter — €1 800 за пилот на 14 дней, дальше от €49 в месяц. Practice — €3 600 за 21 день, дальше от €99. Operator — от €6 000 за 30 дней, дальше от €149. Сверху — модельные расходы. Пилот оплачивается вперёд; если на ревью 30-го дня согласованная KPI не сдвинулась — возвращаем полную сумму. Grow2.ai — AI-подразделение Auspex; настройку процессов и CRM, в которых будет жить агент, берёт на себя Auspex.

Хотите проверить, почему ваш агент работает нестабильно? Бесплатный AI-аудит за 2 минуты разбирает это на вашем конкретном процессе, а тридцатиминутный разбор с основателем пройдёт по тексту вашего договора с подрядчиком. Более широкая карта — в хабе AI-агенты для бизнеса.