У каждого AI-агента есть «обвязка»: harness, набор правил, который решает, откроет ли агент нужный файл перед тем, как его менять, сможет ли оправиться после ошибки и аккуратно ли оформит результат. Исследователи Google прямо говорят: львиная доля последнего прогресса в агентах это улучшения именно harness, а не новых базовых моделей. Раньше эту обвязку правили руками, разбирая неудачные попытки. Сейчас появился способ поручить правку языковой модели: она сама переписывает harness снова и снова, опираясь на обратную связь с тестовых задач.
Звучит как самосовершенствование. На практике всплывает побочный эффект: агент, который постоянно крутится вокруг одного и того же набора тестов, начинает их запоминать. Оценки на тренировочных задачах растут, а способность решать что-то новое: падает или исчезает вовсе. Модель находит трюки, которые работают только для конкретного бенчмарка, закрепляет случайные удачи как закономерность и обрастает лишней сложностью, которая поднимает счёт, но не делает агента умнее на практике.
Решение, которое предложили исследователи, называется RRSI: Regularized Recursive Self-Improvement of Agent Harnesses. Работает оно на двух уровнях. Во-первых, бюджет правок: сколько изменений можно внести за один проход. Этот бюджет со временем сжимается: ранние раунды допускают крупные переделки, поздние разрешают только точечные правки с понятным эффектом. Во-вторых, «критик»: отдельный механизм, который отсеивает предложения, завязанные на конкретные названия задач или готовые решения конкретного бенчмарка. Более высокая цена вычислений принимается только если даёт измеримый прирост качества, а бесполезные компоненты со временем удаляются.
Проверка на восьми бенчмарках, код, офисные агентские задачи, инженерное проектирование, с замороженной моделью Claude Opus 4.8 дала показательную картину. RRSI вырос на 14,1 балла на тренировочных задачах: меньше всех остальных методов. Зато на пяти незнакомых бенчмарках прирост составил до 4,7 балла, тогда как два конкурирующих метода вообще просели ниже базовой линии. При этом RRSI тратит примерно на 30% меньше токенов, чем нерегуляризованная версия. Обвязка, оптимизированная на одной модели, неожиданно помогла и совсем другой: слабая Gemini 3.1 Flash Lite получила прирост точности с 11,2 до 14,6 балла благодаря harness, доведённому до ума на Gemini 3.5 Flash.
Проблема переобучения на тестах для агентов не абстрактна. На ARC-AGI-3 показательный случай: Opus 4.6 с подогнанной под конкретную среду обвязкой показал 97,1% в знакомой обстановке и 0% в незнакомой. RRSI: попытка закрыть именно этот разрыв, сделав самоулучшение агентов устойчивым, а не просто красивым числом в отчёте.
Нужен агент под ваши процессы? Разработка AI-агентов под ключ: от аудита до запуска за 3-6 недель.
