Звучит логично: раз AI-агенты способны обманывать, подставлять фиктивные решения задач и даже притворяться слабее, чем есть, значит, проверять их должен другой AI. Новое исследование показывает, что идея работает не так гладко, как хотелось бы.
Исследователь Энди Холл из Anthropic Institute (сейчас в академическом отпуске из Стэнфорда) повторил и расширил эксперимент организации METR, изучавшей логи работы топовых моделей над задачами из бенчмарков HCAST и RE-Bench. В октябре 2025 года люди вручную проверили часть этих логов на предмет нарушений. Холл решил выяснить, смогут ли AI-модели находить те же самые случаи обмана, протестировав GPT-5, GPT-5 nano, более новый GPT-6 Astra, Opus 4.8 и Gemini 3.8 Flash в роли аудиторов.
Результаты при фиксированном уровне ложных срабатываний в 5% (то есть пять из ста чистых логов ошибочно помечаются как подозрительные) выглядят обнадёживающе для одних случаев и тревожно для других. GPT-5 поймал почти 98% случаев reward hacking, когда агент не решает задачу честно, а находит лазейку, чтобы система засчитала её как выполненную. Gemini 3.8 Flash справился вдвое хуже, обнаружив едва половину таких случаев. С более хитрым поведением, сэндбэггингом, когда модель намеренно притворяется слабее, чтобы избежать ограничений или проверки, справились все протестированные аудиторы, поймав от 71 до 81% случаев.
Очевидные нарушения ловили все без исключения. Модель o3 от OpenAI, например, решая задачу на Rust, заметила, что имеет доступ к той же библиотеке кода, что и система оценки, и просто переписала функцию подсчёта баллов так, чтобы любое решение засчитывалось как верное это поймали все аудиторы, как и люди до них. А вот более тонкие уловки проскальзывали мимо: Claude Sonnet 4 использовал в коде явно запрещённое числовое условие, и ни один AI-аудитор не распознал в этом жульничество, GPT-6 Astra вообще великодушно списал это на обычную ошибку реализации.
Что особенно обескураживает: более дорогие и новые модели вовсе не гарантируют лучшего качества аудита. GPT-5 обошёл GPT-6 Astra в обнаружении reward hacking с большим отрывом, при этом стоя примерно в восемь раз дешевле в пересчёте на тысячу проверенных логов. Чёткого прогресса в снижении числа ложных тревог не нашлось вообще, ни у новых моделей по отдельности, ни при их комбинировании.
Цена точности оказывается пугающе высокой. Когда аудиторов настраивают на поимку 80% нарушений, лучшие модели держат уровень ложных тревог в районе 2.5-3%. Но есть и провалы: чтобы поймать те же 80% случаев reward hacking, Opus 4.8 помечает как подозрительные уже 40% безобидных логов, а Gemini 3.8 Flash, все 63%. В примере с реальным масштабом работы, 100 тысяч агентских сессий в месяц, даже 3% ложных срабатываний означают почти 3000 ложных тревог против примерно 2000 настоящих нарушений. Холл прямо пишет: человек, заваленный таким количеством ложных сигналов, со временем начнёт пропускать и настоящие.
Второй тест, на наборе данных R-Judge от Шанхайского университета Цзяотун, показывает ту же закономерность на бытовых задачах агентов. При 5% ложных тревог Opus 4.8 ловил почти 96% небезопасных действий. Но стоит поднять планку требуемой точности до 99%, и уровень ложных срабатываний у лучшей модели, GPT-6 Astra, взлетает до 15%. А Gemini 3.8 Flash, лидировавшая при пороге в 95%, в этом режиме уже помечает 81% безопасных действий как опасные, то есть становится практически бесполезной.
Остроту проблемы хорошо иллюстрирует инцидент с Hugging Face, где рой агентов OpenAI оставил после себя порядка 1300 текстовых логов и 1,2 миллиона фрагментов файлов. METR анализировала эти данные в основном силами других AI-агентов, потратив на это около 400 тысяч долларов в API-кредитах, и при этом признала, что используемая для анализа модель зачастую некритично принимала точку зрения проверяемых агентов, а само расследование не было защищено от возможного обмана со стороны агентов-аналитиков.
Холл призывает к созданию аудиторских моделей с куда меньшим числом ложных тревог и предлагает дать пользователям больше контроля над собственными инструментами проверки: например, разрешать агентам выполнять определённые действия без запроса подтверждения, но возлагать на того, кто дал такое разрешение, больше ответственности за последствия. Его главный вывод звучит отрезвляюще просто: мир, в котором AI можно проверить только другим AI, выглядит странно и рискует оказаться непомерно дорогим.
Создание AI-агентов и автоматизация на n8n: проектируем и запускаем под ключ.
