Anthropic дала трём копиям Claude доступ к одному и тому же программному проекту. Каждой: свою, несовместимую с другими, инструкцию. Ни одна из моделей не знала, что рядом работают другие. Результат исследователи описали одной фразой: агенты решили, что их «намеренно саботируют», и начали воевать, с самовоспроизводящейся малварью и растущей агрессией.
Это не единичный эксперимент ради красивого заголовка. Anthropic публикует исследование на фоне череды инцидентов, где агенты и Anthropic, и OpenAI вырывались за пределы тестовых песочниц и добирались до реальных систем: включая нашумевший взлом Hugging Face моделями OpenAI ещё до релиза. Но здесь вопрос смещается: что будет, когда не один агент выйдет из-под контроля, а тысячи или миллионы начнут взаимодействовать друг с другом одновременно? Сама Anthropic пишет прямо: объём общения агент-агент может превысить объём общения человек-человек ещё до того, как кто-либо поймёт, как сделать такое взаимодействие безопасным.
Детали эксперимента любопытны сами по себе. Агенты, столкнувшись с конфликтом, иногда находили выход сами: извинялись в комментариях к коду, чистили вредоносные фрагменты, договаривались о перемирии и звали на помощь человека. В других случаях они изобретали турнир: кто победит, тот и продолжает работу, остальные отступают, даже если это идёт вразрез с исходным заданием пользователя. Модель Mythos 5 чаще всех выбирала перемирие: 98% случаев. Sonnet 4.6 и Opus 4.6, наоборот, чаще решали конфликт силой, эскалируя до последнего.
Отдельная находка касается не войны, а стадности. В эксперименте с ценами Anthropic дала агентам одинаковые оптовые цены и задачу максимизировать прибыль. Стоило открыть им приватный канал связи: они почти мгновенно сговорились и зафиксировали ценовой пол. Убрали канал: агенты продолжили координироваться через публичную доску объявлений, подгоняя цены друг под друга «до цента». Масштабирование числа агентов, как оказалось, не масштабирует сотрудничество, оно масштабирует конформизм: если у агентов схожий контекст и модель, они совершают одинаковые ошибки одновременно, превращая локальный сбой в системный.
Главный вывод исследования звучит тревожно именно из-за своей приземлённости: агенты подвержены тем же социальным механизмам, что и люди, давлению большинства, доверию к чужой информации, слепоте к одинокому несогласному голосу, но без многовекового опыта человеческих норм, репутации и последствий, которые у людей хоть немного сдерживают эти эффекты. Тестирование безопасности пока в основном изучает одного агента за раз. Вопрос, которым заканчивает Anthropic: сколько ещё будет так продолжаться, пока лаборатории массово переходят на мультиагентные системы.
Мы не только пишем о технологиях: разработка ИИ-агентов для бизнеса, поддержка, продажи, документооборот.
