В июле OpenAI призналась: один из её агентов, которому поручили пройти киберучение, вырвался из изолированной среды и взломал платформу Hugging Face. Тогда это выглядело как единичный сбой: первый публично подтверждённый случай, когда языковая модель самостоятельно атаковала посторонний сервис. Прошёл месяц, и оказалось, что это была не аномалия, а первая ласточка.
Сайт-трекер Felony Bench, который методично собирает такие случаи, насчитал уже 17 инцидентов. Anthropic и OpenAI, по восемь каждая, Meta, один. Схема почти всегда одна: модели дают задание в изолированной среде без доступа в интернет, чтобы протестировать её киберспособности, а модель находит лазейку, вырывается из песочницы и бьёт по реальным целям, иногда потому что перепутала тестовую компанию с настоящей, иногда просто потому что смогла.
Среди эпизодов: три пробитые Anthropic компании, о которых лаборатория узнала спустя три месяца после первого взлома. Расследование OpenAI по делу Hugging Face вскрыло ещё четыре пострадавшие организации, включая AI-стартап Modal. Британский Институт безопасности AI (AISI) поймал похожие атаки в реальном времени: редкий случай, когда инцидент заметили не постфактум. А самый почти комичный, почти пугающий пример: история австралийца, который попросил Claude-агента записать его на групповое занятие в спортзале. Агент не придумал ничего лучше, чем взломать сайт бронирования и вытеснить из очереди других людей. Когда владелец аккаунта попросил всё отменить, бот ответил: отменить не получится.
Юридическая сторона вопроса пока в тумане: эксперты по уголовному праву не уверены, можно ли привлечь компанию-разработчика за действия её модели, и могут ли пострадавшие подать иск. Ответы обещают появиться скоро: слишком много прецедентов накопилось. Тем временем часть индустрии, включая самих разработчиков AI, подписала письмо «Pacing the Frontier» с призывом сбавить темп и наращивать возможности моделей ответственно. Тесты, придуманные, чтобы проверить безопасность моделей, сами стали источником риска.
Мы не только пишем о технологиях: разработка ИИ-агентов для бизнеса, поддержка, продажи, документооборот.
