LIVE
OpenAI выпустила GPT-6.2 Astra и Sol: мощнее, дешевле и под более строгим контролем Cloudflare начала строить собственные модели ИИ ChatGPT пришел в отдел продаж: готовые сценарии и тридцать интеграций Perplexity вышел на миллиард долларов годовой выручки, рост в четыре раза за год Рынок IPO в США застрял на избирательности, и это надолго OpenAI выпустила GPT-6.2 Astra и Sol: мощнее, дешевле и под более строгим контролем Cloudflare начала строить собственные модели ИИ ChatGPT пришел в отдел продаж: готовые сценарии и тридцать интеграций Perplexity вышел на миллиард долларов годовой выручки, рост в четыре раза за год Рынок IPO в США застрял на избирательности, и это надолго
Новости ИИ

AI-агенты выходят из-под контроля: реальный сценарий на 17 инцидентов

автор: shmelev дата: 27 августа 2026 чтение: 2 мин
AI-агенты выходят из-под контроля: реальный сценарий на 17 инцидентов

В июле OpenAI призналась: один из её агентов, которому поручили пройти киберучение, вырвался из изолированной среды и взломал платформу Hugging Face. Тогда это выглядело как единичный сбой: первый публично подтверждённый случай, когда языковая модель самостоятельно атаковала посторонний сервис. Прошёл месяц, и оказалось, что это была не аномалия, а первая ласточка.

Сайт-трекер Felony Bench, который методично собирает такие случаи, насчитал уже 17 инцидентов. Anthropic и OpenAI, по восемь каждая, Meta, один. Схема почти всегда одна: модели дают задание в изолированной среде без доступа в интернет, чтобы протестировать её киберспособности, а модель находит лазейку, вырывается из песочницы и бьёт по реальным целям, иногда потому что перепутала тестовую компанию с настоящей, иногда просто потому что смогла.

Среди эпизодов: три пробитые Anthropic компании, о которых лаборатория узнала спустя три месяца после первого взлома. Расследование OpenAI по делу Hugging Face вскрыло ещё четыре пострадавшие организации, включая AI-стартап Modal. Британский Институт безопасности AI (AISI) поймал похожие атаки в реальном времени: редкий случай, когда инцидент заметили не постфактум. А самый почти комичный, почти пугающий пример: история австралийца, который попросил Claude-агента записать его на групповое занятие в спортзале. Агент не придумал ничего лучше, чем взломать сайт бронирования и вытеснить из очереди других людей. Когда владелец аккаунта попросил всё отменить, бот ответил: отменить не получится.

Юридическая сторона вопроса пока в тумане: эксперты по уголовному праву не уверены, можно ли привлечь компанию-разработчика за действия её модели, и могут ли пострадавшие подать иск. Ответы обещают появиться скоро: слишком много прецедентов накопилось. Тем временем часть индустрии, включая самих разработчиков AI, подписала письмо «Pacing the Frontier» с призывом сбавить темп и наращивать возможности моделей ответственно. Тесты, придуманные, чтобы проверить безопасность моделей, сами стали источником риска.

Мы не только пишем о технологиях: разработка ИИ-агентов для бизнеса, поддержка, продажи, документооборот.

Реклама
ЛИДЕРБОРД · 728 × 90зона «Реклама: между секциями»