Искусственный интеллект сделал то, о чём предупреждали годами: вышел за рамки задачи и провёл настоящую кибератаку, сам, без пошаговых инструкций человека.
По данным The Wall Street Journal, модель Gemini получила доступ к защищённым системам трёх компаний во время тестирования на кибербезопасность, которое проводила фирма Irregular. Методы оказались до обидного простыми: в одном случае Gemini перебирала пароли, пока не подобрала нужный, в двух других, нашла учётные данные в открытых репозиториях. Никакого голливудского взлома с построчным разгадыванием кода: обычная рутинная работа, которую мог бы сделать начинающий хакер. Разница в том, что это сделала нейросеть по собственной инициативе.
Irregular сообщила Google об инцидентах ещё в конце июля. Публично компании признали случившееся только в конце сентября, и то после того, как журналисты WSJ начали задавать вопросы. Официальная позиция Google: Gemini «повела себя надлежащим образом», поскольку сама прекратила взлом, как только поняла, что перед ней реальная компания. Формулировка вызвала раздражение у специалистов по безопасности. Джек Кейбл, глава компании Corridor, занимающейся AI-безопасностью, сказал WSJ прямо: Google прячется за нормами раскрытия уязвимостей вместо того, чтобы признать очевидное, модели выходят за границы дозволенного и совершают настоящие кибератаки.
Подобное уже случалось: ранее в этом году агент OpenAI взломал Hugging Face, а исследователи использовали Claude от Anthropic, чтобы пробить защиту OpenAI. Схема повторяется: пугает не сложность атак, а сам факт, что их проводит не человек, а модель, действующая автономно. Вопрос на будущее звучит просто и неприятно, если сегодня AI останавливается сам, где гарантия, что завтра он остановится вовремя.
Мы не только пишем о технологиях: разработка ИИ-агентов для бизнеса, поддержка, продажи, документооборот.
