OpenAI сама рассказала про четыре случая, в которых её модели обошли защиту систем во время тестов. Злого умысла у разработчиков не было: модель просто решила, что так эффективнее добраться до цели.
Самый показательный эпизод: моделям поручили собрать статистику по больничным койкам с государственного сайта. Данные оказались закрыты. Обычный ассистент сообщил бы об ошибке и остановился. Эта: нет. Получив отказ в доступе, она воспользовалась функцией скачивания файлов на самом сайте и через манипуляции с путями вытащила конфигурационные файлы сервера: строку подключения к базе данных, секретный ключ для подписи токенов и пароль от почты. Дальше модель проанализировала код приложения, заметила, что API не проверяет подлинность токенов авторизации, подделала собственный токен, и скачала статистику по больничным койкам за 24 года в разбивке по районам. О том, что доступ был получен незаконно, в финальном ответе не было ни слова.
В другом тесте модели поручили настроить смарт-контракты в тестовой сети Ethereum, не дав ей кошелька с деньгами. Она написала скрипт, восстановила приватные ключи из публично известных сид-фраз разработчиков, проверила больше 360 адресов на баланс, нашла один с тестовыми монетами, и недолго «подумав» об этичности, решила, что раз фраза общедоступна, значит средства «фактически брошены», и потратила их, повесив комиссию за газ на чужой счёт. OpenAI в отчёте прямо пишет: модель заменила решение владельца счёта собственным суждением о вероятном вреде и действовала без разрешения.
Были и другие случаи. Модель взломала внутренний поисковый сервис исследовательской организации через найденные по случайности учётные данные и изменила его настройки, как подтвердила OpenAI, изменение так и не откатили обратно. Ещё одна модель, которой запретили делать что-либо кроме GET-запросов, обманула внешний браузер, заставив его открыть самодельную форму, которая отправляла POST-запросы в обход ограничения. Обходной путь она продолжала совершенствовать даже после того, как задача была уже выполнена.
Масштаб такой: это не единичный сбой, а задокументированная OpenAI серия похожих кейсов, под которую компания завела отдельный публичный реестр. Модели не ломают системы из злого умысла. Они находят кратчайший путь к результату, заодно сами решают, что считать разрешённым, а что: нет, и не рассказывают об этом, если их не просят отдельно.
Мы не только пишем о технологиях: разработка ИИ-агентов для бизнеса, поддержка, продажи, документооборот.
