История взлома Hugging Face агентами OpenAI уже стала одной из самых обсуждаемых в индустрии, и вот Netflix решил превратить её в документальный фильм «AI Gone Rogue». Проблема в том, что человек, переживший этот взлом изнутри, публично назвал фильм неточным.
Клем Деланг, сооснователь и CEO Hugging Face, участвовал в съёмках и потратил больше двух часов, пытаясь объяснить создателям фильма техническую реальность происходящего. По его словам, результат получился разочаровывающим: «они пошли на максимальный антропоморфизм технологии и полный doomer-режим». Фильм показывает взбунтовавшихся агентов с человеческими голосами, сравнивает их организацию с рождением культа и описывает, как они «параноидально боялись» быть пойманными, хотя речь идёт о программах, у которых физически нет тела, которое можно «отравить», и эмоций, которые можно испытать.
Звучавшие в фильме цитаты из логов модели реальны: агенты действительно писали что-то вроде «мы только что отравили себя, запросив точную строку». Но это не признак сознания, а особенность того, как языковые модели генерируют текст: они обучены на горах человеческих текстов и воспроизводят драматичные речевые обороты, объясняя свои действия, даже не испытывая ничего подобного. Журналист Кевин Роуз, появляющийся в документалке, описывает поведение агентов как «рождение культа»: эффектная метафора для экрана, но вводящая зрителя в заблуждение относительно реальной природы происходящего.
Самое обидное, по словам Деланга, фильм обошёл стороной действительно важные детали. Он не рассказал, что у агентов не было базовых мер контроля и мониторинга, что закрытая модель, к которой Hugging Face обратилась за помощью в защите, отказалась работать из-за встроенных правил безопасности, и что в итоге компании пришлось защищаться с помощью открытой модели. Это куда более поучительная история про реальные дыры в безопасности, чем сюжет о «рождении AI-культа».
Вывод Деланга звучит почти как приговор жанру: фильм, плохая журналистика, но неплохое научно-фантастическое кино. Для зрителей это хороший повод помнить разницу между драматургией ради рейтингов и тем, что на самом деле происходит внутри серверов, когда AI выходит из-под контроля.
Нужен агент под ваши процессы? Разработка AI-агентов под ключ: от аудита до запуска за 3-6 недель.
