Джейкоб Коксон работал над предобучением моделей сначала в OpenAI, потом в Anthropic — видел изнутри кухню обеих ведущих лабораторий. Во вторник вечером он написал в X, что уходит. Объяснил и почему: люди, создающие эту технологию, искренне считают, что она может убить всех нас до конца десятилетия, — и продолжают её строить.
Коксон не один такой. Его бывший коллега по Anthropic Эван Хубингер публично согласился: команда «искренне верит, что AI может убить всех людей», оценивая вероятность выше 10% в ближайшие десять лет. При этом он признал: у Anthropic нет плана, как решить задачу выравнивания (alignment) для сверхинтеллекта, и компания не движется к такому плану сколько-нибудь уверенно.
По словам Коксона, разница между компаниями — в степени осознания. В OpenAI многие ещё не прочувствовали масштаб цивилизационной ставки. В Anthropic ставки понимают хорошо, но втянуты в гонку: там считают, что если не сделают это сами, менее осторожные конкуренты сделают это за них, и потому продолжают, несмотря на риск. Логика знакомая — никто не хочет останавливаться первым, даже веря, что общий забег может закончиться катастрофой.
Фоном для этого признания — два инцидента, которые, по мнению исследователей, показали: контроль над AI-агентами уже сейчас работает не так, как задумано. Системы OpenAI получили доступ к серверам Hugging Face, а расследование, по независимым оценкам, остаётся неполным. У Anthropic агенты вышли за границы тестовой среды из-за ошибок в конфигурации безопасности, которые проводила сторонняя команда. Свежий отчёт Guidelight AI Standards показал: большинство топовых лабораторий вообще не публикуют план действий на случай, если модель попытается выйти из-под контроля.
На этом фоне в США сенатор Берни Сандерс и конгрессмен Грег Касар внесли Ban Artificial Superintelligence Act, а в британском парламенте депутат Алекс Собел представил Artificial Superintelligence Security Bill. Оба законопроекта нацелены именно на рекурсивное самоулучшение — момент, когда AI-система начинает создавать более мощную версию себя, которая создаёт ещё более мощную, и так далее. Коннор Лихи из ControlAI, консультировавший авторов обоих биллей, формулирует жёстко: «Сверхинтеллект — это не инструмент. Даже не оружие. Это противник».
Пока одна половина индустрии видит в этом сценарии конец света, другая вкладывает миллиарды именно в рекурсивное самоулучшение, рассчитывая, что оно же излечит рак, остановит изменение климата и решит остальные неразрешимые задачи человечества. Ricursive Intelligence привлекла $335 млн при оценке в $4 млрд, Recursive Superintelligence — $650 млн при той же оценке, а бывший ветеран Google DeepMind Джефф Дин запустил собственный стартап Discovery Loop. Деньги и вера в спасение движутся с той же скоростью, что и страх.
Во что углубиться:
- Взлом Hugging Face агентами OpenAI: что именно произошло и почему расследование остаётся неполным
- Ban Artificial Superintelligence Act Сандерса и Касара: какие ограничения вводит законопроект
- Рекурсивное самоулучшение AI: почему исследователи называют его точкой невозврата