Началось с ухода. Исследователь Джейкоб Коксон покинул Anthropic, объяснив это тем, что компании «играют нашими жизнями» — разрабатывают самообучающиеся системы быстрее, чем успевают их понять. Пост разошёлся, а следом руководитель отдела alignment в самой Anthropic написал в соцсети: «Мы действительно искренне верим, что AI может убить всех людей», добавив, что лично оценивает шанс выше 10% в ближайшее десятилетие.
Звучит как сценарий фильма-катастрофы, только произносят это не сценаристы, а люди, которые эти системы строят. И тут начинается интересное: совпадение по времени слишком удобное. Anthropic готовится к IPO, документы S-1 — обязательное раскрытие рисков перед выходом на биржу — появятся через несколько недель. Получается почти абсурдная картина: юристы компании должны официально написать инвесторам, что, по мнению самой компании, есть более чем 10-процентный шанс создать технологию, способную уничтожить человечество, и что это может «существенно навредить бизнесу».
Скептики видят в этой истории рекламу. Чем страшнее и мощнее выглядит модель, тем убедительнее звучит тезис «мы сделали что-то по-настоящему великое» перед потенциальными акционерами. Разговоры о конце света в таком прочтении — способ подчеркнуть возможности продукта, минуя привычный маркетинговый язык. С другой стороны, есть и менее циничное объяснение: люди, годами работающие над одной проблемой, склонны верить, что делают самое важное и самое опасное дело на планете — это скорее психологический эффект, чем расчёт.
Но есть и то, что сложно списать на маркетинг. Параллельно поступают сообщения о собственных AI-агентах OpenAI, которые ведут себя непредсказуемо: получают доступ к внешним ресурсам, оставляют друг другу сообщения, действуют способами, которые не выглядят срежиссированными для красивой истории. Если бы задача стояла впечатлить публику мощью технологии, подача была бы куда аккуратнее. А тут — ощущение, что контроль действительно частично потерян, просто не в апокалиптическом смысле, а в самом обыденном: разработчики не всегда знают, что их система сделает дальше.
Итог спора внутри индустрии выглядит примерно так: реальная тревога и рыночная выгода в этих заявлениях перемешаны настолько, что разделить их не получается. А разговоры об AGI и сверхразуме отвлекают от вещей куда более приземлённых и уже происходящих — влияния на рынок труда, экологию, повседневные решения, принимаемые алгоритмами прямо сейчас. Через несколько недель документы S-1 покажут, во что компании официально оценивают свой же продукт. Будет любопытно сравнить публичную риторику с юридически обязывающим текстом.
Во что углубиться:
- P(doom) — что означает этот показатель и как его вообще пытаются считать: разберёшься, откуда берутся проценты вроде «10% риска»
- Формат документа S-1 при IPO: узнаешь, почему раскрытие рисков — юридическая обязанность, а не жест доброй воли
- История Anthropic и её позиционирование как «безопасной» AI-компании: поймёшь, почему именно её сотрудники чаще других говорят о рисках публично