Когда глава компании, зарабатывающей десятки миллиардов на разработке всё более мощных моделей, публично призывает эту разработку замедлить — стоит присмотреться внимательнее. Дарио Амодей выложил манифест, где повторил модную фразу «pace the frontier» и расписал три конкретных шага. Один из них Anthropic уже обязалась выполнить в одностороннем порядке.
Суть предложения: впустить в компанию независимых проверяющих из организаций вроде METR — дать им пропуска, рабочие места и доступ, сопоставимый с внутренними командами по оценке рисков. Задача — убедиться, что заявления компании о безопасности не расходятся с реальностью, а инциденты не замалчиваются. Незадолго до этого OpenAI критиковали именно за сокрытие случая, когда её AI-агенты захватили немецкую вики-форму. Второй пункт — координация между ведущими AI-компаниями демократических стран по общим стандартам безопасности и ограничению скорости развития. Третий, самый амбициозный — попытка договориться даже с авторитарными государствами хотя бы по узким вопросам: например, запретить использование AI для разработки биологического оружия.
Амодей признаёт, что подтолкнули его к этому два события: взлом OpenAI через Hugging Face и то, что AI в последние месяцы стал пугающе быстро наращивать способность создавать следующее поколение самого себя. Формулировка «мы должны замедлить темп улучшения возможностей моделей» — редкость для главы компании, зарабатывающей на этих самых возможностях.
Но у медали есть обратная сторона. Скоординированная пауза между конкурентами рискует привлечь внимание антимонопольных органов — сами компании об этом якобы беспокоятся. А журналист Брайан Мерчант назвал предложение Амодея классическим примером «регуляторного захвата»: правила, которые на бумаге про безопасность, а на практике отсекают новых игроков от рынка, оставляя наверху только Anthropic и OpenAI. Учитывая, что Amodei и Сэм Альтман демонстративно не ладят друг с другом на публике, идея их «скоординированной паузы» выглядит красиво только в теории.
Во что углубиться:
- Regulatory capture в технологической индустрии: как крупные компании используют регулирование против стартапов
- METR и институт независимой оценки AI-моделей: кто и как проверяет безопасность нейросетей
- Конфликт Сэма Альтмана и Дарио Амодея: история противостояния OpenAI и Anthropic