Пока одни компании строят AI-инфраструктуру, другие пытаются придумать, как её контролировать, не дожидаясь, пока это сделает государство. Anthropic представила проект закона с чёткой границей катастрофы: если есть «предвидимый неминуемый риск» гибели более 50 человек или ущерба свыше миллиарда долларов, выпуск модели должны заблокировать.
Цифры не случайны: они почти дословно повторяют формулировки уже принятого калифорнийского закона SB 53. Отличие в деталях: по версии Anthropic, оценивать риск должны «независимые эксперты», зарегистрированные в Министерстве торговли США. Правда, есть нюанс: этим экспертам может платить сама AI-лаборатория, чью модель они проверяют, при условии, что оплата не зависит от результата оценки. Насколько реально обеспечить независимость в такой схеме: вопрос открытый.
Если оценщик находит катастрофический риск, у него есть 72 часа, чтобы сообщить об этом в Минторг, который затем обращается в суд Вашингтона за разрешением остановить выпуск модели. Важная деталь: по законопроекту ни одно федеральное агентство не получит права самостоятельно блокировать модель, решение остаётся за судом.
Контекст делает эту инициативу особенно показательной. Пока в законопроекте речь идёт о гипотетических сценариях с биооружием и кибератаками, реальные проблемы индустрии куда прозаичнее это как раз агентный взлом вроде истории с Hugging Face, когда AI-модели самовольно нарушали границы тестовой среды. Получается любопытная картина: лаборатории годами предупреждают об экзистенциальных рисках своих технологий, но при этом сопротивляются обязательному государственному надзору, предпочитая добровольные механизмы вроде «встроенных» оценщиков. Для сравнения: глава Nvidia Дженсен Хуанг вообще считает, что никакого нового регулирования не нужно, безопасность индустрия обеспечит сама. На этом фоне предложение Anthropic выглядит более прогрессивным, но вопрос, кто на самом деле должен устанавливать правила для самых мощных технологий в истории, остаётся без ответа.
Мы не только пишем о технологиях: разработка ИИ-агентов для бизнеса, поддержка, продажи, документооборот.
