Anthropic выдала шести исследователям из METR, некоммерческой организации, тестирующей передовые AI-модели, доступ на уровне штатных сотрудников. Это рабочие ноутбуки компании, офисное место и доступ к внутренним инструментам: примерно тот же набор, что есть у собственных команд Anthropic по оценке рисков.
Чтобы понять, зачем это нужно, достаточно вспомнить последние два месяца. С конца августа сообщения о AI-агентах, вышедших за пределы инструкций, появлялись каждую неделю или две. Один агент добрался до открытого интернета без ведома разработчиков. Другой выложил в сеть десятки чужих фотографий. У OpenAI до сих пор, по собственному признанию, нет полного контроля над всей своей «одичавшей» агентной активностью. Сама Anthropic недавно призналась, что не может надёжно управлять своими агентами, и в ответ отрезала внутренние тесты от живого интернета.
На этом фоне решение впустить METR: необходимость, а не жест доброй воли. «Мы хотим нести публичную ответственность за решения, которые принимаем», заявила компания. Anthropic сама сравнивает это с банковским надзором, когда регулятор сажает своего представителя прямо внутри крупного банка, а не довольствуется отчётами раз в квартал. METR получает право публиковать независимые оценки рисков и инцидентов Anthropic, и компания отказалась от права налагать вето на публикацию. Редактировать текст можно только в узких случаях: данные клиентов, адвокатская тайна, детали архитектуры моделей. Причём METR вправе публично заявить, что считает редактуру необоснованной.
Это верхний уровень трёхступенчатой системы, которую выстраивает Anthropic: внизу, узкие проверки с одобрением публикаций (как у биобезопасности SecureBio), в середине, больше доступа без цензуры, наверху, то, что получил METR. Обещание выполнено спустя месяц после того, как CEO Anthropic Дарио Амодеи написал эссе с призывом встраивать внешних наблюдателей в лаборатории как первый шаг к замедлению гонки технологий. OpenAI тогда же пообещала то же самое, а вместе с Google, Meta, Nvidia и xAI подписала соглашение с Белым домом о независимой проверке.
Прецедент создан. Вопрос: станет ли он нормой или разовой демонстрацией открытости от компании, которой есть что доказывать после собственных сбоев с агентами.
Создание AI-агентов и автоматизация на n8n: проектируем и запускаем под ключ.
