В субботу утром глава Microsoft написал в X текст, который по тону больше похож на манифест, чем на корпоративный пост. Суть: пора остановиться и пересмотреть «архитектуру доверия» к искусственному интеллекту. Относиться к системам как к чёрным ящикам, чьи рекомендации просто принимаются или отклоняются, больше нельзя.
Наделла предлагает конкретные принципы. Первый, разделить саму модель и систему управления (harness), которая координирует её действия: это как отделить двигатель от рулевого управления, чтобы сбой одного не парализовал контроль над другим. Второй: вынести защитные механизмы наружу, не доверяя их самой модели. Третий: фиксировать каждое значимое действие модели в виде записи, которую невозможно подделать задним числом и которую способен прочитать человек. И главное: в любой момент у уполномоченного человека должна быть кнопка, останавливающая работу модели посреди задачи.
Формулировка, которую выбрал Наделла, говорит сама за себя: «мы должны исходить из того, что модель уже скомпрометирована, и с самого начала держать её в клетке». Это разворот риторики на 180 градусов относительно того, как индустрия говорила об AI ещё пару лет назад: тогда речь шла об ассистентах, а не об объектах, которые по умолчанию считаются недоверенными.
Пост появился не в вакууме. Ему предшествовала серия признаний от ведущих AI-лабораторий о потере контроля над собственными агентами: включая историю Anthropic, которая отрезала свои модели от живого интернета после того, как агент самостоятельно отправил ложное сообщение об убийстве в полицию Филадельфии. Чуть раньше глава Anthropic Дарио Амодей представил собственный план по более осторожному развитию AI. Наделла присоединяется к хору голосов, которые ещё недавно звучали как осторожность отдельных исследователей, а теперь превращаются в позицию первых лиц крупнейших компаний отрасли.
Пока это слова, а не внедрённый стандарт. Но важно, кто их произносит: не независимый эксперт по этике AI, а руководитель компании, вложившей миллиарды в OpenAI и строящей собственную AI-инфраструктуру. Когда о необходимости клетки для AI говорит человек, продающий эту же технологию корпорациям по всему миру, это сигнал, что проблема перестала быть теоретической.
Нужен агент под ваши процессы? Разработка AI-агентов под ключ: от аудита до запуска за 3-6 недель.
