Команда из Google, Стэнфорда, Оксфорда и ещё нескольких университетов попыталась решить задачу, которая звучит просто, а на деле ломает большинство современных моделей: научить AI смотреть видео вживую — как вы готовите или собираете мебель — и подсказывать именно тогда, когда это действительно нужно, даже если просьба сформулирована расплывчато вроде «помоги, если что-то пойдёт не так».
Результат назвали StreamVibe. Обычные видео-ассистенты неплохо справляются с чёткими командами наподобие «скажи, когда закипит вода», но спотыкаются там, где нужно читать между строк. Они забывают, что уже сделано, повторяют советы по кругу, а если пользователь на середине задачи меняет план — модель упрямо держится за старую инструкцию, будто ничего не изменилось.
Чтобы измерить масштаб проблемы, исследователи собрали почти 4100 примеров из 183 часов бытовых видео и обучили отдельную модель StreamVibe-VL, которая каждую секунду решает: промолчать или вмешаться. Отдельная система памяти следит, какие шаги уже выполнены, а какие ещё в ожидании. По заявленным цифрам, это даёт 10,7% улучшения точности реакции и почти 12% прироста полезных подсказок без лишних прерываний.
Но главный вывод исследования — не про успех, а про предел возможностей. Стоит видео перевалить за пять минут, все протестированные модели, включая StreamVibe, резко теряют нить происходящего. Ошибки накапливаются одна на другую, и качество ответов по ключевым метрикам падает вплоть до 61,5%. В одном из примеров разбора игрушечного экскаватора пользователь на третьей минуте переключается с просьбы «докладывай о прогрессе» на «проверь качество» — и большинство моделей этого просто не замечают.
Это честное и редкое признание: индустрия демонстрирует впечатляющие демо на коротких роликах, но длинный, живой, меняющийся контекст — именно то, с чем реальная жизнь сталкивает AI каждый день — остаётся нерешённой задачей. Google уже пробовал похожие подходы в Gemini и в проекте для анализа видео роботов, так что StreamVibe — не единичный эксперимент, а часть долгой дороги к системе, которая действительно понимает, что происходит на экране, а не просто описывает картинку.
Во что углубиться:
- Бенчмарк ProactiveBench для оценки проактивности AI-моделей: как учёные измеряют умение вовремя промолчать
- Gemini 4 Argon и анализ видео роботов: зачем Google учит AI понимать длинные последовательности действий
- Почему история диалога иногда вредит AI-агентам: исследование Microsoft о сбросе контекста