Есть задачи, где закрытые модели держали монополию настолько прочно, что казалось — иначе быть не может. Управление смартфоном — приложения, кнопки, меню, живые интерфейсы с их непредсказуемостью — именно такая задача. OpenMobile-2, разработка команды из Нанкинского университета, SenseTime и ещё нескольких вузов, показывает: монополия закончилась.
На тесте SPA-Bench, который гоняет агентов на настоящих устройствах, а не в симуляции, старшая версия модели набрала 59,6 балла — лучший результат среди всех открытых систем в истории теста. Обошла её только закрытая Gemini 3.1 Pro от Google. На более общем бенчмарке AndroidWorld модель прыгнула с 67,1 до 79,9 балла по сравнению с предыдущим поколением — рост, который в мире бенчмарков считается почти скачком через ступеньку.
Секрет не в большем объёме данных, а в их разнообразии. Исследователи воссоздали более 110 приложений — от китайских Taobao и DiDi до интернациональных Slack и Google Drive — с нуля, вручную выверив каждый сценарий использования против оригинала. И выяснили ключевую вещь: если держать объём тренировочных данных постоянным, но увеличивать число разных приложений, на которых учится агент, точность на незнакомых приложениях растёт с 60,7% до 67,5%. Лучше показать модели сто разных дверей, чем сто раз одну и ту же.
Ещё одна находка касается того, как агент взаимодействует с приложением. Вместо того чтобы, как человек, тыкать пальцем по экрану и пролистывать меню, часть приложений дали агенту прямые команды вроде «добавить в корзину». Сами по себе такие ярлыки почти не помогали — модели их игнорировали, пока их специально не обучили пользоваться подобными инструментами. После обучения эффект разительный: на 10,3 процентных пункта больше успешных задач и примерно на пять шагов меньше действий на пути к результату. Причём эта способность переносится и на инструменты, которых модель не видела в процессе обучения — верный знак, что она выучила общий принцип, а не зазубрила конкретные команды.
Показательно, что учителем для этой открытой модели выступила закрытая Gemini 3.1 Pro — именно она генерировала примеры правильного поведения. Получается своеобразный парадокс: открытая модель обгоняет закрытых конкурентов отчасти потому, что училась у одного из них. Но итоговый результат всё равно остаётся в открытом доступе — вместе с кодом, данными и полной средой для обучения, так что повторить и улучшить эту работу может кто угодно.
Во что углубиться:
- GUI-агенты против API-агентов: в чём разница подходов к автоматизации приложений, по исследованию Microsoft Research
- Qwen3.5 и Qwen3.6: открытые модели Alibaba, на которых построен OpenMobile-2
- Gemini бакед в Android: как Google встраивает управление экраном прямо в свои модели