Caltech-стартап PrismML показал на Snapdragon Summit вещь, которая ещё год назад звучала как желаемое, а не реальное: полноценную языковую модель, работающую локально на чипе умных очков, без единого запроса к серверу.
Модель называется Bonsai, работает в 1-битном режиме и весит в 4 раза меньше стандартных аналогов — при этом теряет минимум в качестве на привычных бенчмарках. Версия для очков построена на 2 миллиардах параметров и заточена под связку изображения и текста: человек смотрит на предмет, спрашивает вслух — модель отвечает, ничего не отправляя в дата-центр. Работает всё на платформе Qualcomm Snapdragon AR1 Gen 1, а за спиной PrismML стоят исследователи Caltech и советник из Беркли Ион Стойка — фигура, известная по работе над распределёнными системами для обучения AI.
Смысл тут не в конкретном гаджете (готовых очков с Bonsai внутри пока не объявлено), а в направлении. Крупные лаборатории вроде OpenAI и Anthropic держат пользователей на коротком поводке облачных API: каждый запрос уходит на удалённый сервер, каждый ответ стоит денег и оставляет цифровой след. PrismML предлагает обратный путь — открытые веса, которые крутятся на устройстве, которое уже лежит у вас в кармане или сидит на носу. Меньше задержек, меньше счетов за облако, меньше поводов для тревоги о том, куда уходят данные о том, на что вы смотрите.
Пока это техническое доказательство концепции, а не продукт на полке. Но чип уже готов, модель уже работает, и следующий логичный шаг — производитель очков, который решится собрать это в железо. Вопрос на ближайшие месяцы: кто рискнёт первым.
Во что углубиться:
- 1-bit квантизация нейросетей: как ужимают вес модели, почти не теряя точность
- Snapdragon AR1 Gen 1: чем этот чип отличается от обычных мобильных процессоров
- Открытые веса против proprietary AI: чем рискуют компании, публикуя модель в открытый доступ