Пока гиганты индустрии меряются триллионными оценками и спорят о ценах на облачные вычисления, молодой стартап Underdog решает задачу с другого конца: как сделать ИИ маленьким настолько, чтобы он поместился прямо в браузер и вообще не нуждался в сервере.
Компания показала новую демонстрацию: игру с ретро-интерьером, печатной машинкой и ламповым монитором, построенную вокруг голосовой модели Woof весом всего 32 мегабайта. Введение в игре прямо подшучивает над «навязчивыми облачными провайдерами»: явный укол в сторону конкурентов, завязанных на серверы. Внутри можно печатать текст на клавиатуре и слышать, как машинка проговаривает его вслух, или крутить тюнер, генерируя музыку, и всё это считается и озвучивается локально, прямо в браузере, без единого запроса в интернет.
Модель содержит 31 миллион параметров: капля по меркам современных языковых моделей, но вполне достаточно, чтобы распознавать и воспроизводить речь на устройстве пользователя. Код открыт, скачать и изучить её может любой желающий. Разработчики не скрывают: такая компактная модель не заменит гигантов вроде голосовых систем от крупных облачных игроков, но вполне годится для локальных голосовых ассистентов или, например, генерации персонального подкаста без утечки единого байта данных наружу.
Это не первый эксперимент Underdog с миниатюрными моделями. Несколькими неделями ранее компания выпустила Bark: модель распознавания речи весом 167 мегабайт, тоже заточенную под работу на периферийных устройствах, для транскрибации и надиктовки текста. А ещё у стартапа есть 27-миллиардная параметрическая модель, рассчитанная на обычные ноутбуки.
Основатель компании Sigil Wen рассказал TechCrunch, что идея родилась из личного раздражения: вместо того чтобы пользоваться чужими сервисами для заметок вроде Granola, он захотел построить собственную систему на моделях, которые работают прямо на устройствах людей и оставляют данные при них. Его прогноз звучит смело: большинство современных мощных моделей, по его мнению, будут работать на обычных пользовательских устройствах уже в течение нескольких месяцев. Цель, которую он формулирует в своём манифесте: обучать открытые американские модели, которые дают людям контроль над собственным ИИ, а не отдают его на откуп облаку.
Underdog уже позиционирует себя как приватную альтернативу крупным ассистентам вроде Muse и Instinct, и у компании есть лист ожидания на полноценное приложение. Идея компактного локального ИИ пока нишевая, но она отвечает на вопрос, который всё громче звучит среди пользователей: кому на самом деле принадлежат данные, которые мы доверяем умным помощникам.
Хотите такого помощника у себя? Заказать разработку AI-агента можно у нас.
