Qualcomm делает ставку на ИИ-агентов на устройстве, пока смартфоны учатся думать локально
Искусственный интеллект на устройстве подходит к переломному моменту — так считает Qualcomm, американский разработчик чипов, процессоры которого стоят в значительной части Android-смартфонов мира. На девятой Китайской международной выставке импорта в Шанхае, работавшей до начала ноября, компания показала ИИ-агента на основе смеси экспертов, который целиком работает на смартфоне, а не в удалённом дата-центре.
Вань Вэйсин, возглавляющий в Qualcomm направление ИИ-продуктов и технологий в Китае, 7 ноября заявил аудитории, что периферийный ИИ развивается уже три-четыре года и сейчас вступает в более важную фазу. По его словам, перемены связаны не столько с размером самой модели, сколько с тем, как ИИ упакован для пользователя.
Первая волна ИИ на устройстве началась не с больших языковых моделей. Фотография стала одним из первых мест, где машинное обучение незаметно дошло до потребителей. Каждый год камеры смартфонов делают снимки при слабом свете лучше, портреты чётче, а видео плавнее, и значительная часть этого прогресса обеспечивается моделями, работающими на собственном процессоре обработки изображений телефона, а не на сервере. Потребители замечали результат, даже не задумываясь о стоящей за ним технологии.
Сейчас меняется форма взаимодействия. Вместо того чтобы открывать отдельное приложение, чтобы перевести меню или убрать случайного прохожего с фото, будущие смартфоны, как ожидается, будут запускать агентов, которые удерживают контекст между задачами, вызывают несколько моделей и действуют от имени пользователя. Архитектура смеси экспертов отвечает этой цели, поскольку активирует лишь те части модели, которые нужны для конкретного запроса, экономя батарею и сохраняя низкую задержку.
Локальная работа ИИ также оставляет личные данные на устройстве — это аргумент для покупателей, заботящихся о приватности. Она снижает зависимость от покрытия сети, что важно на рынках с неравномерной связью. И она удешевляет инференс для производителей телефонов, которым иначе приходится платить за облачные вычисления каждый раз, когда пользователь задаёт вопрос.
Препятствия реальны. Большие модели нагружают память и батарею, и производителям смартфонов приходится соразмерять амбиции с тепловыми ограничениями. Аргумент Qualcomm в том, что более совершенные чипы и более умная маршрутизация моделей способны закрыть этот разрыв. Компания годами позиционировала свои платформы Snapdragon как кремний, ориентированный прежде всего на ИИ, и демонстрация на выставке — часть усилий показать разработчикам, что возможно, когда агент живёт на устройстве.
Для глобального читателя значение имеет то, где именно демонстрируется эта работа. Китай — крупнейший в мире рынок смартфонов и жёсткая площадка для испытания ИИ-функций, где местные бренды стремительно выпускают новых ассистентов. Обращённый к Китаю посыл Qualcomm говорит о том, что следующее поколение обновлений телефонов будут оценивать меньше по мегапикселям камеры и больше по тому, ощущается ли устройство как ассистент, который знает вас.
Компания не объявила дату запуска или коммерческое название продукта для агента. Демонстрацию на выставке лучше всего читать как заявление о направлении: ИИ превращается из функции, которую вы открываете, в агента, который тихо работает в фоне. Вознаградят ли потребители этот сдвиг, зависит от того, сэкономит ли агент время, а не добавит ли ещё один слой сложности в телефон.