Qualcomm punta sugli agenti AI on-device mentre gli smartphone imparano a pensare in locale
L’intelligenza artificiale on-device sta raggiungendo un punto di svolta, secondo Qualcomm, il progettista di chip americano i cui processori alimentano una larga parte degli smartphone Android nel mondo. Alla nona China International Import Expo di Shanghai, che si è protratta fino ai primi di novembre, l’azienda ha dimostrato un agente AI mixture-of-experts in esecuzione interamente su un telefono anziché in un data center remoto.
Wan Weixing, che guida gli sforzi di Qualcomm su prodotti e tecnologie AI in Cina, ha dichiarato il 7 novembre a un pubblico che l’edge AI si è sviluppato per tre o quattro anni e sta ora entrando in una fase più importante. Il cambiamento, ha suggerito, riguarda meno le dimensioni grezze del modello e più il modo in cui l’AI viene confezionata per gli utenti.
La prima ondata di AI on-device non è iniziata con i grandi modelli linguistici. La fotografia è stata uno dei primi ambiti in cui l’apprendimento automatico è arrivato silenziosamente ai consumatori. Ogni anno, le fotocamere degli smartphone producono scatti in condizioni di scarsa luce migliori, ritratti più nitidi e video più fluidi, e gran parte di questo miglioramento deriva da modelli eseguiti sul processore di segnale dell’immagine del telefono anziché su un server. I consumatori hanno notato i risultati senza mai pensare alla tecnologia che vi stava dietro.
Ciò che sta cambiando ora è la forma dell’esperienza. Invece di aprire una singola app per tradurre un menu o rimuovere un fotobomber, i futuri telefoni dovrebbero eseguire agenti che mantengono il contesto tra le attività, chiamano più modelli e agiscono per conto dell’utente. Un design mixture-of-experts si adatta a questo obiettivo perché attiva solo le parti di un modello necessarie per una data richiesta, risparmiando batteria e mantenendo bassa la latenza.
Eseguire l’AI localmente mantiene anche i dati personali sul dispositivo, un argomento di vendita per gli acquirenti attenti alla privacy. Riduce la dipendenza dalla copertura di rete, il che conta nei mercati in cui la connettività è disomogenea. E abbassa il costo dell’inferenza per i produttori di telefoni, che altrimenti pagano per il calcolo cloud ogni volta che un utente pone una domanda.
Gli ostacoli sono reali. I grandi modelli mettono sotto stress memoria e batteria, e i produttori di telefoni devono bilanciare l’ambizione con i limiti termici. La proposta di Qualcomm è che chip migliori e un routing dei modelli più intelligente possano colmare questo divario. L’azienda ha passato anni a posizionare le sue piattaforme Snapdragon come silicio AI-first, e la demo all’expo fa parte di uno sforzo per mostrare agli sviluppatori cosa è possibile quando un agente vive sul dispositivo.
Per i lettori globali, il significato sta in dove viene presentato questo lavoro. La Cina è il più grande mercato mondiale di smartphone e un feroce banco di prova per le funzionalità AI, con i marchi locali che lanciano nuovi assistenti a ritmo rapido. Il messaggio di Qualcomm rivolto alla Cina suggerisce che il prossimo giro di aggiornamenti dei telefoni sarà giudicato meno sui megapixel della fotocamera e più se il dispositivo sembra un assistente che ti conosce.
L’azienda non ha annunciato una data di lancio né un prodotto commerciale con un nome per l’agente. La dimostrazione all’expo va letta soprattutto come una dichiarazione di direzione: l’AI si sta spostando da una funzione che apri a un agente che gira silenziosamente in background. Se i consumatori premieranno questo cambiamento dipenderà dal fatto che l’agente faccia risparmiare tempo invece di aggiungere un altro strato di complessità al telefono.