Qualcomm zet in op on-device AI-agenten nu telefoons lokaal leren denken
On-device kunstmatige intelligentie bereikt een keerpunt, aldus Qualcomm, de Amerikaanse chipontwerper wiens processors een groot deel van ‘s werelds Android-telefoons aandrijven. Op de negende China International Import Expo in Shanghai, die tot begin november duurde, demonstreerde het bedrijf een mixture-of-experts AI-agent die volledig op een handset draait in plaats van in een ver datacenter.
Wan Weixing, die Qualcomms AI-product- en technologiewerk in China leidt, vertelde op 7 november aan een publiek dat edge-AI zich drie tot vier jaar heeft ontwikkeld en nu een belangrijkere fase ingaat. De verandering, suggereerde hij, gaat minder over de ruwe modelgrootte dan over hoe AI voor gebruikers wordt verpakt.
De eerste golf van on-device AI begon niet met grote taalmodellen. Fotografie was een van de vroegste plekken waar machine learning stilletjes consumenten bereikte. Elk jaar produceren smartphonecamera’s betere opnamen bij weinig licht, scherpere portretten en vloeiendere video, en veel van die verbetering komt van modellen die op de eigen image signal processor van de telefoon draaien in plaats van op een server. Consumenten merkten de resultaten op zonder ooit na te denken over de technologie erachter.
Wat nu verandert, is de vorm van de ervaring. In plaats van één app te openen om een menu te vertalen of een fotobomber te verwijderen, zullen toekomstige telefoons naar verwachting agenten draaien die context vasthouden tussen taken, meerdere modellen aanroepen en namens de gebruiker handelen. Een mixture-of-experts-ontwerp past bij dat doel omdat het alleen de delen van een model activeert die nodig zijn voor een bepaald verzoek, wat batterij spaart en de latentie laag houdt.
AI lokaal draaien houdt ook persoonlijke data op het apparaat, een verkoopargument voor privacybewuste kopers. Het vermindert de afhankelijkheid van netwerkdekking, wat belangrijk is in markten waar connectiviteit ongelijk is. En het verlaagt de kosten van inferentie voor telefoonfabrikanten, die anders betalen voor cloudcomputing telkens wanneer een gebruiker een vraag stelt.
De obstakels zijn reëel. Grote modellen belasten geheugen en batterij, en fabrikanten moeten ambitie afwegen tegen thermische limieten. Qualcomms boodschap is dat betere chips en slimmere modelroutering die kloof kunnen dichten. Het bedrijf heeft jaren besteed aan het positioneren van zijn Snapdragon-platforms als AI-first silicon, en de expo-demo is deel van een inspanning om ontwikkelaars te laten zien wat mogelijk is wanneer een agent op het apparaat leeft.
Voor wereldwijde lezers ligt de betekenis in waar dit werk wordt getoond. China is ‘s werelds grootste smartphonemarkt en een felle testomgeving voor AI-functies, met lokale merken die in hoog tempo nieuwe assistenten uitbrengen. Qualcomms op China gerichte boodschap suggereert dat de volgende ronde telefoonupgrades minder wordt beoordeeld op camera-megapixels en meer op of het apparaat aanvoelt als een assistent die je kent.
Het bedrijf kondigde geen lanceringsdatum of een genoemd commercieel product voor de agent aan. De expo-demonstratie kan het best worden gelezen als een richtingverklaring: AI verschuift van een functie die je opent naar een agent die stil op de achtergrond draait. Of consumenten die verschuiving belonen, hangt af van of de agent tijd bespaart in plaats van nog een laag complexiteit aan de telefoon toe te voegen.