JD Ads verlaagt AI-inferentielatentie met 15% door de CPU-kant opnieuw te doordenken
De advertentietak van JD zegt de end-to-end inferentielatentie met 15% te hebben verlaagd door de CPU-kant van zijn AI-servingstack opnieuw op te bouwen, in plaats van meer GPU’s te kopen. Het werk werd uitgevoerd met het Kunpeng-serverteam van Huawei en getest op 5% van het live-verkeer tijdens het 618-tussentijdse shoppingfestival, een van China’s grootste e-commerce-evenementen.
Het probleem was rekenkundig. Generatieve recommendatiemodellen stuwden de rekenvraag ruwweg duizendvoudig op, terwijl advertentie-veilingen nog steeds binnen ongeveer 300 milliseconden moeten antwoorden. JD concludeerde dat de bottleneck bij general-purpose computing lag, niet bij grafische chips. Met behulp van Huawei’s Lingqu-interconnectie comprimeerden beide partijen vier cachelagen tot twee en bouwden een gedeelde geheugenpool van 300 TB, waarna ze de remote procedure calls herschreven die het systeem bij elkaar houden. Het bedrijf zegt dat de prestaties van de KV-cache en RPC aanzienlijk zijn verbeterd.
De samenwerking breidt zich nu uit van advertenties naar zoeken en recommendation, waarbij beide partijen werken aan een SuperCache-laag en sandboxomgevingen voor AI-agenten. Voor Chinese platforms wordt het uitpersen van efficiëntie uit commodityservers net zo belangrijk als het veiligstellen van schaarse accelerators.
Latentie is geld in advertenties: een langzamere veiling betekent minder biedingen en goedkopere voorraad. Als de winst bij volledig verkeer standhoudt, biedt de aanpak een template voor andere platforms die met dezelfde duizendvoudige vraagcurve worden geconfronteerd zonder een bijpassend GPU-budget.