JD Ads verlaagt AI-inferentielatentie met 15% door de CPU-kant opnieuw te doordenkenHOT
De advertentietak van JD stelt dat de echte bottleneck bij generatieve ad-recommendatie op general-purpose servers ligt, niet op GPU's. Samen met het Kunpeng-team van Huawei bracht het vier cachelagen terug tot twee en herbouwde het de RPC-laag, waardoor de end-to-end inferentielatentie met 15% daalde voorafgaand aan het 618-shoppingfestival.





