JD Ads riduce del 15% la latenza dell'inferenza AI ripensando il lato CPUHOT
Il braccio pubblicitario di JD afferma che il vero collo di bottiglia nella raccomandazione pubblicitaria generativa risiede sui server general-purpose, non sulle GPU. Lavorando con il team Kunpeng di Huawei, ha ridotto da quattro a due i livelli di cache e ricostruito il livello RPC, tagliando del 15% la latenza end-to-end dell'inferenza in vista del festival dello shopping 618.



