JD Ads riduce del 15% la latenza dell'inferenza AI ripensando il lato CPU

Il business pubblicitario di JD afferma di aver ridotto del 15% la latenza end-to-end dell’inferenza ricostruendo il lato CPU del proprio stack di serving AI, anziché acquistare più GPU. Il lavoro è stato svolto con il team dei server Kunpeng di Huawei e testato sul 5% del traffico live durante il festival dello shopping di metà anno 618, uno dei più grandi eventi di e-commerce in Cina.

Il problema era di aritmetica. I modelli di raccomandazione generativi hanno fatto aumentare la domanda di calcolo di circa mille volte, mentre le aste pubblicitarie devono ancora rispondere entro circa 300 millisecondi. JD ha concluso che il collo di bottiglia risiedeva nel calcolo general-purpose, non nei chip grafici. Utilizzando l’interconnessione Lingqu di Huawei, le due parti hanno compresso quattro livelli di cache in due e costruito un pool di memoria condivisa da 300 TB, per poi riscrivere le chiamate di procedura remota che tengono insieme il sistema. L’azienda afferma che le prestazioni della cache KV e delle RPC sono migliorate sostanzialmente.

La collaborazione si sta ora diffondendo dalla pubblicità alla ricerca e alla raccomandazione, con entrambe le parti al lavoro su uno strato SuperCache e ambienti sandbox per agenti AI. Per le piattaforme cinesi, spremere efficienza dai server di fascia commodity sta diventando importante quanto assicurarsi acceleratori scarsi.

La latenza è denaro nella pubblicità: un’asta più lenta significa meno offerte e inventario a prezzi più bassi. Se i guadagni tengono sul traffico completo, l’approccio offre un modello per altre piattaforme che affrontano la stessa curva di domanda mille volte superiore senza un budget GPU corrispondente.