JD Ads reduce un 15% la latencia de inferencia de IA replanteando el lado de la CPU
El negocio publicitario de JD dice haber reducido un 15% la latencia de inferencia de extremo a extremo al reconstruir el lado de la CPU de su stack de servicio de IA, en lugar de comprar más GPU. El trabajo se realizó con el equipo de servidores Kunpeng de Huawei y se probó en el 5% del tráfico en vivo durante el festival de compras de mitad de año 618, uno de los mayores eventos de comercio electrónico de China.
El problema era aritmético. Los modelos de recomendación generativos multiplicaron la demanda de cómputo unas mil veces, mientras que las subastas publicitarias aún deben responder en unos 300 milisegundos. JD concluyó que el cuello de botella residía en la computación de propósito general, no en los chips gráficos. Utilizando la interconexión Lingqu de Huawei, ambas partes comprimieron cuatro niveles de caché en dos y construyeron un pool de memoria compartida de 300 TB, y luego reescribieron las llamadas a procedimientos remotos que unen el sistema. La empresa afirma que el rendimiento de la caché KV y de RPC mejoró sustancialmente.
La colaboración se está extendiendo ahora desde la publicidad hacia la búsqueda y la recomendación, con ambas partes trabajando en una capa SuperCache y entornos aislados para agentes de IA. Para las plataformas chinas, exprimir la eficiencia de servidores convencionales se está volviendo tan importante como asegurar aceleradores escasos.
La latencia es dinero en publicidad: una subasta más lenta significa menos pujas y inventario más barato. Si las ganancias se mantienen con el tráfico completo, el enfoque ofrece una plantilla para otras plataformas que enfrentan la misma curva de demanda mil veces mayor sin un presupuesto de GPU equivalente.