JD Ads reduce un 15% la latencia de inferencia de IA replanteando el lado de la CPUHOT
El brazo publicitario de JD afirma que el verdadero cuello de botella en la recomendación publicitaria generativa está en los servidores de propósito general, no en las GPU. En colaboración con el equipo Kunpeng de Huawei, fusionaron cuatro niveles de caché en dos y reconstruyeron su capa RPC, recortando la latencia de inferencia de extremo a extremo un 15% antes del festival de compras 618.





