JD Ads réduit de 15 % la latence d'inférence IA en repensant le côté CPUHOT
La branche publicitaire de JD affirme que le véritable goulot d'étranglement de la recommandation publicitaire générative se situe sur les serveurs généralistes, pas sur les GPU. En collaboration avec l'équipe Kunpeng de Huawei, elle a fusionné quatre niveaux de cache en deux et reconstruit sa couche RPC, réduisant de 15 % la latence d'inférence de bout en bout avant le festival shopping 618.



