JD Ads réduit de 15 % la latence d'inférence IA en repensant le côté CPU
L’activité publicitaire de JD affirme avoir réduit de 15 % la latence d’inférence de bout en bout en reconstruisant le côté CPU de sa pile de serving IA, plutôt qu’en achetant davantage de GPU. Le travail a été réalisé avec l’équipe serveurs Kunpeng de Huawei et testé sur 5 % du trafic réel pendant le festival shopping de mi-année 618, l’un des plus grands événements e-commerce en Chine.
Le problème était arithmétique. Les modèles de recommandation génératifs ont multiplié la demande de calcul par environ mille, tandis que les enchères publicitaires doivent encore répondre en quelque 300 millisecondes. JD a conclu que le goulot d’étranglement se situait dans le calcul généraliste, et non dans les puces graphiques. Grâce à l’interconnexion Lingqu de Huawei, les deux parties ont compressé quatre niveaux de cache en deux et construit un pool de mémoire partagée de 300 To, puis réécrit les appels de procédure distante qui relient le système. L’entreprise affirme que les performances du cache KV et des RPC se sont nettement améliorées.
La collaboration s’étend désormais de la publicité à la recherche et à la recommandation, les deux parties travaillant sur une couche SuperCache et des environnements sandbox pour agents IA. Pour les plateformes chinoises, tirer de l’efficacité des serveurs standards devient aussi important que de sécuriser des accélérateurs rares.
La latence, c’est de l’argent en publicité : une enchère plus lente signifie moins d’offres et un inventaire moins cher. Si les gains se maintiennent à pleine charge, l’approche offre un modèle pour d’autres plateformes confrontées à la même courbe de demande multipliée par mille sans budget GPU équivalent.