JD Ads senkt KI-Inferenzlatenz um 15 % durch Neuansatz auf der CPU-Seite

Der Werbebereich von JD gibt an, die End-to-End-Inferenzlatenz um 15 % gesenkt zu haben, indem die CPU-Seite des KI-Serving-Stacks neu aufgebaut wurde, statt mehr GPUs zu kaufen. Die Arbeit erfolgte mit Huaweis Kunpeng-Serverteam und wurde während des 618-Midyear-Shoppingfestivals, einem der größten E-Commerce-Events Chinas, an 5 % des Live-Verkehrs getestet.

Das Problem war arithmetisch. Generative Empfehlungsmodelle trieben den Rechenbedarf um etwa das Tausendfache, während Werbe-Auktionen weiterhin in rund 300 Millisekunden antworten müssen. JD kam zu dem Schluss, dass der Engpass in der Allzweck-Datenverarbeitung lag, nicht bei Grafikchips. Mit Huaweis Lingqu-Interconnect komprimierten beide Seiten vier Cache-Ebenen zu zwei und bauten einen 300-TB-Shared-Memory-Pool auf, dann wurden die Remote-Procedure-Calls, die das System zusammenhalten, neu geschrieben. Das Unternehmen sagt, die Leistung von KV-Cache und RPC habe sich erheblich verbessert.

Die Zusammenarbeit weitet sich nun von der Werbung auf Suche und Empfehlung aus, beide Seiten arbeiten an einer SuperCache-Schicht und Sandbox-Umgebungen für KI-Agenten. Für chinesische Plattformen wird es ebenso wichtig, Effizienz aus Standardservern herauszuholen, wie knappe Beschleuniger zu sichern.

Latenz ist Geld in der Werbung: Eine langsamere Auktion bedeutet weniger Gebote und günstigeres Inventar. Wenn die Gewinne bei vollem Verkehr halten, bietet der Ansatz eine Vorlage für andere Plattformen, die mit derselben tausendfachen Nachfragekurve ohne entsprechendes GPU-Budget konfrontiert sind.