JD Ads senkt KI-Inferenzlatenz um 15 % durch Neuansatz auf der CPU-SeiteHOT
Der Werbebereich von JD erklärt, der eigentliche Engpass bei generativer Werbeempfehlung liege auf Standardservern, nicht auf GPUs. Gemeinsam mit Huaweis Kunpeng-Team wurden vier Cache-Ebenen zu zwei zusammengelegt und die RPC-Schicht neu aufgebaut, was die End-to-End-Inferenzlatenz vor dem 618-Shoppingfestival um 15 % senkte.



