JD Ads reduz em 15% a latência de inferência de IA repensando o lado da CPUHOT
A área de publicidade da JD afirma que o verdadeiro gargalo na recomendação publicitária generativa está nos servidores de propósito geral, não nas GPUs. Em parceria com a equipe Kunpeng da Huawei, a empresa fundiu quatro níveis de cache em dois e reconstruiu sua camada RPC, cortando em 15% a latência de inferência de ponta a ponta antes do festival de compras 618.





