JD Ads reduz em 15% a latência de inferência de IA repensando o lado da CPU

A área de publicidade da JD diz ter reduzido em 15% a latência de inferência de ponta a ponta ao reconstruir o lado da CPU de sua pilha de serving de IA, em vez de comprar mais GPUs. O trabalho foi feito com a equipe de servidores Kunpeng da Huawei e testado em 5% do tráfego ao vivo durante o festival de compras de meio de ano 618, um dos maiores eventos de comércio eletrônico da China.

O problema era aritmético. Modelos de recomendação generativos multiplicaram a demanda por computação em cerca de mil vezes, enquanto os leilões de anúncios ainda precisam responder em cerca de 300 milissegundos. A JD concluiu que o gargalo estava na computação de propósito geral, não nos chips gráficos. Usando a interconexão Lingqu da Huawei, as duas partes comprimiram quatro níveis de cache em dois e construíram um pool de memória compartilhada de 300 TB, depois reescreveram as chamadas de procedimento remoto que unem o sistema. A empresa afirma que o desempenho do cache KV e do RPC melhorou substancialmente.

A colaboração agora está se expandindo da publicidade para a busca e a recomendação, com as duas partes trabalhando em uma camada SuperCache e ambientes isolados para agentes de IA. Para as plataformas chinesas, extrair eficiência de servidores convencionais está se tornando tão importante quanto garantir aceleradores escassos.

Latência é dinheiro na publicidade: um leilão mais lento significa menos lances e inventário mais barato. Se os ganhos se mantiverem com o tráfego total, a abordagem oferece um modelo para outras plataformas que enfrentam a mesma curva de demanda mil vezes maior sem um orçamento de GPU equivalente.