JD Ads снижает задержку вывода ИИ на 15%, пересмотрев работу процессоров

Рекламный бизнес JD заявляет, что сократил сквозную задержку вывода на 15%, перестроив процессорную часть своего стека обслуживания ИИ, а не закупая дополнительные графические процессоры. Работа была выполнена совместно с командой серверов Kunpeng компании Huawei и протестирована на 5% живого трафика во время полугодового торгового фестиваля 618, одного из крупнейших событий электронной коммерции в Китае.

Проблема была арифметической. Генеративные рекомендательные модели увеличили вычислительную нагрузку примерно в тысячу раз, при этом рекламные аукционы по-прежнему должны отвечать примерно за 300 миллисекунд. JD пришла к выводу, что узкое место находится в универсальных вычислениях, а не в графических чипах. Используя interconnect Lingqu от Huawei, стороны сжали четыре уровня кэша до двух и создали общий пул памяти объемом 300 ТБ, а затем переписали удаленные вызовы процедур, которые связывают систему воедино. Компания утверждает, что производительность KV-кэша и RPC значительно улучшилась.

Сотрудничество теперь распространяется с рекламы на поиск и рекомендации, обе стороны работают над уровнем SuperCache и изолированными средами для ИИ-агентов. Для китайских платформ повышение эффективности стандартных серверов становится столь же важным, как и обеспечение дефицитных ускорителей.

Задержка в рекламе — это деньги: более медленный аукцион означает меньше ставок и более дешевый инвентарь. Если выигрыш сохранится при полном трафике, подход предложит шаблон для других платформ, сталкивающихся с той же кривой спроса, выросшего в тысячу раз, без соответствующего бюджета на графические процессоры.