广告推荐大模型推理基础技术研究

课题背景： 受大语言模型成功的启发，业界针对推荐模型的scaling law进行了多代探索，持续增加模型参数规模和计算量，探索实现性能的持续提升。 早期工作主要集中于单纯扩大模型宽度或交互层参数，缺乏深思熟虑的架构设计，限制了推荐领域的实际效果。 后续如Wukong等尝试，通过设计更精细的模型结构并进行Scale，取得一定进展，但往往忽略了与硬件协同的设计与优化，导致性能未能达到最优。 因此数据计算平台部，围绕推荐前沿模型探索，深入模型和硬件协同技术，探索推理基础技术的创新。 课题挑战：

1. 01

   极致推理性能要求，随着模型scaling，稠密部分的不断扩大，同时保障推荐场景苛刻的低延迟SLA要求，同时最大化推理吞吐。

2. 02

   针对不同硬件架构，通过灵活的图编译引擎、高性能融合算子框架、并行/缓存基础设施等，实现多平台算力利用最大化。

3. 03

   极致迭代效率要求，满足快速模型迭代中，对自定义算子、高性能融合算子等开发效率要求。 具体工作：

4. 01

   与算法、系统等团队紧密协作，对推理基础技术进行CoDesign；

5. 02

   新一代推荐系统架构探索，打破传统PS架构瓶颈，并扩展支持长序列、生成式等多种模型；

6. 03

   针对广告场景特征，通过AI辅助、融合算子框架、DSL等创新，实现高性能融合算子开发方案。

招聘要求

1. 01

   机器学习或者体系结构相关顶会论文优先；

2. 02

   机器学习头部开源项目经验优先；

3. 03

   熟悉推荐算法或推荐系统架构经验优先；