广告超大模型训练系统基础技术研究

课题背景： 随着Scaling Law 在LLM大模型场景的效力验证，Scaling Law成为大模型技术演进的核心趋势。这一浪潮深刻重塑了推荐系统领域：为了精准建模用户万级超长行为序列、深层兴趣交互及多模态特征，广告推荐模型正加速向 10+B 参数升级，在此背景下，腾讯广告正式启动“新一代广告 Infra”项目。 课题挑战： 模型复杂度的激增使广告推荐系统面临严峻挑战：既需应对耗时有限的约束，又面临算力与显存瓶颈，传统的单机及数据并行架构已触及性能天花板，成为制约模型规模扩展的核心障碍。 核心挑战：

1. 01

   模型Scaling Up：广告推荐系统行业趋势表明，未来模型都需要scaling，而且随着Dense规模的放大、计算密度的增加，在广告场景下，受限于严苛的成本ROI压力，实现Dense参数和序列的Scaling挑战很大；

2. 02

   模型迭代效率：模型需要快速更新与试错，对底层Infra的能力提出更高的要求。当前制约模型快速迭代的瓶颈主要体现在2个维度：一是模型Burn的过程需要加速；二是新算子的引入与适配周期需要缩短。 具体工作：

3. 01

   研究广告大模型的训练系统多维并行分布式训练与显存优化技术，突破算力墙与存储墙的双重限制，打造高效、可扩展的技术底座，支撑广告推荐系统向更大规模、更高智能进阶；

4. 02

   研究广告大模型训练效率优化技术和GPU友好模型架构，提高GPU有效利用率，降低广告大模型训练成本，支撑广告业务在成本可控情况下训练更大规模模型。

1. 01

   对深度学习训练系统有深厚兴趣，熟悉PyTorch框架，熟悉python/c++编程；

2. 02

   有深度学习框架研发经验优先；

3. 03

   有推荐模型/LLM大模型训练经验优先；

4. 04

   有算法工程codesign经验优先。 此课题同时招聘应届实习生和低年级实习生。