腾讯营销—广告推荐基础大模型

课题背景：当前广告系统通常由多个任务特定模型（如 CTR 预估、CVR 预估、召回模型等）独立构成，各模型底层表示重复建设，且难以充分利用全场景数据中的共性知识，导致信息利用不充分、扩展性受限。近年来，基础大模型（如 LLM）的预训练+微调范式已在 NLP/CV 领域证明其强大的泛化能力与扩展性。本课题旨在构建广告领域的基础大模型，通过全场景数据（广告、搜索、推荐等）的联合预训练，打造统一的底座模型，并借助知识蒸馏迁移技术赋能在线模型，突破传统多任务分治架构的瓶颈，提升广告匹配精度与系统效率。 当前挑战：

1. 01

   海量异构数据建模，不同数据源之间差异大，如何进行联合建模，减少负迁移

2. 02

   预训练-> 蒸馏方式两阶段，如何更好将信息迁移到线上模型，减少迁移损失 工作内容：

3. 01

   负责广告基础大模型的研发与构建，探索预训练+在线微调的新范式，通过全场景数据联合建模，为腾讯广告系统打造统一的底座模型；

4. 02

   利用万亿级异构数据，通过样本、特征、模型的规模化扩展，持续突破基础模型的效果天花板，为在线模型提供更强大的特征表示与先验知识；

5. 03

   研究 Embedding 迁移、模型蒸馏、知识融合等技术，将基础大模型的能力高效传递给下游线上模型，驱动广告匹配精度持续提升；

1. 01

   计算机科学、人工智能、自然语言处理、多模态等相关领域；

2. 02

   对推荐算法和大模型技术有浓厚兴趣，有较好的算法和数据结构基础，有较好的编程能力；

3. 03

   拥有扎实的机器学习基础，在深度学习、大语言模型（LLM）、多模态等方向有深入的理解，有推荐研究经历者优先；

4. 04

   有国际竞赛经验（包括ACM、ICPC、数学建模大赛等）或在国际会议发表论文者（包括KDD、NeurIPS、ICML、ICLR、CVPR等）优先；

5. 05

   优秀的分析问题和解决问题的能力，对解决挑战性问题充满激情。