腾讯营销-面向商业化场景的统一多模态表征大模型技术研究

课题背景： 多模态内容理解是现代个性化广告推荐系统的基石。随着广告分发从单纯的“流量匹配”演进为对“异构内容与用户深层意图”的精准对齐，传统基于ID和人工规则标签的显式体系已触及瓶颈：面对视频号、直播、公众号等爆发式增长的非结构化异构数据，显式标签存在维护成本高、语义稀疏且更新滞后的问题。通过深度理解多模态内容（视觉、文本、音频），构建基于内容的通用表征，不仅能解决长尾和冷启动问题，更能实现对推荐Item和用户潜在兴趣的细粒度建模，是提升广告匹配效率的关键路径。 工作内容：

1. 01

   负责建设面向商业化场景多模态表征大模型及语义ID，支持广告的搜索、推荐的应用

2. 02

   探索前沿的表征学习范式，包括但不限于think-then-emb、理解与生成统一模型、全模态压缩和重建、dense表征&语义ID的端到端训练等；

3. 03

   跟踪国际顶级学术会议与业界多模态领域的最新进展，形成技术路线与专利布局，产出高水平学术论文与技术报告。

1. 01

   计算机相关专业硕士及以上学历，博士优先，具有扎实的计算机和机器学习基础，拥有优秀的的编程能力和工程能力，学习能力强，具备良好的团队协作意识和主动性；

2. 02

   在计算机视觉、多模态、NLP、AIGC、机器学习等一个或多个领域有较深入的研究，包括但不限于LLM/MLLM、商品理解、视频内容理解、图像检索、目标检测、图像生成/编辑、视频生成/编辑、语言理解和生成；

3. 03

   具有较强的实践能力，发表过高水平学术会议论文或者有竞赛经验者优先，包括但不限于CVPR、ICCV、ECCV、ACL、 EMNLP、NeurIPS、ICLR等。