微信视频号-直播多模态大模型内容理解技术研究

课题背景： 直播是一个多模态信息深度耦合、实时流式生产、强调实时交互的场景，实时精准的直播间多模态内容理解，能够让推荐系统更快更好地理解直播间，精确识别用户意图，让直播间和用户的分发匹配更精准，提升推荐系统准确性的天花板 课题挑战：

1. 01

   多模态数据处理与应用：直播包含图像、音频、文本等多种模态信息，且实时生产不断变化，如何实时准确识别并提取其中有用信息作用于推荐系统

2. 02

   实时性和资源成本：直播内容具有极高的实时性，大模型计算复杂度高，训练和推理资源开销大，如何平衡效果与计算成本 具体工作： 负责多模态大模型内容理解在直播推荐场景中的技术探索与落地应用，提升推荐系统精准度，提升用户体验

1. 01

   计算机、人工智能等相关专业的硕士或博士生；

2. 02

   扎实的编程基础，熟练掌握Python和PyTorch/TensorFlow

3. 03

   创新能力强，具有owner意识

4. 04

   发表过大模型、多模态、推荐系统学习相关顶会（如NeurIPS、ICML、ICLR、RecSys）或核心期刊论文，第一作者优先。