微信-多模态AI搜索研究

课题背景： 多模态搜索正经历从传统相似度匹配（如CLIP）向“深度语义理解 + 逻辑推理”的技术变革。应用场景也拓宽至万物识别（如商品、动植物、地标）、跨模态富媒体检索等。相应产生出若干新的问题挑战。 课题挑战：

1. 01

   多模态Embedding升级与统一表征：支持图像、视频、音频、文本等任意模态及其组合的mm-embedding，实现从"固定模态"到"任意模态组合"的能力跃迁；

2. 02

   复杂query下的推理：支持多约束条件的逻辑组合、隐含意图与间接线索推理；

3. 03

   搜索Agent与多工具协同：构建具备多工具调用（如RAG）、自我验证及纠错能力的Agentic闭环工作流 具体工作： 你将参与到多模态大模型搜索系统的核心技术研发中，包括统一多模态embedding表征学习、复杂跨模态Query理解与推理模块、端到端搜索Agent架构设计等工作。

1. 01

   包含但不限于计算机、信息工程、模式识别、人工智能、自动化、软件工程、电子工程、统计学、应用数学、物理学/量子计算、信息安全、信号与信息处理等相关专业的优秀硕士和博士；

2. 02

   在CVPR、ICCV、ECCV、NeurIPS、 ICLR等顶会发表一作论文

3. 03

   有丰富的大模型方向项目或实习经验