元宝—基于多模态大模型的搜索关键技术研究

课题背景： 多模态搜索面临跨模态语义鸿沟、检索效率与精度失衡、多轮多模态交互记忆缺失等核心难题。亟需攻克多模态信息的统一表征、高效检索与全链路协同优化技术，突破现有搜索系统在多模态场景下的能力瓶颈，满足用户在复杂知识问答、跨模态内容溯源、个性化多模交互等场景的高满意度需求。 课题挑战：

1. 01

   多模态统一表征与跨模态对齐 攻克多模态的统一表征技术，优化图像/语音/视频编码器与模态适配器的结构设计，结合持续预训练/后训练等策略，破解跨模态语义鸿沟难题；探索多模态信息的层级化表征机制，提升细粒度语义的对齐精度等。

2. 02

   多模态生成式检索 突破基于大模型的多模态生成式检索技术，设计高效的生成式检索框架和算法，提升高质多模态内容的召回率与相关性、检索效率等；

3. 03

   多模态搜索排序与多目标优化 探索多模态场景下的大模型排序（VLM Ranking）核心技术，融合多模态内容的语义特征、质量特征与用户偏好特征等，研究Reasoning Ranking、多模态特征融合排序等方向；构建“精度-效率-用户满意度”等多目标优化框架，提升排序结果的鲁棒性与综合适配性；

4. 04

   多轮多模态交互与全链路协同 研究多轮对话中多模态历史信息的存储、检索与应用机制，实现用户个性化偏好的精准捕捉与动态适配；协同优化多模态查询改写、召回、排序、LLM总结全链路，解决各环节的任务对齐（Task Alignment）问题，提升多模态检索整体效果。 具体工作： 参与多模态Agent理解、跨模态表征、多模态检索能力和系统建设，突破现有搜索系统在多模态场景下的能力瓶颈，满足元宝用户在复杂知识问答、跨模态内容溯源、个性化多模交互等场景的高满意度需求。

1. 01

   来自计算机、人工智能、自动化、电子信息或数学等相关专业的博士/硕士同学。在多模态大模型（VLM）、大语言模型（LLM）或视觉推理等领域有深厚学术背景或顶会（CVPR、ECCV、ICLR、ACL、NeurIPS等）第一作者论文发表经历者优先；

2. 02

   掌握多模态表征、多模态理解、思维链（CoT）、强化学习（DPO/PPO）等算法及应用；熟练掌握计算机视觉和图像处理相关的基本算法及应用，精通 Python 语言，熟练掌握 PyTorch 等主流深度学习框架及大模型训练推理工具；

3. 03

   具备卓越的自驱动力与逻辑拆解能力，能够从复杂现象中提炼科学问题；沟通协作能力强，拥有极佳的学术视野，能快速研读并复现前沿论文，对探索通用人工智能（AGI）具有强烈的热情。