微信搜索-搜索场景下基于大模型的多模态输入表征应用研究

课题背景： 利用大基座模型语义压缩和强表征能力，优化搜索内容理解、召回、精排各阶段输入，提升计算精度，提升搜索体验；另外，利用大模型解决搜索各阶段由于输入长度带来的在线计算带来的成本和耗时问题。 课题挑战：

1. 01

   微信搜索场景单doc下用户行为稀疏，历史query覆盖doc语义不全，单利用用户行为引导表征学习导致学习语义表征有偏，无法覆盖长尾内容需求；

2. 02

   搜索场景下，图文/视频场景 表征或压缩 涉及到跨模态/跨表征空间的语义对齐问题，直接关系到基于表征/压缩作为输入的，搜索模型召回粗排的能力上限，从而影响最终搜索模型的效果上限。 具体工作：

3. 01

   表征模型到搜索模型的语义空间对齐预训练；

4. 02

   视觉-文本表征如何更高效融合，提升输入压缩效果。

5. 03

   提升基于表征/压缩输入的搜索模型的粗排和召回能力。

学历和专业要求：自然语言处理/多模态/机器学习方向博士/硕士。 技术技能要求：必须掌握大语言模型/多模态大模型框架，熟悉预训练、后训练技术，并且至少有后训练相关经验。另外，需熟练掌握机器学习基础理论，以及强化学习技术。对大模型前沿技术和理论有不错理解。