元宝—面向开放知识问答任务的生成式搜索关键技术研究

课题背景： 大语言模型技术的突破和智能体的出现，催生了生成式搜索研究课题的兴起，智能体对搜索引擎的精度、响应速度、可控性提出了更高的要求，推动生成式搜索成为了关键研究方向。传统搜索技术受限于分层损失以及复杂的系统架构，在搜索效果和效率上都没有达到最佳状态。生成式搜索技术的出现，为解决这一问题提供了新的技术范式。 课题挑战：

1. 01

   实现海量资源下的端到端搜索，面临着检索精度与推理效率的双重挑战。当前的生成式搜索算法，受限于码本大小和序列长度，当面对海量文档库时，效果衰减明显。如何支撑海量文档库，同时保证对长尾文档的精准记忆，是极大的难点。而随着序列变长、搜索宽度加大，推理延迟又会明显增加。

2. 02

   生成式搜索旨在实现端到端的搜索技术框架，并需要再训练阶段融合表征模型、向量量化、生成式模型各个阶段的训练，进行联合优化。这使得生成式搜索模型的训练过程具有很高的复杂度，在训练算法的设计和具体实现上都带来挑战。 具体工作：

3. 01

   文档表征：研究语义ID（Semantic DocID）设计，如何通过Codebook 算法或量化算法，将文档映射为具有语义信息的数字序列

4. 02

   Gerative Joint Optimization: 设计融合了“生成损失”与“对比学习损失”的训练目标，让模型在学习生成 DocID 的同时，保持对文档向量空间的表征能力；联合文档排序目标，解码阶段联合引入 ranking loss对齐文档多目标偏序

5. 03

   受限解码： 研究解码算法，例如前缀树（Trie Tree）搜索算法，确保模型生成的每一个 Token 都在合法的 DocID 集合中，缩减搜索空间。

学历和专业要求： 计算机、人工智能、NLP等方向相关专业的硕士或博士。在生成式搜索、自然语言处理（NLP）、信息检索（IR）等领域有深厚的学术积淀，在 SIGIR、KDD、NeurIPS、ACL 等国际顶会有高质量论文发表者优先。 技术技能要求： 精通 LLM、RAG、生成式搜索（DSI）及排序算法，模型微调（SFT）、强化学习（RLHF）及模型量化技术。熟练使用 Python/C++，精通 PyTorch 或 TensorFlow 框架，具备大规模分布式训练或高性能推理优化经验。 软性素质要求： 具备极强的逻辑思维与复杂问题拆解能力，沟通协作高效，能够胜任跨团队协同。对前沿技术有高度敏锐感和自驱力，抗压能力强，能适应高强度的技术攻关与业务快速迭代节奏。