微信搜索-强化学习算法研究

课题背景： 随着大语言模型的发展，AI搜索正从简单的网页检索向自主规划的“智能体（Search Agent）”演进。传统的监督学习难以覆盖复杂的交互推理场景。为了提升AI搜索的准确性与有用性，亟需引入强化学习（RL）技术。通过构建符合人类评价标准（Rubrics）的奖励体系，引导Search Agent在多步搜索中进行自我进化与对齐，这是下一代智能搜索技术突破的关键所在。 课题挑战：

1. 01

   Rubrics的量化与奖励设计：AI搜索的评价维度复杂（涵盖事实性、时效性、全面性等）。如何将这些多维度的Rubrics转化为稳定、无偏且易于优化的奖励模型（Reward Model）是一大难点。

2. 02

   多步决策中的稀疏奖励：Search Agent在执行拆解问题、调用检索工具、阅读并总结等多步操作时，通常仅在最终输出时获得反馈。探索空间巨大导致奖励信号极度稀疏，训练难以收敛。

3. 03

   模型对齐与幻觉抑制：在RL微调过程中，模型极易出现“钻规则漏洞（Reward Hacking）”的现象。如何确保Agent在追求高分奖励的同时，严格遵循客观事实、抑制幻觉，并与人类真实搜索意图高度对齐，充满技术挑战。 具体工作： 基于AI搜索Rubrics，设计并训练多维度的高质量奖励模型（Reward Model）。 运用PPO或DPO等强化学习算法训练Search Agent，优化其多步推理与工具调用的决策链。 攻克训练中的Reward Hacking难题，端到端提升搜索系统的整体质量。

面向计算机科学、人工智能、机器学习、应用数学等相关专业的硕士或博士同学；在顶级学术会议（如ICLR, NeurIPS等）有相关论文发表经验者优先。 技术技能要求： 熟练掌握Python及PyTorch等深度学习框架；深入理解强化学习算法（如PPO、DPO、RLHF）及大模型微调技术；有Search Agent、RAG或奖励模型（Reward Model）训练经验者优先。 软性素质要求： 具备极强的自我驱动力和解决复杂开放性工程问题的能力；拥有优秀的沟通协作精神，能快速适应敏捷迭代的研发节奏；对探索前沿AI技术充满热情。