混元-STEM学科高质量数据质检自动化和高难度题目智能分析

课题背景： 目前的数学物理化学生物学科的质检工作主要依赖外部质检专家的交互质检，开销大成本高，缺乏内部对质量的严格把控，容易造成数据污染。同时专家需要对大模型在训练过程中不同难度的题目进行把控，分析大模型容易出错的题目，进行归因，帮组大模型能力提升，也帮组数据采买组有针对性地采买所需数据。 课题挑战： STEM各学科的知识架构需要相应专业的博士级别以及以上的专家进行各个topic的分类；在高难度题目归因分析中，需要专家对大模型的输出逻辑进行细致的人为分析，从而摸清逻辑脉络，找出出错原因，这个过程需要对学科领域内的专业知识高度敏感。 具体工作：

1. 01

   构建针对海量的STEM方向的专业题库进行专业质检的自动化工具，对高难度题目进行抽样人工质检，同时负责把控外部专家质检团队的质检质量；

2. 02

   构建一套针对STEM学科大模型出错的高难度题目的归因分析自动化流程，对自动化流程的反馈进行人工抽样分析归类；

3. 03

   利用深厚的数学/物理/化学/生物专业背景，对大语言模型在科学任务中的输出进行错误归因分析、幻觉检测与科学一致性验证，推动模型科学可靠性的本质提升；

4. 04

   设计并执行科学导向的数据训练策略，包括构建高质量科学指令数据集、注入领域先验知识、设计反例/陷阱数据；

5. 05

   领导或参与LLM在特定科学领域的fine-tuning / post-training等工作，重点关注模型的科学推理能力、守恒定律遵守、因果一致性等；

6. 06

   与实验科学家紧密合作，将模型预测与真实实验/模拟结果对比，设计反馈循环改进模型；

7. 07

   开展原创研究，探索LLM在高难度科学问题上的极限（如数学定理计算证明、公开问题求解、多步物理推导、量子化学性质预测、复杂生物网络推理）；

8. 08

   参与团队技术路线讨论。

1. 01

   在读数学、物理、化学、生物相关方向的博士研究生或在读硕士；

2. 02

   数学、物理领域的申请者最好具有竞赛背景；

3. 03

   对所在科学领域有深刻理解，能够独立或者有专家合作判断LLM输出中的科学错误，并进行根因分析（rootcauseanalysis）；

4. 04

   对大模型的训练原理由基本认识（非必须项）；

5. 05

   有一定的python编程能力（非必须项）。 此课题同时招聘应届实习生和低年级实习生。