大模型评测研究员/算法工程师（AI for Science方向）

面向大模型及AI在科学研究中的应用，研究如何科学、可靠地评价模型解决专业学科问题的能力，建设高质量评测基准，并通过实验分析识别模型的优势、局限和改进方向。

1. 01

   跟踪相关学科中AI应用与评测研究进展，识别具有科学价值和实际应用意义的评测问题；

2. 02

   围绕科学知识理解、推理、计算及具体科研任务，设计评测方案，建设和完善评测数据集、评价指标与基线方法；

3. 03

   开展模型评测与基线复现，检查数据和实验质量，提升评测的可靠性与可复现性；

4. 04

   结合学科知识分析模型表现，开展典型错误分析与能力边界研究，形成评测报告和研究成果；

5. 05

   与学科专家、算法及工程团队合作，推动评测方法和工具落地，探索自动评测与专家评价相结合的方法。

1. 01

   硕士及以上学历，化学、生物、材料、医疗、数学、计算机等相关专业，具备具体科学学科的研究经历或跨学科研究经验。

2. 02

   熟悉机器学习或大模型基本原理，对AI在科学研究中的应用具有研究兴趣，能够理解专业科学问题及其评价标准。

3. 03

   具备扎实的实验设计与分析能力，能够独立开展文献调研、评测方案设计、对照实验和结果分析。

4. 04

   熟练使用Python，熟悉Linux及常用机器学习、数据分析工具，能够阅读研究代码并完成实验复现。

5. 05

   具备良好的沟通协作能力，能够与不同学科背景的研究人员共同推进项目。

加分项

1. 01

   有AI for Science、大模型评测或科学领域Benchmark建设经验；

2. 02

   有高质量科研数据集建设、开源项目贡献或相关研究成果；

3. 03

   有科学计算工具、专业数据库或科研软件的使用与开发经验。