混元基座模型-前沿模型/数据评估算法研究

课题背景： 伴随着越来越多评测集的出现，模型的潜在问题会淹没在大量的数据集指标中，而模型性能评估急需更加细粒度的分析与研究，同样，评测集中样本点的分布也需要更加深入的刻画。 课题挑战： 当前学术界和业界对于评估算法的研究非常欠缺，如何从海量的评测结果中提取出有效的信号来指导模型的提升至关重要。 具体工作： 本课题致力于前沿模型和数据评估算法的研究，包括但不限于寻找模型潜在问题、分析模型/agent失败归因、多评测集内在关联探索等等

学历和专业要求： 自然语言处理/机器学习/模式识别/人工智能/计算机等相关专业硕士以上学历； 技术技能要求：

1. 01

   在NLP、LLM领域有深入实践，对生成式AI、复杂推理或特定垂域（如代码生成、数学定理证明等）有丰富的数据构建与模型调优经验；

2. 02

   较强的工程实现能力，熟练掌握Python、C/C++等至少一种语言，熟悉指令演化（如Self-Instruct等）及合成数据Pipeline架构；

3. 03

   熟悉DeepSpeed、Megatron等分布式训练框架，熟练使用至少一种深度学习框架(如PyTorch等)；

4. 04

   有高质量论文发表者优先（如ACL、EMNLP、NeurIPS、ICML、ICLR等），特别是在数据合成、模型微调或特定垂域能力突破方向； 软性素质要求： 具备强烈的进取心、自驱力及跨领域学习能力，团队合作精神极佳，对实现AGI核心能力跃迁充满热情。