混元基座模型-大模型能力评估分析&Reward

课题背景： 随着大模型研发进入规模化迭代阶段，模型评估、效果诊断和奖励系统逐渐成为影响训练决策、版本发版和体验优化的关键基础设施。一方面，单纯依赖 Benchmark 分数已难以全面反映真实用户体验；另一方面，预训练、后训练和 RL 过程都需要更准确、更高效、更可扩展的评测与打分能力。因此，需要建设一套覆盖评测、诊断和奖励系统的一体化能力体系，支撑模型全生命周期迭代。 课题价值： 团队核心价值是把评测从“出分工具”升级为“决策基础设施”和“优化诊断系统”。对内，支撑预训练、后训练、发版验收和 RL 实验等关键生产决策，帮助团队更快发现问题、验证收益、降低试错成本；对外，推动模型效果评估与真实产品体验逐步对齐，提升评估结果的可信度、解释性和指导性。同时，通过 RM 系统治理和平台化建设，进一步提升资源利用率、系统稳定性和大规模接入效率。 具体工作：

1. 01

   建设一站式评估体系，打通 Judge 系统、自建与开源 Benchmark、统计分析和体验评测，形成从数据到指标再到诊断结论的完整闭环；

2. 02

   支撑预训练评估与生产决策，围绕 ICL、端到端评测、Scaling 和 PPL 等方向，探索更具前瞻性的评估方法，提升对模型能力演进的预测和解释能力；

3. 03

   建设和治理 RM 奖励系统与评测平台，提升评测和打分系统的可用性、稳定性与效率，支撑模型生产和大规模实验迭代。

1. 01

   自然语言处理、机器学习、模式识别、人工智能、计算机科学等相关专业硕士及以上学历；

2. 02

   在Agent、LLM或相关方向有深入实践，对复杂任务求解、长链路推理、多工具调用、环境交互或特定应用场景（如CodingAgent、SearchAgent、ProductivityAgent等）有丰富的研究或落地经验；

3. 03

   具备扎实的工程实现能力，熟练掌握Python、C/C++等至少一种编程语言，熟悉Agent系统搭建中的核心模块，包括任务规划、工具调用、记忆机制、轨迹建模、反馈闭环等，并对相关数据构建与训练流程有实践经验；

4. 04

   有高质量论文发表者优先（如ACL、EMNLP、NeurIPS、ICML、ICLR等），特别是在Agent、复杂推理、环境交互、长上下文建模、数据合成或特定垂域能力突破等方向；

5. 05

   具备强烈的进取心、自驱力及跨领域学习能力，良好的团队协作精神，对推动Agent成为下一代生产力入口、实现更强通用智能能力充满热情。 此课题同时招聘应届实习生和低年级实习生。