大模型-LLM Evaluation算法研究员

面向代码智能体能力构建评测体系，覆盖代码库理解、Issue 修复、跨文件修改、测试生成、调试定位、命令执行、工具调用和多步任务完成等场景。

设计 Repo-level 和 Agent-level 评测集，评估模型在真实软件工程任务中的任务完成率、测试通过率、修改质量、鲁棒性和执行效率。

分析 Code Agent 在复杂任务中的失败模式，包括错误定位失败、上下文遗漏、工具调用错误、无效修改、测试误判、循环修复等问题。

建立从评测结果到训练数据和 Post-training 策略的反馈闭环，通过 Bad Case 分析指导数据构造、奖励设计和训练策略优化。

参与内部 Benchmark、模型能力看板和回归评测系统建设，支持 Code Agent 能力持续迭代。

计算机科学、人工智能、机器学习、软件工程或相关领域在读硕士 / 博士。

熟悉 LLM 评测方法，对代码生成、代码修复、Agent 评测或自动化测试有实践经验。

熟悉 Python，具备较强的数据分析、工程实现和实验复现能力。

理解软件工程基本流程，包括 Git、测试框架、CI、Issue / PR 工作流、代码审查和调试流程。

对 RLHF、Reward Model、DPO、LLM-as-a-Judge、Execution-based Evaluation 等方向有一定理解。

有 SWE-bench、RepoBench、HumanEval、MBPP、CodeContests、Agent Benchmark 等相关评测或改进经验。

有 Math / Code Reasoning、Agent、工具调用、自动化测试、程序修复方向的实战经验。

在 NeurIPS、ICML、ICLR、ACL、EMNLP、FSE、ICSE、ASE 等会议发表过相关论文。

熟悉大模型训练全流程，能够独立完成从数据处理、模型微调到评测分析的实验。

在 ACM/ICPC、NOI/IOI、Codeforces、Kaggle 等竞赛中取得优异成绩。