数据技术及产品部-大模型评测算法-RSI方向

岗位描述：面向大模型"加速乃至自动化 AI 研发本身"的能力（自主写代码、跑实验、复现/改进算法、端到端做研究，进而推动模型自我迭代），独立负责其能力提升的完整闭环。 岗位职责：

1. 01

   设计衡量 AI R&D 自动化 / 自我改进能力的评测任务与指标，对标并扩展业界 benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench 等）；核心指标包括相对人类专家的 uplift、长程 agentic 任务成功率、随时间 / 算力预算的收益曲线，并区分真实能力提升与刷分（reward hacking）/ 数据污染。

2. 02

   定位模型在真实研究工程场景（跑实验、调优、写高性能算子、复现论文、自动化 ML）中的短板与失败模式。

3. 03

   针对短板设计数据与环境合成方案：构建真实的长程研究工程环境、agentic RL 环境，结合拒绝采样、self-critique、AI feedback（RLAIF）、自动生成训练数据 / 代码等，产出高质量训练数据。

1. 01

   硕士及以上，机器学习 / AI 相关专业；3 年以上大模型相关研发经验，或具备高质量论文 / 开源成果（不唯年限，重在深度）。

2. 02

   深刻理解 AI R&D 自动化 / agentic coding / 自动化科研的评测与训练范式，熟悉长程 agentic 任务、RLHF / RLAIF、reward modeling、self-improvement 等技术。

3. 03

   熟悉主流 AI R&D / coding agent benchmark（RE-Bench、MLE-bench、PaperBench、SWE-bench、The AI Scientist 等）及其 rubric / LLM-judge 评分方法与局限。

4. 04

   具备设计严谨评测与训练实验的能力，能识别并防范 reward hacking、数据泄漏、评测失真、评测饱和等问题。

5. 05

   扎实的 Python / PyTorch 工程能力，熟悉分布式训练、agentic scaffold 与大规模可复现实验管线。

6. 06

   能独立定义评测方案并推动"评测—数据—训练"闭环落地；对 AI 安全与 frontier safety framework 有认知与兴趣。 加分项

7. 01

   有 AI R&D 自动化、agentic coding、自动化科研（AI Scientist 类）、自我改进相关的研究或工程成果；参与过相关 benchmark 建设。

8. 02

   熟悉前沿实验室（frontier lab）的能力评估与安全评估方法论；相关顶会论文或有影响力的开源项目。