【Ace顶尖实习生】Dots-大模型评测算法研究员

【Ace顶尖实习生】Dots-大模型评测算法研究员 大模型 北京市，上海市，杭州市 Ace 顶尖实习生计划

1. 01

   设计并迭代 dots 模型的多维度能力评测体系，覆盖通用能力（推理、数学、代码、语言理解）、指令遵循、长上下文、多模态、安全性、人类偏好等维度

2. 02

   跟踪主流公开 benchmark（MMLU、MATH、GSM8K、HumanEval、MBPP、ARC、HellaSwag、GPQA、Arena ELO 等），建立内外部对齐机制，输出可比的竞争力报告

3. 03

   构建评测数据集生产 pipeline：从采集、清洗、标注、质检到版本化管理，保证数据集的质量与时效性

4. 04

   开发自动化评测平台：统一的评测入口、任务调度、结果可视化、版本对比、diff 分析

5. 05

   与后训练团队（RLHF/对齐）合作，定义 reward model 和 preference 数据的评测标准

6. 06

   设计"抗污染"策略，防止评测数据集泄露到训练集

7. 07

   参与模型发布的质量卡点（gate），为版本上线提供数据支撑

8. 08

   跟踪前沿评测研究（LLM-as-judge、multi-turn eval、agent 评测、长程任务评测等），推动评测能力持续进化