混元-人机协同的专家生产数据质量评估方案研究

课题背景： 专家标注数据是提升模型垂直能力及复杂任务处理能力的重要来源。但专家数据也存在隐性质量风险，例如标准理解不一致、答案正确但推理不充分、难度分布失衡、真实性不足等。专家交叉验证及LLM-as-judge的质检策略失效。需要研究一套人机协同的专家标注数据质量评估方法，让专家产能、质检质量和数据价值形成闭环。 课题挑战：

1. 01

   专家标注质量建模：不仅判断答案对错，还要评估推理过程、证据支撑、领域规范、标注一致性、可训练性和可验证性；

2. 02

   高风险问题难发现：标准理解不一致、关键推理缺失、难度分布失衡、真实性等问题通常比较隐性，单靠随机抽检、专家交叉验证或 LLM-as-Judge 容易漏判，难以稳定识别真正影响训练质量的样本。

3. 03

   质检闭环难落地： 质检结果如果只用于单次验收，难以持续提升数据质量；需要将问题归因反向用于规范更新、专家培训、自动判定器优化和回归验证。 具体工作： 建设专家生产数据的质量分层标准，覆盖题目、答案、推理、证据、格式、领域规范、可训练性等维度；研究人机协同的质检方法，构建专家数据可信度评分、分歧挖掘和错误归因系统；并在实际专家数据准入流程中落地应用，形成“数据生产-自动质检-问题归因-规范更新-回归验证”的持续迭代闭环。

1. 01

   计算机/软件工程等相关专业硕士及博士；

2. 02

   熟悉大语言模型数据领域的相关研究工作和算法，拥有发表顶会论文、大模型研究工作、知名竞赛获奖、顶级研究机构或一线互联网工作经验者优先；

3. 03

   熟练使用Python、PyTorch和CUDA等语言及工具，具备快速阅读和复现论文的能力，熟练使用AI工具 vibe coding提效者优先；

4. 04

   具备优秀的分析和解决问题能力，良好的团队合作精神及沟通意识。

5. 05

   有大模型数据研发相关公司的实践经验或者科研成果，有深入的 data insight，丰富的通过数据优化提升LLM效果经验者优先。