研究型实习生-面向基模后训练的高质数据筛选方案研究

研究领域： 大数据 项目简介： 大语言模型的训练效果在很大程度上由训练数据的质量决定。随着模型规模与训练数据量的持续扩大，如何从海量原始数据中高效筛选出真正对模型能力提升有贡献的样本，已成为制约大模型研发效率的核心瓶颈之一。 当前业界主流的数据质量筛选范式，以 Bradley-Terry 类通用质量算子为主导：对所有文本统一打分、统一过滤。这一范式在工程效率上具备良好的规模化能力，但随着训练目标的复杂化与数据类型的多样化，已暴露出明显的结构性局限：通用算子擅长识别写得好的文本，却难以区分对特定能力真正有用的文本；单一标量质量分无法表达合成数据的错误类型与系统性缺陷；而对于包含思维链的后训练 SFT 数据，仅凭表面打分更无法判断模型是否真正利用了数据中的推理过程。 本研究的核心判断是：不同数据类型与训练阶段，应当匹配不同层次的筛选路径。具体而言，预训练真实数据需要从单一算子升级为分类型多算子与专家 Agent 混合体系；预训练合成数据需要引入数据集级归因与样本级诊断的两阶段 Agentic 筛选框架；后训练 SFT 数据则需要突破数据表面的质量判断范式，通过 Information-Mask 验证（即遮蔽 CoT 观察 Loss 变化）与 Reasoning-Focus Head 注意力追踪，直接探测模型内部对每条训练样本的依赖程度，从数据视角打分升级为模型视角验证。

研究领域： -目前正在攻读计算机科学或相关STEM领域的学士,硕士或博士学位 -具有一种或多种通用编程语言的经验,包括但不限于: Java,C/C ++ 、Python、JavaScript或Go -具有上述研究领域的相关经验,包括行业经验或作为参与实验室研究 优先录用： -对技术研究充满热情,具有产生新思想和创新的能力; 在自学,问题分析和解决方面表现出色 -在国际会议上或核心期刊发表一份或多份出版物或论文 -至少3个月的全职工作