混元-基于稀疏自编码器（SAE）的大模型训练数据挖掘与质量筛选研究

课题背景 大语言模型（LLM）的能力上限在很大程度上由预训练与微调数据的质量和分布决定。现有数据筛选方法（基于困惑度、规则过滤、模型打分等）依赖外部启发式信号，难以感知模型内部实际所需的知识特征，导致筛选标准与模型学习目标脱节。 稀疏自编码器（Sparse Autoencoder，SAE）能够将 LLM 内部激活分解为高维稀疏的单语义特征，使模型视角下的知识分布具备可量化、可干预的分析基础。本课题探索将 SAE 作为数据感知信号源，构建面向训练数据挖掘与质量筛选的系统化方法。 课题挑战 现有数据筛选方案均工作于模型外部，无法直接对齐模型的内部学习状态；SAE 特征空间维度高、解释链路长，如何将其有效映射为可操作的数据筛选信号，是本课题的核心技术难点。此外，SAE 特征激活分布与模型最终性能之间的相关性尚缺乏系统验证。 具体工作

1. 01

   数据特征挖掘：利用 SAE 对目标领域语料进行特征激活分析，自动识别预训练数据中的知识盲区、冗余样本簇与高价值样本分布。

2. 02

   语义多样性驱动的数据筛选：基于 SAE 特征激活的多样性度量（覆盖率、稀有特征密度等）替代传统嵌入相似度，构建更细粒度的数据去重与均衡选取策略。

3. 03

   领域数据精准裁剪：以少量种子样本引导 SAE 特征空间检索，从海量通用语料中提取领域对齐数据，用于领域专用模型的监督微调（SFT）与持续预训练。

4. 04

   数据质量可解释性评估：将 SAE 特征激活分布作为数据质量的可解释代理指标（proxy metric），建立与模型最终性能的相关性分析框架。

1. 01

   计算机/软件工程等相关专业硕士以上学历，拥有博士学位者优先，熟悉 python/c++编程语言，熟练掌握大数据技术栈，包括Hadoop/Spark等；

2. 02

   深入理解大语言模型预训练原理、预训练目标及数据构建流程，拥有发表顶会论文、大模型研究工作、知名竞赛获奖、顶级研究机构或一线互联网工作经验者优先