预训练数据价值刻画研究

课题背景 聚焦大语言模型预训练数据的价值刻画，覆盖中文、英文及典型小语种场景，结合大语言模型预训练核心逻辑，梳理数据价值维度、沉淀评估方法论，排查数据现存问题。 课题挑战

1. 01

   数据低质分类多，低质/有价值区分度小，判定难度大

2. 02

   什么样数据对于预训练有价值，难以详细定义标准，需要结合大量实验验证 具体工作

3. 01

   系统梳理预训练数据价值核心维度，重点围绕数据质量、领域覆盖率、领域分布均衡性等展开；

4. 02

   沉淀多语言场景下预训练数据价值评估方法论；

5. 03

   分析当前预训练数据在质量是否优质、数据是否冗余、领域分布倾斜等方面的核心问题；

6. 04

   完成简单数据样本实践验证。

1. 01

   计算机/软件工程等相关专业硕士以上学历，拥有博士学位者优先，熟悉 python/c++编程语言，熟练掌握大数据技术栈，包括Hadoop/Spark等；

2. 02

   深入理解大语言模型预训练原理、预训练目标及数据构建流程，拥有发表顶会论文、大模型研究工作、知名竞赛获奖、顶级研究机构或一线互联网工作经验者优先

3. 03

   研读足量相关核心论文，掌握预训练数据评估、多语言数据处理等相关研究成果

4. 04

   具备基础科研分析能力，能梳理价值维度、沉淀可落地方法，精准识别数据问题