混元-预训练数据解析清洗

课题背景 互联网网页数据作为预训练数据的重要组成部分，这部分数据的精细化处理，对模型能力的泛化性、知识记忆等能力有重要影响。 课题挑战 在常规处理的基础上，能深挖数据价值，对日益激增的AI生成的互联网数据，如何有效识别与控制，在数据质量、多样性角度取得更好的平衡。 具体工作 设计更好的清洗算子、多样性处理算子等

1. 01

   计算机/软件工程等相关专业硕士及博士；

2. 02

   熟悉大语言模型领域的相关研究工作和算法，拥有发表顶会论文、大模型研究工作、知名竞赛获奖、顶级研究机构或一线互联网工作经验者优先；

3. 03

   熟练使用Python、PyTorch和CUDA等语言及工具，具备快速阅读和复现论文的能力，熟练使用AI工具提效者优先；

4. 04

   具备优秀的分析和解决问题能力，良好的团队合作精神及沟通意识。

5. 05

   有大模型数据研发相关公司的实践经验或者科研成果，有丰富的通过数据优化提升LLM效果经验者优先。