大模型-LLM预训练数据算法研究员

作为一名预训练数据算法研究员，你将负责开发大语言模型训练所需的大规模数据处理算法与数据学习策略。 主要负责：

1. 01

   针对多源数据设计并开发code类数据、通用文本数据清洗、增强、合成算法；

2. 02

   基于大语言模型研发并迭代数据筛选策略，提升预训练语料的数据质量；

3. 03

   搭建并规模化优化数据处理流水线，保障高并发场景下的运行性能与稳定性。

1. 01

   熟练掌握 Apache Spark、Ray 等大规模分布式数据处理框架；

2. 02

   熟悉大模型完整训练链路，包含预训练、中段训练、后训练阶段；

3. 03

   对数据质量具备严苛把控意识，能够针对各类代码、文本语料梳理并处理各类边界异常样本。

4. 01

   拥有预训练数据处理的上线经验，尤其代码数据处理的相关经历；

5. 02

   具备 vLLM、SGLang 等大模型推理框架实操落地经验；

6. 03

   拥有大模型微调、预训练全流程实操经验。