LLM Pretrain Data研究员

针对多种数据源（包括GitHub代码库、网页爬取的code以及通用文本数据）设计并实现代码及通用数据清洗pipeline。

开发并迭代基于LLM的数据过滤策略，以提高预训练语料库的数据质量。

开发、维护并优化数据pipeline，确保其在大规模场景下的性能和可靠性。

精通大规模数据处理框架，如Apache Spark或Ray。

扎实的Python编程能力，熟悉分布式计算。

数据sense强，能够分析并处理不同代码和文本语料中的边界情况。

具有预训练数据处理pipeline的经验，特别是code数据方面。

具备vLLM或SGLang等LLM推理框架的实际使用经验。