（ASP Intern）LLM-大模型预训练数据算法工程师

参与核心算法与数据构建 ：协助设计基于多维指标（Loss/Embedding 等）的数据选择与采样算法；参与自动化合成数据链与蒸馏数据的实验验证，探索模型能力与数据配比的 Scaling Laws。 协助海量数据挖掘与清洗 ：参与全网数据选取策略的优化，挖掘 RAG 场景的时效性数据；编写高效脚本，清洗低质站点与链接，提升训练数据纯净度。 探索数据质量评测与去重 ：协助研发大规模数据的清洗、去噪与核心去重（如 MinHash、向量去重）算法；参与搭建自动化数据评分模型，追踪数据的分布变化。 支持数据平台与基建优化 ：在 Mentor 指导下使用分布式处理框架（Spark/Ray 等），参与自动化预训练数据流水线的建设与核心代码性能优化

必须项 学历专业： 计算机、AI、数据科学或数学等专业本科及以上学历。 编程功底： 精通 Python，熟练掌握 C++ 或 Rust，具备扎实的计算机系统基础。 数据与工程： 熟练使用 Spark/Ray/SQL 等分布式工具链，具备 TB～PB 级海量数据处理与计算引擎调优能力。 AI 与算法： 熟悉 LLM 预训练流程与 NLP 基础，熟练使用 PyTorch/TensorFlow；精通数据挖掘、清洗去噪与文本处理。 业务认知： 对“高质量预训练数据”的特征与分布有深刻理解，具备强问题诊断与跨团队协作能力