大模型数据开发实习生

MiniMax 致力于构建下一代通用人工智能模型，覆盖文本、图像、视频、语音等多模态方向。数据是模型能力演进的核心基础，我们正在建设新一代 AI Data Infra 平台，支撑预训练、后训练、评测及模型迭代全过程。

你将与数据工程师和算法团队一起，参与海量多模态数据处理与平台研发，让数据更高效地服务模型训练。

你将参与：

1. 大模型数据 Pipeline 开发：参与文本、图像、视频、语音等数据的解析、清洗、过滤、去重与质量评估，支持预训练及 SFT、Preference Data 等后训练数据生产。

2. 分布式数据处理与优化：基于 Ray、Spark 等框架开发数据处理任务，参与 CPU/GPU 混合计算场景下的性能优化，提升数据处理效率和稳定性。

3. 数据存储与管理：参与数据湖、数据索引、元数据及版本管理相关开发，优化训练数据的读取、检索和分发链路。

4. 数据平台与工具建设：参与数据处理 SDK、API、任务编排、监控及质量检查工具开发，提升算法团队的数据研发效率。

1. 计算机、软件工程或相关专业在校生，具备扎实的数据结构、算法和计算机基础。

2. 熟练掌握 Python、Java、Go、C++ 中至少一种编程语言，能够独立完成模块开发与调试。

3. 熟悉 Linux 开发环境，了解数据库、并行计算或分布式系统的基本概念。

4. 对大模型数据、数据工程或基础设施研发有兴趣，具备良好的学习能力、问题分析能力和协作意识。

5. 有数据处理、后端开发、分布式计算或机器学习相关课程项目、科研或实习经历。

加分项

1. 使用过 Spark、Ray、Flink 等计算框架，或 Airflow 等工作流工具。

2. 接触过数据湖、对象存储，或 Parquet、Arrow、WebDataset、Lance 等数据格式与工具。

3. 有文本、网页、代码、图像、视频或语音数据处理经验，了解数据清洗、去重、质量评估等流程。

4. 有大模型训练数据、数据合成、Embedding、向量检索或聚类相关项目经验。

5. 熟悉 Docker、Kubernetes，或有开源项目贡献经历。