大模型数据工程师

数据工程不只是跑 Pipeline，主要承担三个层次的工作：训练数据供给（让模型学得好）、知识库建设（让 Agent 调得准）、记忆系统工程（让系统记得住）。三者共同构成大模型能力的数据底座，缺一不可。

【训练数据工程】

1. 01

   参与大模型训练数据的采集、清洗、去重、质量过滤的全链路建设，覆盖文本、图文、行为序列等多类型数据；

2. 02

   设计并实现数据质量评估体系，包括规则过滤、模型打分、人工标注一致性分析；

3. 03

   参与数据飞轮闭环建设，从线上反馈信号到数据回流、再到模型迭代的自动化链路；

4. 04

   基于 Spark / Flink / Ray 等框架构建高吞吐数据处理 Pipeline，支撑 TB 级数据规模。

【知识库工程】

1. 01

   本科及以上学历，计算机、统计、信息工程等相关专业；

2. 02

   熟练使用 Python，有数据处理实际经验（Pandas / Spark / SQL 均可）；

3. 03

   对数据质量有洁癖，理解脏数据对模型的影响；

4. 04

   能用 AI 工具加速数据脚本开发，有用 Vibe Coding 方式快速搭建数据 Pipeline 的经验或意愿。 加分项

5. 01

   有大规模数据 ETL 或数据仓库开发经验；

6. 02

   熟悉 Ray Data / Dask / Spark 等分布式数据处理框架；

7. 03

   了解大模型数据预处理标准流程（如 RedPajama、Dolma、FineWeb 等开源数据集的构建方法）；

8. 04

   理解 RAG 原理，有向量检索（Faiss / Milvus / Elasticsearch）实际使用经验；

9. 05

   了解大模型 Memory 机制的主流方案（MemGPT、Zep、mem0 等），或有相关工程实现经验；

10. 06

    理解主动学习（Active Learning）或数据选择（Data Selection / Curriculum Learning）方法；

11. 07

    有用 AI 工具生成、验证、调试数据处理代码的完整经历，能说清楚 AI 在你工作流中扮演的角色。