高质量数据集工程师

1、参与高质量数据集的规划、建设与管理，面向大模型训练、微调及AI应用场景，开展多源数据的采集、清洗、加工、整合与标准化处理。

2、参与数据处理流水线及自动化工具的研发，负责数据解析、去重、过滤、格式转换及质量检测等工作，提升数据处理效率与数据集构建质量。

3、参与文本、图像、音视频等多模态数据的标注、分类、结构化处理及数据合成，构建满足模型训练与评测需求的高质量数据资源。

4、参与数据质量评估体系建设，制定数据完整性、准确性、一致性及多样性等质量评价标准，开展数据抽检、问题分析与质量优化。

5、参与数据治理及数据资产管理工作，完善数据分类分级、元数据管理、数据血缘追踪及数据安全管理机制，保障数据处理与使用过程的合规性。

6、协同算法、产品及业务团队开展数据需求分析与模型效果评估，根据模型训练及应用反馈持续优化数据集，推动高质量数据资源在AI场景中的落地应用。

1、本科及以上学历，计算机科学与技术、软件工程、数据科学与大数据技术、人工智能、数学、统计学等相关专业优先。

2、掌握Python或Java等至少一种编程语言，熟悉SQL及常用数据处理工具，具备一定的数据清洗、分析和处理能力。

3、熟悉常见数据结构、数据格式及数据处理流程，了解ETL、数据采集、数据清洗及数据质量管理等相关技术。

4、了解机器学习、大语言模型及模型训练基本原理，熟悉数据集构建、数据标注、数据合成或模型评测相关技术者优先。

5、了解文本、图像、音视频等多模态数据处理技术，具备数据标注平台、数据处理工具或高质量数据集建设相关项目实践经验者优先。

6、具备良好的逻辑分析能力、数据敏感度和学习能力，工作认真细致，具有较强的责任心和团队协作意识，对AI数据工程及数据治理有浓厚兴趣。