大模型数据工程师（工程/数据分析方向） - AI数据与安全

团队介绍：AI 数据与安全团队为 Seed 基座模型及 AI 原生应用提供跨模态数据服务，覆盖数据生产全流程，包含模型评估标准的制定、数据规模化生产、数据飞轮搭建，不断提升数据质量，支持模型快速迭代。 团队由产品经理、数据工程、数据运营等跨职能人才组成，并通过与 Seed 研究员、行业专家、全球顶尖数据供应商紧密合作，从真实场景中收集反馈并分析模型表现数据，解决 AI 前沿突破过程中的复杂数据问题，推动模型性能与用户体验的双重提升。我们既是帮助模型技术迭代的一线贡献者，也是模型和 AI 产品的一手用户。

1. 01

   研究大模型及Agent Benchmark，分析能力维度、任务设计、难度分布、评分方法和失败模式；

2. 02

   围绕软件工程、工具调用、数据分析等场景，设计并构造可验证、可复现、有区分度的任务与题目；

3. 03

   开展Agent数据合成，建设数据生成、筛选、去重、难度分层、污染检测和质量抽检流程；

4. 04

   校验Agent执行轨迹（Trace），检查工具选择、调用参数、执行结果、环境状态变化及任务终止条件；

5. 05

   使用Pass@k、任务成功率、工具调用准确率、轨迹有效率等指标开展评测和失败归因；

6. 06

   开发数据处理、自动校验和评测工具，推动数据生产与评测流程规模化、工程化。

1、2027届获得本科及以上学历，计算机、软件工程、人工智能、数据科学、统计、数学等相关专业；

2. 02

   在以下至少一个方向具备知识深度和任务判断能力：

3. 01

   工程方向：具备良好的编程、代码阅读、调试、测试及系统问题分析能力；

4. 02

   数据分析方向：熟悉数据处理、统计分析、实验设计及数据结论验证方法；

5. 03

   熟悉Python；数据分析方向应具备SQL或同等数据处理能力，工程方向应具备良好的软件实现能力；

6. 04

   了解大语言模型及Agent的基本机制，包括Prompt、工具调用和多步骤任务执行；能够判断题目是否合理、答案是否正确、过程是否可信，并将专业知识转化为任务、数据和评分标准；

7. 05

   逻辑严谨，对数据质量敏感，具备较强的问题拆解和实验分析能力。