蚂蚁集团-语言大模型语料优化算法工程师-北京/杭州【AGI专项】

团队主要负责蚂蚁集团大语言模型的语料优化，涵盖数据扩源、数据质量提升、合成语料、数据利用方式优化、数学/代码/推理/对话能力提升等多个方向。我们致力于通过数据驱动的方式打造业界一流的语言基座模型。

1. 01

   负责大语言模型各阶段训练语料的优化工作，包括预训练、后训练、强化学习训练阶段，具体的工作包括体系化地扩展各类型的数据、定义并迭代优化数据质量、建设高效的合成语料技术、优化高质量数据筛选策略、优化数据配比及训练策略等。

2. 02

   负责端到端地优化基座模型的各项关键能力，包括数学、代码、推理、对话等能力，具体工作包括扩展各能力相关的语料、定义并迭代优化数据质量、针对性地合成相关语料、优化高质量数据筛选策略、优化各阶段数据配比及训练策略、优化评测方式等。

3. 03

   负责研发语料优化相关的基础设施，包括研发高效的数据处理算子及链路、构建数据标签体系及标注模型、探索数据与模型效果的关系、设计数据效果评估机制等。

4. 04

   跟踪和研究大模型领域的前沿技术方向，包括但不限于语料优化、预训练和后训练算法、知识增强、数据合成等，推动技术创新并应用到基座模型训练中。

1. 01

   硕士及以上学历，计算机科学、人工智能或相关专业背景。

2. 02

   熟练掌握机器学习、自然语言处理、大语言模型等相关领域的基本理论和算法，具备扎实的数学基础。

3. 03

   熟练掌握Python编程语言，熟悉主流深度学习框架（如PyTorch），具备大规模数据处理和分布式训练的实际经验。

4. 04

   具备良好的分析和解决问题能力，能够独立思考并解决复杂的技术问题。

5. 05

   具备较强的团队合作能力和沟通能力，能够与工程、产品等团队紧密配合，共同推动项目落地。

6. 06

   热爱人工智能领域，对探索新事物充满热情。

加分项

1. 01

   有大语言模型语料优化和模型训练的实际经验。

2. 02

   参加过算法竞赛（如Kaggle、ICPC、ACM等）、信息学、数学、物理、化学竞赛，并取得优异成绩。

3. 03

   在顶级国际会议/期刊（如NeurIPS、ICML、ACL、CVPR等）发表过论文。

4. 04

   有算法工程化落地经验，有主流开源算法库开发、维护或贡献经历。