蚂蚁集团-大模型预训练引擎研发专家-百灵团队

百灵大模型预训练 Infra 团队负责百灵模型训练系统的建设与演进，聚焦大规模预训练场景下的效率、扩展性与稳定性问题。团队长期围绕训练加速、并行架构、系统瓶颈分析，与算法开展协同优化，支撑百灵模型在超大规模集群上的持续迭代。 我们的工作方向包括但不限于：

1. 01

   大模型训练加速：并行策略、低精度计算、算子与显存优化、跨机通信、数据预处理；

2. 02

   超大规模训练效率优化：面向万卡级场景研究 scaling 理论与系统性能上限；

3. 03

   算法 / 系统 co-design：与算法团队协同设计和优化模型架构与训练策略；

4. 04

   深度学习基础设施建设：参与蚂蚁容错系统 DLRover 的研发与演进。

1. 01

   具有大模型并行策略/大规模分布式系统设计与研发优化经验；

2. 02

   熟悉 CUDA、Cutlass 或主流通信优化原理，具备实际性能分析与调优经验；

3. 03

   熟悉主流深度学习框架及分布式训练生态，包括但不限于 PyTorch、Megatron、DeepSpeed、Hugging Face；

4. 04

   具备较强的系统分析与抽象能力，能够从第一性原理出发理解和设计系统；

5. 05

   对 scaling law、系统瓶颈分析与训练效率建模有较深入理解；

6. 06

   具备良好的数学建模能力，能够将复杂工程问题抽象并转化为可验证、可优化的方案；

7. 07

   有文本、语音、图像、推荐等一个或多个方向模型经验者优先。