蚂蚁集团
蚂蚁集团-AI Infra 训练系统高级技术专家-杭州/上海
岗位职责
主导大模型训练引擎与训练框架的核心架构设计，定义关键技术路线和长期演进方向；
建设覆盖 CPT、SFT、RL、MoE、长上下文及多模态训练的统一训练体系；
设计和优化数据并行、张量并行、流水并行、序列并行、专家并行及多维混合并行策略；
面向万卡级集群，系统优化计算、通信、显存、存储和网络效率，持续提升端到端训练性能与扩展效率；
建设 Checkpoint、断点续训、故障恢复、弹性训练、精度保障、性能分析和可观测体系，提升长周期训练任务的可靠性；
推动训练框架、编译器、通信库、算子与多种 AI 芯片之间的深度协同；
与模型算法团队共同开展 Algorithm-System Co-design，支持新模型结构、新训练算法和新型并行范式快速落地；
识别并解决跨模型、框架、系统和硬件层的关键瓶颈，沉淀可复用的架构、标准与方法论；
发挥技术影响力，牵引复杂项目落地，并推动团队在训练系统核心方向形成长期能力。
任职要求
具备扎实的计算机系统基础，在分布式系统、高性能计算、机器学习系统或计算机体系结构等方向有深入积累；
精通 Python、C++ 中至少一种语言，具备复杂系统架构设计和核心模块研发能力；
深入理解 PyTorch 运行机制，对自动微分、计算图、分布式通信、并行训练和显存管理有系统认识；
深入理解 Megatron-LM、FSDP、DeepSpeed、verl 等训练框架中的一种或多种，能够分析其核心架构与性能边界；
熟悉大规模分布式训练中的通信、计算、显存和存储瓶颈，能够完成跨层性能分析与优化；
熟悉 NCCL/HCCL、RDMA、集合通信算法、通信计算重叠或大规模网络拓扑；
具备复杂技术问题的抽象能力，能够从局部现象识别系统性根因，并形成可演进的解决方案；
具备较强的技术判断力和推动力，能够主导关键技术方向并协调多团队完成复杂系统建设。
加分项
主导或深度参与过百亿、千亿参数模型的预训练、后训练或强化学习训练系统建设；
具备数百卡、千卡及以上规模的分布式训练实践；
在 MoE、长上下文、多模态、Agentic RL 或新型模型架构方向有系统经验；
具备 CUDA、Triton、CANN、算子开发、编译优化或性能建模经验；
具备异构芯片适配、跨硬件精度对齐或大规模训练稳定性建设经验；
在训练框架、分布式系统、高性能计算相关开源项目中有核心贡献；
有从技术方向规划、核心架构设计到规模化生产落地的完整经验。
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理，最终申请以企业官方页面为准。