蚂蚁集团-异构计算研发工程师-北京/杭州

Software&Hardware Co-Design：深入分析 GPU 等 AI 芯片的硬件架构，构建优化大模型训推引擎，打磨极致高效的算子与显存优化技术。通过系统建设和优化，推动计算效率逼近硬件的性能极限，打造面向大模型的 AI 系统生态，提升智算集群的整体效率。

Algorithm&System Co-Design：从系统的视角出发，和算法团队紧密配合，共同探索大模型结构和范式的创新，并面向大规模 AI 应用场景进行系统级优化与落地。

计算机相关学科专业，基本功扎实，3 年以上相关工作经验。

具备分布式训练与端到端性能优化能力，熟练掌握 Megatron-LM、DeepSpeed、PyTorch FSDP 或同类框架，深入理解主流并行策略，能够结合模型结构与集群拓扑优化并行配置，定位并解决计算、通信、显存及数据 I/O 瓶颈，提升训练吞吐、MFU 和集群扩展效率。

具备大模型大规模预训练实战经验，承担过训练系统搭建、稳定性保障或故障定位等核心工作，熟悉低精度训练、数值异常排查、检查点与故障恢复；有千卡级集群训练、MoE 预训练或完整预训练项目交付经验者优先。

深度理解 GPU 体系结构和 CUDA 编程模型，掌握 GPU 算子开发、性能调优和显存优化技术，掌握cutlass/CuTe/triton 等算子开发工具，掌握 nsys/ncu 等 profile 工具。

以下经验为加分项：FlashAttention/DeepGEMM/FlashInfer 等关键加速库的源码分析和优化；vLLM／SGLang 等推理框架研发；AI编译器开发；国产加速卡适配与优化。

有开源贡献、系统顶会论文或者相关专利者优先。

有创新想法和技术攻关能力，优秀的逻辑分析和解决问题的能力，团队沟通协作能力强。