大模型分布式优化工程师(J14477)

（满足以下任意一方向）

1. 01

   负责dense/moe/多模态/强化学习等模型的大规模分布式优化，持续提高大规模分布式场景的算力利用率；

2. 02

   负责大模型训练框架及相关定制通信算子的开发、调试、优化与维护；

3. 03

   负责大规模训练容错库相关开发，优化在超大规模场景下的快速恢复；

4. 04

   负责超大规模集群下的训练性能建模；

5. 05

   跟踪分布式前沿优化技术和社区动态，持续改进产品性能；

1. 01

   掌握现代c++，python编程，熟悉linux系统及程序调试分析方法，熟悉cuda编程模型，了解常见AI芯片架构及底层硬件原理，了解并行计算、异构计算、分布式系统等相关知识。

2. 02

   掌握pytorch高性能编程方法，熟悉Megatron、DeepSpeed、Transformer Engine、Verl、Slime、Vllm、SGlang等框架之一。

3. 03

   熟悉至少一种人工智能领域场景；

4. 04

   加分项： a. 熟悉mpi，nccl，分布式通信优化策略者优先。 b.具有多机多卡调试经验者优先。 c.具有大模型训练容错经验者优先。 d.具有nvshmem、mooncake、deepep等之一定制通信库使用开发经验者优先。 e.具有fp8/fp4训练经验者优先。 f.具有训练框架、算子融合开发优化经验者优先。 g. 具有强化学习框架使用开发优化经验者优先。 h.熟悉常用数学建模及验证方法者优先。