大模型训练并行计算工程师

1、负责大模型训练的系统性能分析及解决方案的制定，高效分析业务瓶颈，跟进和研究大模型训练性能和内存的优化手段，提升大模型训练效率；

2、负责跟进业界大模型训练的前沿工作，对MoE，长序列，文生图等场景有较为深刻的理解，熟练掌握并行策略的通信计算模式，根据业务特点不断优化分析已有的各种并行策略；

3、熟悉大模型训练整体流程，熟悉大模型训练的评价指标，能够完成大模型训练中的监控，稳定性训练等业务的支持和开发工作；

4、性能评估方法，设计和建设大模型训练的性能内存评估方法，能够分析性能原因，通信比例情况，内存占用，计算资源消耗等问题

1、本科及以上学历，计算机相关专业，熟悉大模型训练框架Megatron-LM/Deepspeed等；

2、具备良好的编程能力，熟练掌握性能分析工具和方法，熟悉torch的性能分析工具等；

3、逻辑思维清晰，具有良好的沟通能力，抗压能力和责任心；

4、具有实际开发或优化并行策略的优先；

5、加分项：具备千卡以上训练经验