腾讯集团
大模型训练性能优化工程师(训练算子)(深圳/北京/上海/杭州)
岗位职责
负责深度学习训练相关算子的设计、实现与优化( CUDA/CUTLASS/Triton );
面向大模型训练场景,对算子进行端到端性能分析与调优,持续挖掘吞吐、延迟、显存利用率等指标的优化空间;
参与或主导 3D 并行(Data / Tensor / Pipeline Parallel 等)训练体系下的算子与通信方案设计与优化;
与分布式训练、系统、模型算法团队密切协作,共同提升大规模训练任务的整体效率与稳定性;
跟踪业界前沿的硬件架构与系统软件(GPU 架构、网络、编译器、库等),将最新技术转化为实际性能收益。
任职要求
计算机、软件工程、数学、电子信息、自动化等相关专业,本科及以上学历;
扎实的编程基础,熟练使用 C/C++,对代码质量与工程实践有较高要求;
熟练掌握 GPU 编程,有实际 CUDA 开发经验;熟悉 CUTLASS、Triton 等任一或多种算子开发/优化框架;
熟悉并行计算原理,对 GPU 体系结构(SM、Warp、Memory Hierarchy、Occupancy 等)有较深入理解;
对 3D 并行训练(如数据并行、模型并行、流水并行、混合并行等)有实践经验,能够理解并分析其对算子与通信模式的影响;
具备良好的问题定位与性能分析能力,能熟练使用 Nsight、nvprof、perf 等性能分析工具进行瓶颈分析和优化。 加分项
有大规模分布式训练实践经验(上百张 GPU 或更大规模),了解常见分布式训练框架与通信库(如 NCCL、Horovod、DeepSpeed、Megatron-LM 等);
对深度学习模型结构与训练算法有一定了解(如 Transformer、LLM 训练技巧、优化器、并行算法等),能与算法同学就结构与算子设计进行深入讨论;
有参加过编程竞赛(如 ICPC、NOI/IOI、Codeforces、AtCoder 等)并取得优异成绩的经历,具备优秀的算法与代码实现能力;
有高性能计算(HPC)、编译器优化、系统级性能调优相关经验或论文/开源项目贡献。
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理,最终申请以企业官方页面为准。