同花顺
算法工程师(博士专项)|2027校招
岗位职责
负责大语言模型/多模态基座模型的预训练、持续预训练及模型能力迭代,包括模型结构、训练策略、数据配比、Scaling、优化器等核心方向;
负责大规模分布式训练实验设计与落地,持续优化模型训练稳定性、收敛效率及最终效果;
参与百卡至千卡级训练任务,针对 Loss Spike、训练中断、数值稳定性、通信瓶颈、显存及算力利用率等问题进行分析和优化;
结合模型规模、数据规模与算力资源,设计 DP / TP / PP / SP / CP / EP 等并行策略,并持续提升训练吞吐与资源利用效率;
跟踪并实践前沿基模训练技术,包括 Dense/MoE、长上下文、低精度训练、Scaling Law、数据工程及训练稳定性等方向;
与数据、Infra、后训练及产品团队协作,持续提升基座模型的通用能力和下游任务表现。
任职要求
计算机、人工智能、数学等相关专业本科及以上学历,硕士/博士优先;
硬性要求:实际参与过百卡及以上规模的大模型训练任务,能够清晰说明训练规模、模型规模、并行方案、关键训练问题及本人负责部分;
有千卡及以上基模预训练/持续预训练实战经验者优先;
深入理解 Transformer、大模型预训练及 Scaling 相关原理,具备模型训练、实验设计和问题定位能力;
熟悉 PyTorch,以及 Megatron-LM、DeepSpeed、FSDP 等至少一种大规模分布式训练体系;
熟悉 DP / TP / PP / SP / CP / EP、ZeRO、Checkpoint、混合精度等训练技术,对 NCCL、通信和 GPU 集群训练有实际理解;
对训练数据、数据配比、模型收敛、Loss 曲线和训练稳定性具备较强的分析判断能力;
具备较强的工程和实验能力,能够推动复杂训练任务从实验到稳定运行。 加分项
有【千卡级及以上】Dense / MoE 基座模型完整训练经验;
有从模型方案、数据、训练到评测较完整的基模训练 Ownership;
有百亿/千亿参数模型、万亿级 Token 训练经验;
有训练效率、MFU、通信、Checkpoint 或稳定性优化经验,并有明确量化结果;
在 NeurIPS、ICML、ICLR、ACL、MLSys 等相关会议有高质量研究成果;
有 Megatron、DeepSpeed、PyTorch、TransformerEngine 等训练框架核心贡献经验。
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理,最终申请以企业官方页面为准。