训练平台开发工程师(Mstar)

我们正在建设支撑大模型训练的训练平台，围绕训练稳定性与全链路可观测两个方向，打造故障感知、断点续训、资源调度与智能诊断等核心能力。作为校招同学，你将在这个真实的大规模 GPU 集群场景中，参与核心系统从设计到落地的完整过程。

1.参与训练稳定性建设：开发节点异常检测能力（卡顿、OOM、网络抖动、硬件故障等），以及断点续训（Checkpoint & Resume）能力，保障训练任务可安全中断与恢复。

2.参与资源调度与性能优化：开发任务重调度与迁移策略，缓解慢节点（Straggler）问题，提升集群利用率。

3.参与全链路监控建设：覆盖硬件层（GPU/CPU/网络/存储）、系统层（容器/调度器）、框架层（通信/IO）到算法层（Loss/吞吐）的可观测体系。

4.参与异常诊断与根因分析：开发性能瓶颈定位、指标下钻与告警看板，沉淀可复用的诊断规则与处理流程。

5.参与框架适配与工具化：支持 PyTorch / DeepSpeed / Megatron 等主流训练框架的容错与监控适配，与算法团队协作落地。

6.十万卡级 GPU 调度系统建设： 参与大规模 GPU 集群调度系统建设，围绕 Quota、优先级、抢占、弹性伸缩、碎片整理、拓扑感知调度等能力提升资源效率。

7.前沿技术探索： 持续关注 Kubernetes、Volcano、Kueue、Ray、GPU 虚拟化、弹性调度等相关技术，探索下一代 AI 资源调度系统。

1.学历专业：本科及以上学历，计算机科学、软件工程、人工智能、自动化等相关专业。

2.编程能力：熟悉 Python 语言，具备扎实的数据结构与算法基础，了解多进程/异步编程，有良好的编码习惯。

3.系统基础：了解 Linux、Docker、Kubernetes 等基本概念，对分布式系统原理有基本认识。

4.学习能力：对底层系统与性能问题有钻研兴趣，能快速上手新框架与新技术。

5.软素质：有团队协作意识，责任心强。有良好的沟通协作能力，能与平台、云原生、算法、业务、IDC、网络和存储团队协同推进复杂项目。

加分项：

1.接触过 AI 训练平台或相关组件，如 PyTorch Distributed、DeepSpeed、Megatron、Kubeflow、vLLM 等。

2.熟悉云原生生态及调度工具，如 Kubernetes、Volcano、Kueue、Ray等，有调度系统开发经验优先。

3.了解大模型训练、后训练、推理、部署等生命周期，理解不同负载对 GPU 资源、网络、存储和调度策略的差异化诉求。

4.了解 GPU 显存管理、NCCL 通信优化、梯度压缩等底层技术。熟悉 RDMA、IB、RoCE、NCCL 等通信机制，能结合网络拓扑优化调度策略。

5.有 ACM 等编程竞赛获奖、开源项目贡献、技术博客输出或相关实习/科研项目经历。