大模型训练框架工程师

1. 适配并维护主流训练框架（Megatron-LM、DeepSpeed、FSDP 等）、微调框架（LLaMA-Factory、Megatron-Bridge、MS-Swift 等）及强化学习框架（VeRL、OpenRLHF、TRL 等），完成功能验证、精度对齐与问题闭环；

2. 结合自研硬件架构进行深度优化与二次开发，覆盖算子融合、通信算法、显存管理、计算与通信重叠等，持续提升训练吞吐和资源利用率；

3. 建设预训练、微调、强化学习核心链路，支撑 MoE、长序列、多模态等典型模型的规模化训练；

4. 面向大规模集群建设训练稳定性能力，包括故障感知、故障定位、自动重试、弹性容错与断点续训；

5. 定位并解决训练中的精度、显存、通信、算子、性能与稳定性问题，建设自动化测试、性能基线与回归体系；

6. 跟踪前沿论文与开源方案，结合 AI Agent 推动自动化排障、自动调优落地，并参与开源社区建设

1. 计算机、软件工程、人工智能、数学等相关专业本科及以上学历，3 年以上相关经验；

2. 熟练使用 Python/C++，熟悉 CUDA、Triton、TileLang 中至少一种 GPU 编程方式；

3. 熟悉 PyTorch 训练流程与底层机制，包括自动求导、算子分发、通信后端和显存分配；

4. 深入理解 DP、TP、PP、EP、CP、ZeRO、FSDP 等并行策略及对应通信模式，具备实际调优经验；

5. 深入理解 Megatron-LM、DeepSpeed 等主流训练框架，具备开发或二次开发经验；

6. 熟悉主流大模型结构及常用训练算法；

7. 具备扎实的问题分析与工程落地能力，能独立推进复杂问题定位，并与相关团队协作。

加分项

- 有千卡及以上集群训练或微调经验；

- 有 RLHF / RL 训练链路落地经验，如 VeRL、OpenRLHF；

- 有训练稳定性、故障容错或弹性训练工程经验