混元基座模型-大规模强化学习框架性能优化研究

课题背景： 强化学习已经成为提升模型效果最重要的一环，Agent等训练也会强化框架带来了复杂性和新的挑战。强化学习框架如何构建、如何优化加速以及和强化算法更好协同需要深入探索和研究。 课题挑战：

1. 01

   需要对强化学习解决的问题以及算法发展方向有深入的研究，更好的指导框架迭代和性能优化；

2. 02

   需要结合硬件特性、模型以及框架（训练、推理、Agent Env）深入分析当前训练存在的性能问题，找到解决问题的方法和思路。 具体工作： 构建超大规模、高性能、高易用性的强化学习框架，支持序列、模型、机器规模的scaling，支持多模态数据（文本、图片、视频、语音），支持reasoning和Agent高效训练，以及支持算法强化策略自主探索，支持混元大模型的强化训练，同时基于硬件特性进行框架深层次优化，如通信和通信overlp以及通信和计算融合优化等提升强化训练效率。

学历和专业要求： 机器学习/人工智能/计算机等相关专业硕士以上学历； 技术技能要求：

1. 01

   熟悉主流训练和推理框架PyTorch、Megatron、vLLM、SGLang等，掌握3D并行、ZeRO机制、Flash-Attn、kvcache、量化、投机采样、算子优化等的原理、使用场景、优劣势以及可优化方向；

2. 02

   精通RL、Agent训练流程，在框架开发和优化上有深入实践，在稳定性、大规模训练上有相关经验的优先，在低精度训练、收敛稳定优化有相关经验的优先； 软性素质要求：

3. 01

   对大模型、强化学习前沿技术比较敏锐者优先；

4. 02

   良好的沟通能力、解决问题能力，具备强烈的进取心、自驱力及跨领域学习能力，团队合作精神极佳。