混元-新一代大模型分布式训练基础框架研究

课题背景 大模型训练包括文本、多模态等多种场景，并且有探索实验、万卡大规模生产等多方面需求，如何通过统一高效的框架满足多场景需求。 课题挑战

1. 01

   统一编程接口、模型构建范式、llm 与多模态的训练框架统一

2. 02

   自动高性能并行策略 && 弹性训练

3. 03

   算子优化 & 通算融合 && 编译优化

4. 04

   不同异构硬件适配 && 不同网络拓扑优化

5. 05

   低精度 && 模型结构 efficiency co-design

6. 06

   超长文本训练

7. 07

   agentic 训练 infra workflow

8. 08

   io 优化，构建工业级生产的 dataloader/checkpoint 等高效基础组件 具体工作 构建统一的模型结构定义接口，适配不同后端分布式执行引擎，支持多种模态、多种场景的算法需求；并通过通算掩盖、算子融合、软硬件协同等方式，进一步提升模型训练的性能，为混元大模型的研发提供高性能基础框架支撑。

1. 01

   包含但不限于计算机、信息工程、模式识别、人工智能、自动化、软件工程、电子工程等相关专业的博士和优秀硕士；

2. 02

   有至少其中一项技能/知识：熟悉一种训练框架、GPU编程、高性能网络/分布式并行、编译器优化、大规模数据处理；

3. 03

   AI Infra、强化学习、AI Agent等领域进行过深入调研和探索或者在CPU/GPU体系架构，高性能计算/CUDA，分布式训练系统相关领域经验者优先；

4. 04

   有好奇心，自驱力强，有较好的学习能力和沟通能力，编程能力强；

5. 05

   良好的沟通协作能力，能和团队一起探索新技术，推进技术进步。