Dots-【Ace顶尖实习生】探索大模型的高效训练方式和工程算法Codesign机制

Dots-【Ace顶尖实习生】探索大模型的高效训练方式和工程算法Codesign机制 大模型 北京市，上海市，杭州市 Ace 顶尖实习生计划 本课题的研究目标是研发大规模、高效易用的大模型训练框架，针对不同模型架构，探索多机多卡分布式训练的性能极限。 包括不限于：

1. 01

   高度稀疏化、长文本的模型训练策略优化；

2. 02

   大规模MoE模型的大规模RL训练性能优化；

3. 03

   基于模型的训练和推理瓶颈，工程算法Codesign探索下一代大模型网络结构设计。