Dots-【Ace顶尖实习生】探索大模型预训练更加高效的scaling效率优化

Dots-【Ace顶尖实习生】探索大模型预训练更加高效的scaling效率优化 大模型 北京市，上海市，杭州市 Ace 顶尖实习生计划 本课题的研究目标是研发更高效的预训练scaling效率，通过数据策略、模型结构设计(Dense, MoE, Long Context等)、初始化&优化器策略、学习范式的创新，深度理解模型的学习机制和评估方法，能够更精准的预测模型行为，并持续提升模型预训练从算力&数据到智能的转化效率。