（ASP Intern）LLM-大模型预训练模型结构算法工程师

参与模型结构的前沿实验与优化： 协助团队针对 Transformer 架构进行局限性探索。参与混合专家模型（MoE）、长序列建模（如 KV cache 压缩）、动态计算优化等核心算法的代码实现、跑通与效果验证。 协助探索大模型预训练策略： 参与新型预训练损失函数、优化器（Optimizer）与学习率调度策略的调研与实验。在 Mentor 的指导下，在实验规模模型上验证持续学习、课程学习等策略的有效性，并协助分析训练动力学表现。 前沿文献追踪与技术复现： 紧跟学界与工业界最新进展，调研下一代非共识网络架构（如线性注意力、动态稀疏注意力等）。协助进行算法复现、对比实验及原理解读，为团队下一代通用智能模型结构的设计提供详实的数据与理论支持

必须项 学术与工程背景： 计算机科学、人工智能、数学或相关领域的硕士或博士毕业生 深度学习底盘扎实： 深刻理解大模型预训练动态（Training Dynamics）、优化器原理及模型架构演进；精通 PyTorch，熟悉 Megatron、DeepSpeed 等主流开源训练框架。 独立研究思维： 具备独立思考与系统性研究能力，敢于挑战现有范式，能够运用数学物理与实验科学解读模型的优化动态，破解训练的不确定性难题。对模型结构（Attention、MoE 等）有极强的 Debug 能力与系统性问题诊断能力。 团队协作精神： 具有务实精神、开源开放的技术视野，以及优秀的跨团队协作与沟通能力，能够与工程、评测、Alignment 团队紧密联动