大语言模型架构实习生（预训练方向）

深度参与LLM的模型结构，包括MLP以及attention 模块改进，以及训练方法的设计，包括模型并行策略优化，优化算法改进，量化算法改进，目标损失函数改进等方向，目标是同时在模型训练以及大概规模推理效率上取得sota级别的领先水平

深入调研如何设计科学的实验，利用scaling law验证模型设计以及训练算法，获取从头开始，端到端的大模型训练经验。

良好的团队氛围，扁平化的沟通和管理，丰富的算力和计算资源

本科及以上学历，计算机、人工智能、自动化、数学专业优先

扎实的编程基础，对数据结构、算法设计基础有深度了解，熟练使用pytorch或其他深度学习框架。

有深度学习训练丰富实操以及参数调优经验者优先

有高性能计算经验者优先，有triton，cuda 等gpu kernel 编码经验优先

有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先

在顶级学术会议上发表论文者优先，在机器学习、人工智能领域内获得过优异成绩者优先

责任心强，积极主动，有良好的沟通和合作能力