大语言模型研究工程师

根据论文思路与研究方向，协助基于PyTorch搭建decoder-only Transformer模型，搭建、维护语言模型训练、验证、评估完整流程；

参与小型大语言模型训练工作，依托公开英文语料，完成数千万至数亿参数模型的训练迭代与调优；

协助完成模型结构、训练策略的创新与改造实验，包括多token预测、权重绑定、各类位置编码（RoPE/ALiBi）、Attention/MLP/归一化模块改造、辅助Loss设计及模型表征分析等；

参与设计Baseline、消融实验、对照实验与稳健性验证，保障实验科学性与有效性；

协助管理实验配置、随机种子、训练日志、模型权重与评估数据，规范实验流程与版本管理；

协助排查训练过程中的各类问题，包括Loss异常、显存溢出、数值不稳定、数据泄露、评估异常等，保障训练稳定推进；

整理实验数据、绘制分析图表，撰写实验记录、技术报告，协助完成论文方法与结果部分梳理工作；

跟进前沿AI论文，协助评估各类算法方法的可复现性、可扩展性，适配现有算力条件落地实验。

博士及以上学历，计算机科学、人工智能、机器学习、数学、统计学等相关专业，优秀本科生亦可；

熟练掌握Python、PyTorch框架，具备扎实的深度学习代码开发基础；

精通Transformer基础原理与预训练流程，熟练掌握因果自注意力、词嵌入、位置编码、归一化、MLP、自回归训练Loss、文本生成等核心机制；

具备基础LLM实验能力，可独立完成数据预处理、分词处理、模型配置、参数量计算、训练验证、权重读写、困惑度评估与结果整理等工作；

熟悉Linux系统、Git版本管理及常用命令行操作，熟练使用Hugging Face、W&B、TensorBoard等任意一种实验工具链；

具备良好的英文阅读能力，可独立阅读英文论文与官方技术文档，清晰理解并解释模型实现与实验逻辑；

具备严谨的科研思维与实验规范，逻辑清晰、善于复盘总结，有LLM复现、模型微调、科研项目经验者优先。