高效大模型算法工程师-北京

1.复现和改进高效大模型相关算法。

2.参与权重稀疏、激活稀疏、低比特量化、KV Cache 或 Sparse Attention 中一个或多个方向的研究。

3.参与 Dense 模型到 Sparse/Quant 模型的训练和精度恢复。

4.分析权重、激活、梯度、Mask、Scale、Token 概率等模型数据。

5.参与算法消融实验、模型精度评测和失败案例分析。

6.完成算法 Reference、实验脚本和技术文档。

7.参与模型 Benchmark、模型 Zoo 和相关技术资产建设

1.计算机、人工智能、数学、自动化、电子工程等相关专业硕士或博士应届毕业生，优秀本科生可适当放宽。

2.熟悉深度学习基本原理，理解反向传播、优化器、正则化和模型训练过程。

3.熟悉 Transformer、Attention 和 FFN 等基本结构。

4.熟练使用 Python 和 PyTorch。

5.具备良好的数学基础、编程能力和实验分析能力。

6.阅读过模型稀疏、量化、长上下文或高效推理相关论文。

7.对大模型算法研究具有长期兴趣，能够耐心开展训练和消融实验。

加分项:

- 有大模型训练、模型稀疏、模型量化或高效推理实习经历；

- 有相关论文、科研课题或开源项目；

- 熟悉分布式训练；

- 熟悉 vLLM、SGLang 等推理框架；

- 有 C++、CUDA、Triton 或 AI 芯片基础；

- 有数学、算法或机器学习竞赛经历