大模型和分布式推理优化实习生（日常实习）

1. 01

   参与分布式推理系统建设，提供行业领先的LLM/多模态模型解决方案；

2. 02

   针对大语言模型（LLM）等场景，开展端到端推理性能优化，重点降低推理延迟、提升吞吐量；

3. 03

   针对大语言模型（LLM）等场景，开展端到端推理精度分析，提升模型精度；

4. 04

   开发和维护大语言模型（LLM）量化工具等

1. 01

   计算机、电子工程、自动化、数学等相关专业优先；

2. 02

   精通Python/C++；

3. 03

   深入理解LLM或者视觉生成模型框架和原理；

4. 04

   深入理解量化、kvcache、多机多卡并行等加速技术。

5. 05

   实习时间至少为6个月，每周出勤4天。

加分项

1. 01

   有GPU/加速卡调优实践经验；

2. 02

   有开源仓库的贡献经验；

3. 03

   参与过LLM或者视觉生成端到端推理优化项目，并实际落地；

4. 04

   有集群部署经验；

5. 05

   了解[外部招聘链接已隐藏]；

6. 06

   了解vllm, sglang, megatron, verl等