大模型预训练评测研发实习生

职位描述： 我们正在招聘大模型预训练评测研发实习生，共同建设覆盖语言模型与多模态模型的预训练评测体系。你可以根据个人兴趣和能力，重点参与以下一个或多个方向：

1. 01

   Benchmark 建设与模型评测

2. 01

   负责 Public Benchmark、In-house Benchmark 及多模态 Benchmark 的调研、接入与维护；

3. 02

   参与评测数据的清洗、格式转换、质量检查和版本管理；

4. 03

   支持预训练模型不同阶段、不同 Checkpoint 的评测，跟踪并分析模型能力变化；

5. 04

   参与模型能力拆解，分析模型的优势、短板、异常表现和能力退化风险；

6. 05

   使用大模型辅助数据处理、评测分析和日常研发，持续提升工作效率；

7. 06

   跟踪业界主流模型、Benchmark 和评测方法，协助完善内部预训练评测体系。

8. 08

   评测框架与自动化研发

9. 01

   参与 LLM Harness 及多模态评测框架的设计、开发与维护；

10. 02

    参与 Eval Workflow 建设，推动评测任务编排、执行、监控和结果分析自动化；

11. 03

    参与推理引擎及不同模型架构的适配，支持评测任务稳定、高效运行；

12. 04

    优化评测系统的并发能力、执行效率、稳定性和可扩展性；

13. 05

    建设通用评测工具与基础组件，提高 Benchmark 接入和模型评测效率；

14. 06

    协助定位评测链路中的工程问题，持续改进系统架构和研发体验。

1. 01

   本科及以上在读，计算机、人工智能、软件工程或相关专业优先；

2. 02

   熟悉 Python，具备良好的编程习惯和基础工程能力；

3. 03

   对大语言模型、多模态模型及预训练技术感兴趣，了解模型训练与评测的基本流程；

4. 04

   日常能够熟练使用大模型工具，对模型能力边界、优势和短板有一定理解；

5. 05

   认真细致，对数据质量、实验设置和评测结果保持敏感；

6. 06

   具备良好的问题分析能力、学习能力、自驱力和沟通协作能力；

7. 07

   能够保证稳定的实习时间，连续实习 3 个月及以上者优先。 - 了解大模型预训练流程及常见评测方法； - 接触过 LLM Eval、开源 Benchmark 或评测框架； - 有 Benchmark 接入、数据集建设或模型能力分析经验； - 熟悉多进程、高并发、网络编程、后端开发或软件架构设计； - 具备 AI Infra 相关项目或实习经验； - 了解 PyTorch、vLLM 等技术； - 有多模态模型评测、开源项目、科研或相关工程项目经验。