大模型测评工程师

岗位职责

1. 01

   设计和开发大模型评估体系,根据不同的业务场景和应用需求，制定针对性的评测方案和策略，确保评测结果真实反映模型在实际使用中的表现;

2. 02

   对候选大模型进行性能测试和评估，包括但不限于模型的语言理解、生成能力、图像识别准确率等，形成对比报告;

3. 03

   参与AI产品需求分析，给模型训练提供专业意见;

4. 04

   构建和维护高质量的数据集，用于评估模型，包括：数据清洗、预处理，确保数据的高质量，为模型评测提供可靠的数据基础;

5. 05

   应用AI技术开发和实现针对大模型评估的工具，实现端到端的CICT测试流程;

岗位要求

1. 01

   教育背景：具备计算机科学、人工智能、数学、软件工程或相关专业硕士及以上学历;

2. 02

   有大模型相关测试开发和评测经验，例如大模型训练、评估、应用等;

3. 03

   具备扎实的算法基础(如强化学习、对抗学习等);

4. 04

   熟练掌握Python/C++，有PyTorch/TensorFlow实战经验;

5. 05

   具备前瞻性思考与快速学习能力，能够独立阅读并理解相关研究论文和技术报告，并输出高质量的调研成果。

【加分项】 有AI领域模型服务化开发、效果体验评估调优、算法研究经验; 有DevOps实践经验者优先。