大模型评测工程师-【可灵AI专项】

1. 01

   负责大模型（包括不限于T2V、I2V、MLLM模型）评测工作和评测体系建设，包括设计制定和完善评测方案、评测指标、评测数据收集和更新、评测执行，并输出专业评测报告；

2. 02

   参与评测相关自动化评测工具开发及维护，最大化提高评测效率；

3. 03

   以算法手段，对基座大模型和AI Native应用进行分阶段、端到端评测；

4. 04

   参与构建评测Agent工具链、对战平台、模型竞技场、模型效果判别模型、应用数据飞轮等工具链建设；

5. 05

   站在用户角度，对产品、算法发提出建设性的意见，在评测参与的各个流程中以用户视角保证产品体验。

1. 01

   本科及以上学历，计算机、人工智能、大数据、统计等相关专业优先；

2. 02

   优秀的代码基础，至少掌握一门高级语言， 包括Python、C/C++、 Java；

3. 03

   了解 Transformer、Bert、DiT、CLIP、CNN、GAN、VAE、Diffusion Models等AI模型基本原理；

4. 04

   具备良好的数据化思维，能够基于数据分析结果给出分析结论，熟悉ACC、AUC、F1、recall等基本的模型评估指标计算方式；

5. 05

   良好的沟通能力和团队协作精神，严谨的工作态度与高质量意识，逻辑清晰、善于分析与总结，对大模型技术有热情和探索精神；

6. 06

   具备良好的视野，善于学习新的知识、阅读论文、动手能力强、有进取心。

加分项

1. 01

   有扎实的美术素养、设计经验、视频创作影视导演编导、或者有互联网公司相关经验者优先；

2. 02

   参与AIGC、大模型相关的项目研发测试经验优先，有竞品大模型评测经验优先（如通义、即梦、混元等）；

3. 03

   有顶会论文、国家或国际奖项、专利获得者、算法竞赛获奖者优先考虑；

4. 04

   有训练或微调常见CV、NLP、LLM、MLLM模型经验优先；

5. 05

   熟悉常见算法、大模型评测基准、评测方法。