混元-大模型评测研究及应用

前沿评测体系构建： 构建反映大模型智能上限与实际应用的评测体系，结合各个模态的数据合成以及自动化评测技术，高效牵引模型迭代优化 背景： 全面的能力评测是推动人工智能技术发展的核心引擎，在技术演进、产业落地等方面发挥着重要作用。通过前沿性、系统性评测，可牵引模型迭代方向，量化模型的知识覆盖、推理逻辑、多模态处理等核心能力，同时发现模型的不足，牵引模型快速迭代。 课题挑战：

1. 01

   构建全面的、覆盖多个模态的AGI能力的全面体系非常困难，重要的能力维度包括多领域知识融合、自主适应与学习、高级认知推理、情感理解及社会交互等等，同时每个能力维度的定义、体系设计，以及完成一个动态、准确的评测集的生产、评测标准、评测质量都非常复杂。涉及数据合成，自动化评测等多种知识，同时也需要了解模型训练，通过评测结论、数据/模型解决方案等多种价值输出方式，助力提升模型效果。 具体工作：

2. 01

   全模态以及跨模型评测体系研究与落地。

3. 02

   模型基础能力（指令、长文等）以及Agent，包括GuiAgent、代码agent、通用Agent等评测体系的研究与落地。

1. 01

   计算机或者相关专业硕士或者以上学历，具备推荐/广告/CV/NLP/RL相关实习经验优先，有大模型调优化应用、评测经历优先；

2. 02

   在ICLR、NeurIPS，ICML、KDD、AAAI，IJCAI等机器学习领域会议或者期刊有第一作者发表过至少一篇文章。 此课题同时招聘应届实习生和低年级实习生。