智多星-大模型评测（Omni方向）

职位描述

1. 01

   跟踪业界前沿 Omni 模型动态，研发 Omni 全模态大模型Benchmark，并发表相关顶会论文，覆盖文本、图像、音频、视频的任意模态输入与输出。运用专业知识对评测题目、参考答案及评分标准进行数据质检与审题，保障评测数据的科学性、准确性和区分度

2. 02

   学习前沿论文与资讯，构建和维护多模态评测集、训练数据集与评测 SOP，包括跨模态理解、语音对话、图像/视频生成、音画同步等场景。实现Omini方向评测落地与自动化评测，包括题目分类、答案校验、模型回复评价、错误归因及标签规范整理，为模型能力评估提供高质量数据。

3. 03

   通过专业工具与技能，分析大模型在Omini相关知识与技能、科学推理及问题解决方面的薄弱环节，沉淀典型案例和改进建议，与算法、产品、数据团队协作，形成评测、数据与模型优化闭环，持续提升模型在Omini方向的准确性、可靠性与专业表现。

4. 04

   在Mentor带教下，协助评测项目管理与交付，支持任务拆解、进度跟踪、质量抽检、问题记录及跨团队协作，确保数据生产和评测工作高质量完成。

1. 01

   学历要求：相关专业在读硕、博士

2. 02

   学科背景：计算机、人工智能、语言学、心理学、人机交互、多媒体、物理学或其他STEM学科等

3. 03

   专业技能：熟练使用 Python 或通用桌面智能体进行数据处理、脚本编写和简单自动化评测，能够独立完成数据处理、模型构建、结果解释和可视化。

4. 04

   行业经验：有AI相关实习经历。具备扎实的Omini模型研究或实践经验，能够运用数理建模、机器学习等方法解决相关领域问题。对大模型、多模态模型有基本理解，熟悉常见评测方法与指标；

5. 05

   综合素质：具备快速学习能力，较强的科研逻辑、问题拆解和跨学科协作能力，以及良好的英文读写能力。具备良好的语言表达、沟通协作能力；具有良好的自驱力与抗压能力；具有多线程任务处理能力；

6. 06

   兴趣动机：对 AI Agent、世界模型、多模态交互有强烈兴趣，并将来有志于从事AI行业。 加分项 ● 深度使用过 GPT、Gemini、Qwen-Omni、Claude 等模型，并有评测/对比经验；

• 有评测集构建、数据生产、统计分析经验；

• 熟悉文本/图像/音频/视频处理工具，或了解语音识别/合成、视频生成基础；

• 具备英文论文阅读/写作能力，有相关论文、开源项目或竞赛经历。 你将获得 ● 深度参与前沿 Omni 模型评测标准制定经验，顶会论文发表机会，接触第一手多模态能力数据；

• 与算法、产品团队紧密协作，快速积累大模型评测实战经验，全方位的工作素质与能力，以及AI行业顶尖团队人脉关系；

• 业界领先的大模型评测集研发及数据合成技术与能力；

• 有竞争力的实习薪资、实习证明与转正，或其他AI核心团队工作机会。 "