多模态-评测/出题（世界模型）(J13015)

1. 世界模型评测执行与标准制定

1）负责世界模型及视频生成模型的多维度评测，包括文本到视频（T2V）、图像到视频（I2V）、参考图/多模态视频生成等任务，评估模型在画面质量、指令遵循、动态效果、时空一致性等方面的表现；

2）参与世界模型评测Benchmark（基准测试）的设计与构建，围绕主体一致性、场景稳定性、运动合理性、物理规律、交互响应、镜头连贯性等核心能力设计评测题目、测试场景及评分细则；

3）负责评测题库、标准答案、参考素材及评分标准的设计与维护，建立可复用、可迭代的世界模型评测体系；

4）从专业内容创作视角、普通用户体验视角及模型能力评估视角，对生成结果进行综合质量评价，准确识别模型在复杂场景下的能力边界。

2. 评测数据集构建与质量审核

1）负责世界模型评测数据的采集、整理、标注、清洗与质量审核，保障评测数据的准确性、一致性及有效性；

2）建立和维护世界模型评测数据集，覆盖多类型场景、主体、动作、镜头、物理交互及多模态输入，完善数据分类、版本管理与归档流程；

3）参与构建基础评测集、回归测试集、隐藏测试集及竞品对比测试集，针对重点能力和典型缺陷设计专项评测数据；

4）制定并执行评测标注规范、评分标准及质检流程，推动评测数据质量持续提升。

3. 模型问题发现与分析反馈

1）深度分析世界模型评测结果，定位模型在视频生成及世界建模能力上的缺陷与不足，如主体漂移、结构崩坏、运动不合理、物理规律违背、交互响应异常、时序不连续、指令执行偏差等；

2）结合模型输入、生成结果及评测指标，分析问题产生的场景、触发条件及表现规律，归纳典型问题类型并形成缺陷案例库；

3）撰写评测报告，输出模型能力分析、问题清单、竞品对比及优化建议，为算法、产品及研发团队提供有效反馈，推动模型迭代优化；

4）跟踪主流世界模型及视频生成技术的发展趋势，持续研究行业评测方法、Benchmark及评价指标，优化评测维度与测试方案。

4. 评测体系建设与项目协作

1）参与建立世界模型评测SOP，完善从测试设计、数据准备、模型执行、结果标注、质量审核到报告输出的全流程规范；

2）参与评测指标及评分机制的设计与优化，探索MOS、GSB等主观评价方法与自动化评测方法在世界模型评测中的应用；

3）协同算法、产品、数据及研发团队推进评测项目落地，跟踪问题闭环与模型版本回归，保障评测任务按计划完成；

4）参与世界模型重点能力专项评测及阶段性模型验收，为模型版本对比、能力基线建立和产品上线提供评测依据。

1.本科及以上学历，计算机科学与技术、人工智能、软件工程、数字媒体艺术、影视编导、广播电视编导、动画、游戏设计、视觉传达、电影学等相关专业优先；

2. 经验与技能要求

1）具备1年以上AI模型评测、数据运营、视频内容制作、视频编辑、游戏开发、数字内容生产或相关工作经验；有世界模型、视频生成模型、多模态大模型评测经验者优先；

2）了解主流世界模型及视频生成模型（如Seedance、可灵、Sora、Veo、Genie等）及其应用场景，具备一定的模型能力分析和技术调研能力；

3）理解文本到视频（T2V）、图像到视频（I2V）、多模态视频生成等基本任务流程，了解视频生成模型的常见能力维度及典型问题；

4）具备较好的视听语言、画面构图、镜头语言及视频内容分析基础；或具备扎实的计算机、AI模型、数据处理及评测相关知识，能够快速理解世界模型评测需求；

5）熟悉Excel、飞书多维表格、数据标注平台等工具，能够完成评测数据整理、统计分析、质量审核及评测报告输出；掌握Python、SQL或相关数据处理工具者优先；

6）具备评测数据集、Benchmark、测试题库或评分标准设计经验者优先；了解MOS、GSB、Kappa、Kendall's W等评价方法者优先。

3. 能力素质要求

1）具备敏锐的视觉观察能力和较强的内容理解能力，能够准确识别视频生成中的细节问题，包括主体一致性、结构稳定性、动作合理性、物理交互及时序连续性等；

2）具备较强的逻辑分析能力，能够从模型输入、输出结果及评测数据中发现问题、归纳规律，并形成清晰、客观、可复现的问题描述；

3）具备良好的评测标准理解和执行能力，能够依据评分规范进行稳定、客观的主观评价，保证评测结果的一致性与可靠性；

4）具备优秀的报告撰写和沟通协作能力，能够清晰输出评测结论、问题案例及优化建议，与算法、产品、研发团队高效配合；

5）耐心细致，有较强的责任心和执行力，能高效完成重复性评测、数据质检及报告审核工作；具备较强的学习能力，能够快速跟进世界模型及多模态AI领域的新技术与新方法。

4.专业能力

方向一： 具备 6 个月以上玩法策划、交互策划或关卡设计相关经验，承担过玩法规则与操作反馈设计、交互物件与触发逻辑设计、任务流程与状态切换设计或灰盒关卡、路线及空间布局设计等工作。能够基于过往设计经验，拆解规则、因果、交互、空间及连续任务中的关键考点，明确操作条件、执行步骤与预期结果。

方向二： 具备 6 个月以上游戏 QA、技术美术、3D 场景美术或游戏动画相关经验，承担过以下任一类工作：角色操作、碰撞、物件交互与任务流程测试；实时材质、光照、特效或动画技术调试；场景模型、空间布局及多视角效果制作与检查；角色动作制作、动作衔接、状态切换或接触关系修正。能够从功能逻辑、视觉表现、空间一致性或动作物理合理性等对应视角识别问题，并提供清晰的现象描述和判定依据；有探索性测试、质量验收或 AI 模型评测经验者优先。