光子 AI-游戏模型评测专家

构建游戏模型评测体系：通过紧跟先进模型及应用的前沿发展，设计全面、准确的多维度指标，建立覆盖多模态（文本/语音/图像/视频/3D等）生成、多模态理解等全面、多维度的评测体系；

构建游戏模型评测流程：协同多方相关团队梳理并构建游戏模型评测流程，定期监控模型效果，分析问题并提供优化方案，把模型评测流程高效落地；

积极洞察行业动态：持续完善评测体系、快速反馈行业动态及模型能力，发现行业模型以及应用的前进方向、亮点；

结果归因：通过各种数据分析方法，深度分析模型评测结果，为模型的更新调优提供精准的问题分析结论。

计算机等相关专业硕士或以上学历，对大模型和游戏都有深度了解；

了解大模型的基本原理和评测方法，能设计合理的评测指标和评测流程；

具备数据分析能力，能从评测结果中提炼规律、定位问题根因、输出可执行的优化建议；

有评测系统或质量保障系统的开发经验，能独立设计自动化评测流水线；

具备 Python 工程能力，熟悉常用数据分析和可视化工具；

逻辑严谨，注重细节，能在主观评价与量化指标之间找到平衡；

拥有出色的沟通协调能力、严谨的逻辑思维能力与深度数据分析能力，善于发现问题并提出系统性解决方案，具备良好的团队协作精神。 加分项

有 LLM 评测经验（如 MMLU、MT-Bench、人工评测、LLM-as-Judge 等）；

有游戏行业 QA 或数据质量保障经验；

有 A/B 测试平台开发或实验设计经验；

了解 RLHF/DPO 中 reward model 的评测逻辑。