AI 模型评测专家 - 星布谷地

评测体系搭建：负责游戏体验与角色扮演场景下大模型的全链路评测体系建设，设计覆盖多维度的评测指标体系（如角色一致性、对话连贯性、情感表现力、安全性、创意性等），建立从数据构建→评测执行→结果分析→问题定位→模型迭代的完整评测流水线

自动化评测方案：设计并落地多层级自动化评测方案，包括但不限于：基于规则/脚本的自动化测试、训练专用评测小模型（Reward Model/Classifier）、基于大语言模型的 LLM-as-Judge 评估、基于 Rubric 的生成式评分方案，持续提升评测效率与覆盖度

人工评估与标注管理：设计人工评估方案与标注规范，管理标注团队与标注流程，建立人工评估与自动化评估的校准机制，确保评测结果的可靠性与一致性

数据飞轮与持续迭代：构建"评测—发现问题—数据积累—模型优化—再评测"的数据飞轮闭环，系统性沉淀 Bad Case 库、评测集、评测基准，支撑模型团队快速实验迭代

深度分析与问题定位：深入分析评测结果，挖掘模型在开放域对话中的能力短板（如记忆遗忘、共情差、逻辑冲突等），输出可执行的优化建议，与算法、产品团队协作推动模型持续改进

前沿跟踪与方法创新：跟踪业界对话/角色扮演评测的前沿方法（如 Agent 评估框架、多轮对话评估基准、主观开放域评估方法论），引入并适配适合游戏场景的评测工具与方法

本科及以上学历，计算机科学、人工智能、NLP、数据科学等相关专业 2）2年以上AI/NLP领域相关经验，有大模型评测体系搭建、模型质量保障、或对话系统评估的实际项目经验

有开放域对话、角色扮演、或聊天产品相关的评测或业务经验，深刻理解无标准答案场景下的评估难点与方法论

具备模型训练经验（SFT/RLHF/DPO），能够训练或微调评测用小模型（如 Reward Model、分类器等），了解 LLM 基本原理与 Agent 构建

熟悉人工评估流程设计与标注管理，有过标注方案设计、标注质量控制、标注数据管理的经验

熟悉 LLM-as-Judge、基于 Rubric 的生成式评估等自动化评测方法，有实际落地经验

掌握 Python 等编程语言，具备自动化评测脚本开发与评测平台搭建能力，熟悉 CI/CD 集成流程

具备优秀的数据分析能力，善于从大量对话数据中发现问题模式、定位 Bad Case、提炼优化方向

深度体验过多款 AI 游戏/AI对话/角色扮演产品，对不同产品的对话体验有系统性理解和独立判断

有奖励模型（Reward Model）训练与应用经验，了解 RLHF/RLAIF 流程中评测信号的设计与优化

有游戏行业相关经验，理解游戏叙事、角色设定、世界观一致性等特殊需求

在对话评估、NLG 评测、LLM 对齐等方向有学术发表或开源贡献

有大规模评测基准（Benchmark）构建或维护经验，熟悉评测集的设计原则与偏差控制

具备 0→1 评测体系搭建经验，主导过评测流水线从无到有的建设并长期维护迭代