阿里巴巴
数据技术及产品部-大模型评测专家-LLM方向
RESPONSIBILITIES
岗位职责
与文本大模型算法团队对接，协助理解大模型训练数据的评测体系设计，参与评测数据集构建、体系搭建与持续迭代，产出高质量评测报告
负责大模型训练及评测所需的数据标注任务全流程管理，包括需求拆解、规范制定、任务分发、进度监控及质量验收。
围绕模型智能上限设计评测方案，通过高难度推理、复杂多步任务、长程规划等真实生产力任务检验模型的能力天花板，构建能有效区分模型能力层级的高区分度评测体系。
持续跟踪评测领域前沿方法，对现有评测基准进行充分调研与优缺点分析，建立评测数据的版本管理与防泄露机制，保障评测集的时效性与区分度。
REQUIREMENTS
任职要求
硕士及以上学历（学历背景不限），2年+数据标注/评测经验（在大模型公司、文本大模型等相关领域任职经历优先），有2年以上核心数据标注、标注PM或数据运营相关经验优先
对推理、模型能力边界的探索有兴趣，了解主流评测集的设计思路与局限性
较强的跨团队沟通能力，合作界面良好，能与研究、算法团队沟通，将抽象需求准确转化为可落地的评测项目与方案
良好的自驱力和学习能力，主观能动性强，能持续跟踪大模型与评测领域技术进展
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理，最终申请以企业官方页面为准。