蚂蚁集团-Agent 评测工程师-AI创新产品

设计智能体评测任务，覆盖工具调用、计算机操作、多智能体协作、长周期任务执行、事实准确性、指令遵循和复杂推理等方向；

将抽象的模型行为问题转化为可验证的评测实验，完成假设定义、数据构建、模型运行、结果分析和迭代决策；

研究模型行为的自动化探索方法，持续发现模型在复杂任务、长尾场景和真实业务流程中的能力边界与失败模式；

建设可靠、可复现、可扩展的评测流水线，支持不同模型、模型版本、Prompt、智能体框架和工具配置的批量实验；

建设持续评测与模型健康监控体系，包括：标准测试集和 Golden Dataset 建设、回归与性能漂移监控、模型版本对比、评测结果可视化、失败案例分析、自动化反馈和改进闭环；

分析评测方法的可靠性、可扩展性、方差、统计显著性和评分一致性，持续提升评测结果的可信度；

设计并维护评测相关的后端服务、数据管道和 API，将内部数据转换为适合模型、智能体和下游 AI 工作流使用的结构化格式；

将评测结果反馈到数据集、Prompt、评分器、智能体架构和产品方案中，推动模型与产品效果持续优化；

负责评测系统从原型设计、工程实现、上线运行到长期维护的完整生命周期，在快速实验的同时保证系统稳定性、扩展性和可维护性。

具备扎实的软件工程、计算机系统、机器学习、统计学或相关领域基础；

熟练掌握 Python、Go、Node.js 或其他至少一种编程语言，具备良好的工程开发、系统设计和问题排查能力；

熟悉大语言模型及智能体技术，具备以下一个或多个方向的实际经验：大模型评测与 Benchmark、LLM-as-a-Judge 或自动评分器、评测数据集或合成数据构建、工具调用型智能体、多智能体工作流、长上下文或长周期任务、模型效果监控与回归评测；

能够将模糊、开放的模型行为问题拆解成具体、可执行、可复现的评测实验，并根据数据得出结论；

具备分布式系统、API、数据处理流水线或后端平台的设计与开发经验；

熟悉模型评测的基本方法，能够独立设计测试集、评分标准、评测指标和回归验证方案；

重视评测结果的可靠性和可解释性，能够识别数据污染、评分偏差、统计噪声和评测集饱和等问题；

既关注 Benchmark 指标，也关注模型在真实场景中的实用性、可靠性、诚实性和交互体验；

具备较强的自主性，能够在目标或实现路径尚不明确的情况下推进项目落地；

具备良好的分析、沟通和文档表达能力，能够清晰说明评测方法、实验结果和优化建议。 加分项 ● 独立构建过大模型 Benchmark、评测集或自动评分系统；