云梦研发支持中心-AI Agent 评测工程师

**1. 评测体系设计与落地** 参与面向数分 Agent 的分层评测框架设计，覆盖指令理解、规划合理性、工具 / 取数调用、结果准确性、语义一致性、可视化质量等多个维度；开发自动化评测脚本与工具链，沉淀可复用的评测框架与高质量基线数据集，为产品迭代提供可量化的效果依据。 **2. Benchmark 与用例库建设** 构建覆盖数分场景的 Benchmark 任务集（基础查询、多步分析、模糊指令澄清、异常鲁棒性等类别），建立人工评审机制，并探索 LLM-as-Judge 自动化评测（设计评测 Prompt 与 few-shot 样本）。 **3. 实验与归因分析** 基于 Agent 执行日志与 trace 数据做行为分析，定位失败原因与系统瓶颈；独立设计 A/B 实验与对照实验，评估不同方案（模型、Prompt、工具链）对 Agent 能力的影响，输出版本对比报告与因果归因分析。 **4. 跨团队协同与结果驱动** 与算法、产品、研发深度协作，把评测结论转化为可执行的优化建议，真正驱动产品迭代与体验提升，而非止步于数据报告。 ---

## 任职要求 - 计算机 / AI / 机器学习 / 统计相关背景，1–3 年 AI 评测、算法测试或数据分析相关经验 - 熟练掌握 Python，具备评测脚本开发与数据处理能力，有良好的代码规范意识与工程习惯 - 熟悉 SQL，能独立完成数据提取与指标计算，具备判断分析结果正确性的基本能力 - 理解 LLM / Agent 的基本工作机制，了解 LLM-as-Judge 的能力与局限 - 较强的数据思维，能用统计方法量化效果"好坏"，而非凭感觉下结论 - 对 AI Agent "如何变强"充满好奇，喜欢通过实验和数据寻找答案，能从复杂系统中定位问题并提出改进方案 --- ## 加分项 **评测方向** - 有 LLM 应用或 Agent 评测的实战经验，或参与过 AI benchmark / 评测体系建设 - 熟悉主流评测框架与工具（如 OpenCompass、HELM、RAGAS 等），理解其适用场景与局限 - 熟悉 Agent 技术栈（LangGraph / LangChain、ReAct，及 Tool / Memor