AI评测资深专家

构建智能体评测体系与落地

构建覆盖“感知-分析-决策-执行”全链路的智能体评测体系，设计并实现包括准确性、安全性、幻觉率、指令遵循能力在内的多维评估框架；

推动建立公司级智能体准入机制，确保各类Agent在上线前通过标准化测试验证；

负责交付面向无线通信领域的AI评测智能体，并确保产品竞争力业内领先；

实施智能体闭环测试与多智能体协同验证

搭建仿真测试环境（含数字孪生网络），开展端到端闭环任务测试，评估智能体在真实或模拟场景下的任务完成率、响应时延与异常恢复能力；

验证多智能体间的通信效率、角色分工清晰度与协同流程稳定性，识别并防范幻觉传播、流程断点等问题；

支持“人机协同”模式下的自然语言交互测试，确保智能体能准确理解运维意图并合理调用工具。

建设AI驱动的自主测试能力

推动AI自动生成测试用例、自动执行回归测试、智能缺陷识别与根因定位，实现测试流程的“自测试、自优化”；

构建模型漂移检测机制，定期对智能体输出质量进行监控与预警，保障其长期运行可靠性；

训练优化测试大模型，推进知识回收机制，将测试过程中发现的新场景、新问题沉淀至RAG知识库，支撑智能体持续学习与进化。

推动质量管理体系落地与改进，促进质量文化建设与经验共享

协助部门负责人及质量总监开展质量管理，履行质量否决权，组织质量风险识别、跟踪与闭环；

负责本部门质量KPI达成与绩效提升，推动质量管理要求（如质量红线、白皮书）在团队内部落地执行；

总结智能体评测与AI测试最佳实践，形成可复用的方法论与案例库；

前沿技术探索与落地

跟踪前沿技术，规划技术路线图，确保产品技术竞争力处于行业第一梯队。

转化关键技术为核心专利（5G-A、6G、AI/ML）、构建通信领域Agent及AI/ML技术壁垒，打造行业技术影响力。

领导跨部门技术攻关小组及方案推进，指导团队完成关键技术突破，建立人才培养梯队

教育背景与经验： 计算机、通信、人工智能等相关专业硕士及以上学历，8年以上大型系统架构或测试经验； 熟悉智能体评测，AI驱动测试，有实际落地经验者优先。

技术能力： 熟悉AI大模型原理、RAG架构、Agent行为机制；掌握AIOps、DevOps测试流程； 精通评测方法论： 熟悉业界主流评测集（如MMLU, C-Eval）及自动化评测框架（如 Ragas, TruLens, Arize Phoenix），能设计多维度评测指标（准确率、时延、安全性等） 数据敏感度： 能够设计高质量的测试数据集（Golden Datasets），并运用统计学方法分析评测结果，产出有指导意义的优化报告，具备数据建模与统计分析能力；

行业知识与解决问题能力： 具备端到端系统视角，能识别智能体在复杂环境中的潜在风险与失效模式； 了解6G-AIOps与自智网络发展趋势，理解ToB业务痛点，能将技术架构与业务交付紧密结合。 熟悉智能体生命周期管理方法论，包括版本控制、监控告警、安全审计与持续迭代机制。

软技能与团队合作： 良好的沟通与协作能力，能够跨团队协作并推动项目进展； 强烈的责任心和自驱力，具备在压力下完成高质量工作的能力。

加分项： 具备跨团队协作能力，能与数据科学家、网络工程师、产品团队高效协同； 对具身智能、自主AI程序员（如Devin）等新兴方向有深入思考，能推动智能体向真实环境执行任务演进； 在相关领域有论文发表、专利成果或开源项目经验者优先