AI评测主任工程师-AI Evaluation Staff Engineer(J21420)

评测体系构建与管理：主导大语言模型、智能Agent的全维度评测体系搭建，对齐半导体业务场景需求，设计、标注并动态迭代多场景评测数据集，覆盖知识问答、逻辑推理、工具调用、行业知识检索等核心能力维度，可量化评估模型与Agent的能力优劣、业务适配性；

RAG评测基准搭建与专项评估：面向半导体领域检索增强生成（RAG）场景，搭建行业化RAG评测基准，设计检索准确率、召回精度、答案相关性、幻觉率、事实一致性等核心评估指标，完成模型版本效果回归、缺陷定位根因分析；

自动化评测流水线搭建与报告输出：设计并维护自动化评测流水线，可独立编写Python评测脚本，执行模型迭代版本的全量回归测试，定期输出结构化评测报告，精准识别模型幻觉、逻辑错误、知识偏差等问题，推动问题闭环；

技术迭代与跨团队协同：跟踪业界主流Benchmark（如MMLU、GSM8K、AgentBench、RAGBench等）演进方向，持续优化评测方案、指标与工具链，协同算法、工程、产品及业务团队，将评测结论高效反馈至模型研发、后训练、微调全流程，驱动模型能力与业务效果的闭环优化。

教育背景与专业知识：本科及以上学历，计算机、AI、NLP、软件工程等相关专业，熟悉大语言模型、RAG、智能Agent的基本原理，具备NLP评测基础认知，可清晰阐述评测集与基准（Benchmark）的构建逻辑，掌握知识工程、向量检索、检索召回、大模型幻觉治理的相关基础原理；

专业技能：可熟练使用Python编写评测脚本，掌握LangChain、LlamaIndex等主流框架，可独立完成RAG全流程评测任务，具备评测数据集标注、样本构建的实践经验；

工作经验：三年及以上AI评测相关工作经验，有完整的RAG项目评测落地经验，可独立完成评测方案设计、实施与分析报告输出，有半导体/工业领域相关评测经验、大模型后训练/微调全流程参与经验者优先；

能力要求：逻辑严谨、工作细致，可从业务场景出发拆解评估维度、设计针对性测试用例，输出可落地的评测分析报告，有Agent评测、工具调用评测、多模态评测经验者优先。