2027届-博士-Al Harness 研究员-北京/上海

方向定位 为医疗应用构建模型运行的共性工程框架——agent 编排、工具调用、上下文工程、评测基建——把模型能力转化为可靠的端到端交付。与 FDE 方向的分工:Harness 对共性框架与评测基建负责,以主应用为验证场;FDE 基于框架对各应用的端到端交付负责。 核心工作 • Agent 框架设计与优化:任务规划—执行—反思循环、function calling 与工具协议(如 MCP)、多 agent 编排、失败恢复与幂等性设计;

• 上下文工程与知识接入:面向医学文献与业务知识的检索系统(混合检索、rerank 的 RAG 全链路)、结构化医学知识(术语库/知识图谱)接入、长上下文与记忆管理、prompt 体系的版本化管理;

• 端到端评测 harness:全链路 trace 采集、分环节失败率归因、自动化回归评测、LLM-as-judge 与人工评审的校准;

• 可靠性与工程化:结构化输出约束(JSON Schema / constrained decoding)、guardrails、延迟与成本优化、供 FDE 复用的框架组件沉淀;

• 与后训练方向协同,判定问题应由工程解决还是训练解决,并对边界负责。 绑定与协作模式 • 绑定一个主应用,对该应用的端到端可靠性负责;

• 横向覆盖其他应用的harness需求,优先级与排期由技术线负责人统筹,不由应用方直接指派

• 专业背景。 计算机、软件工程、人工智能等相关专业。

• 扎实的工程能力:Python 为主,熟悉异步编程、服务化(FastAPI 等)与可观测性建设;

• 实际构建过生产级 LLM 应用或 agent 系统,熟悉主流推理服务(vLLM/SGLang)与模型 API 生态;

• 熟悉 RAG 全链路:embedding、向量检索、混合检索、rerank 及其评测方法;

• 具备系统化评测意识:能把“效果不好”拆解为可量化的分环节失败率并驱动迭代。

• 论文优先。 agent/RAG/评测相关论文(ACL/EMNLP/NeurIPS 等)一作者优先;论文可由同等分量的高质量开源项目替代。

• 相关经验优先。 生产级 LLM 应用或 agent 系统建设、RAG 全链路、评测体系建设、后端服务化与可观测性;MCP/工具协议实践、医学知识库或术语体系经验加分