混元-评测与蒸馏的大模型调用保真与规模化调度研究

课题背景： AI Hub 是混元内统一的大模型调用中枢，为模型评测与后训练数据生产等业务提供第三方闭源模型调用能力。上百个闭源大模型需统一以标准协议对外服务，要求参数映射准确、内容序列不被篡改、调用效果与模型方官方接口持平，因此需重点关注调用失真的隐患。 课题挑战： 一是协议转换等价性：上百种模型经转换框架统一为标准协议，参数可能被静默丢弃或错配，流式输出、工具调用、多模态等路径均可能改变内容序列；框架迭代快，跨版本行为存在漂移。需研究差分测试与属性测试方法，建立框架升级准入机制。 二是 Agent 链路端到端保真：脚手架自行拼装消息、定义工具、管理上下文，隐式契约在单请求测试中不可见——协议正确不等于多轮链路正确，长上下文等问题只有真实链路才会暴露。需深入业务脚手架跑通全流程，并研究会话级的差分验证方法。 三是渠道差异与一致性：同一模型接入多条渠道，模型版本与参数支持存在差异甚至换版，需用同一批题目比对各渠道与官方接口的差异；一批评测若中途跨渠道则分数不可比，需保证同批任务绑定同一渠道，并记录每次调用实际走的渠道以便排查。 具体工作： 参与大模型调用保真体系建设，可选择一个或多个方向深入：协议转换的自动对比与升级准入、Agent 链路的端到端验证、多渠道效果比对与批次绑定，保障调用效果与模型方官方接口持平。

学历和专业要求 来自计算机科学、软件工程、人工智能、分布式系统等相关专业的博士/硕士同学，有大语言模型推理服务、模型评测或后训练数据生产相关研究/项目经历者优先。 技术技能要求 掌握大模型推理与调用基础原理，熟悉模型参数语义与标准调用协议；熟悉高并发与分布式任务调度、频控限流与账号调度；精通 Python/Go，熟悉主流 Agent 脚手架或评测训练框架，有开源框架二次开发经验优先。 软性素质要求 对模型参数与调用行为高度敏感，能从异常输出反推协议或封装缺陷；愿意深入业务一线自建脚手架跑通全流程，独立负责一块事务并主动推进落地，沟通协作顺畅。