平台研发-大模型路由与评测工程师

岗位介绍： 负责米哈游内部模型和 Agent 的智能路由与评测体系，通过可重复的实验判断不同模型适合处理什么任务，并在效果、成本、延迟和可用性之间形成合理的选择策略。 工作内容:

1. 01

   建设规则路由、Embedding 语义路由和模型驱动路由，根据任务类型和模型能力选择合适的模型。

2. 02

   建设模型能力标签、任务分类、路由策略版本和灰度实验机制，使路由结果可解释、可回滚。

3. 03

   搭建模型及 Agent 评测数据集、评分器和回归测试，覆盖代码、工具使用、长程任务及内部业务场景。

4. 04

   对比固定强模型、固定低成本模型和智能路由在成功率、成本、延迟、Fallback 和错路由方面的表现。

5. 05

   分析异常评测结果，区分模型能力变化、数据问题、评分问题和评测基础设施问题。

6. 06

   将离线评测、线上 Trace、用户反馈和生产指标用于模型选型及路由策略迭代。

1. 01

   2027届本科及以上学历，计算机/电子/通信等相关专业。

2. 02

   熟练使用 Python，具备数据处理、实验设计和工程实现能力。

3. 03

   熟悉大语言模型的使用方式，理解 Prompt、Embedding、工具调用和 Agent 的基本原理。

4. 04

   能够将业务需求转化为可执行的评测任务和清晰的衡量指标。

5. 05

   对实验结果保持严谨，能够处理样本偏差、模型波动和自动评分误差。

6. 01

   使用过 EvalScope、Inspect AI、Langfuse、Promptfoo 或 OpenCompass。

7. 02

   运行过 SWE-bench、Terminal-Bench、τ-bench、GAIA 等模型或 Agent 评测。

8. 03

   有推荐、搜索、分类、在线实验或成本优化经验。