高性能分布式kvcache加速系统研究

课题背景： 随着大模型推理、推荐系统等AI密集型应用的蓬勃发展，对大规模KVCache的需求呈爆发式增长。当前业界大模型普遍向超长上下文、高并发多轮对话服务演进，单节点本地 KVCache 面临不少挑战，无法支撑跨实例缓存复用、弹性扩缩容需求，同时传统存储系统无法适配大模型 KVCache 流式读写、极低时延、高吞吐的特性，导致长上下文推理性能骤降，所以需要研发面向大模型场景的高性能分布式 KVCache加速系统。 课题挑战： 一是极致时延：KV Cache 读写性能会影响推理首包时延与生成流畅度，分布式架构引入的网络传输开销极易抵消缓存收益，需要实现亚微秒级读写响应，同时支撑超高并发QPS。 二是超长上下文下的异构存储分层：超长上下文场景KVCache数据量呈指数级增长，需在显存、内存、远端存储间实现冷热数据识别与无损调度，避免推理流程卡顿。 三是多租户复用与数据一致性：跨实例缓存复用需解决多请求并发读写的强一致性问题，同时保障租户资源隔离与服务可用性。 四是轻量化适配：需兼容主流大模型架构与推理框架，实现极低侵入性接入、弹性部署以及升级。 具体工作： 加入课题后，将参与分布式 KVCache加速系统的架构设计与核心模块开发，完成低时延读写引擎、冷热数据分层、多租户隔离等功能的研发优化，适配主流大模型推理框架，探索高性能硬件在KVCache场景的可行性，提升系统在推理场景的加速效果。

1. 01

   包含但不限于计算机、软件工程、电子工程、高性能计算、人工智能等相关专业的博士和优秀硕士，具备扎实的计算机系统结构、分布式系统、存储、网络等核心领域理论功底；

2. 02

   具备优秀的系统级编程与工程实现能力，熟练掌握C/C++/Python等编程语言，有大规模分布式系统或底层系统软件的研发经验；

3. 03

   以第一作者身份在OSDI/SOSP/NSDI/USENIXATC/EuroSys/MLSys/ISCA/MICRO等系统、体系结构、AI系统领域国际顶级会议发表过学术论文的优先；

4. 04

   有大模型推理系统、KVCache底层优化、分布式存储引擎、RDMA高速网络编程、异构存储系统相关的深度研究或核心研发经验的优先；

5. 05

   具有优秀的学习能力、分析和解决问题能力、沟通能力、团队合作意识，具有强烈的责任心与主动性。 此课题同时招聘应届实习生和低年级实习生。