面向前沿大模型的数据压缩技术及微架构设计研究

课题背景： 上下文和模型规模增长，导致推理中的通信和访存需求剧增，成为系统性能瓶颈。数据压缩技术可有效降低权重、KV Cache 等传输数据量，从而减少带宽压力。因此，研究高效的压缩算法及其对应的硬件微架构设计，对提升模型运行效率具有重要意义。 课题挑战： 大模型的权重和 KV Cache 数据分布复杂，为高压缩率算法选型带来挑战。在定制硬件上实现压缩算法面临多方面约束：面积与功耗预算有限，要求算法具备较低的时空复杂度；系统需具备一定的错误检测与恢复能力。同时，大模型负载对吞吐量和实时性要求严格，压缩、解压缩操作须支持高速、流水化或延迟掩盖。因此，算法与硬件微架构设计需在压缩率、硬件开销、性能与可靠性之间取得平衡。 具体工作： 分析大模型可压缩数据范围与特征，构建压缩算法模型，筛选适用算法簇；结合面积、功耗、错误恢复、吞吐和实时性要求，优化选取压缩算法并完成其硬件微架构设计；总结压缩算法建模与微架构优化方法论，输出量化报告以指导实现。

1. 01

   包括但不限于计算机科学与技术、微电子、电子工程、自动化、应用数学等相关专业的博士/硕士同学。在计算机体系结构、高性能计算或AI系统方向有深厚积累者优先。

2. 02

   熟练掌握Linux环境下的C/C++、Python语言；

3. 03

   熟悉前沿大模型及其主流框架；

4. 04

   熟悉数据压缩算法；

5. 05

   熟悉至少一种并行计算架构，熟悉其编程模型，并知晓其优缺点;