混元-LLM压缩算法(量化、投机采样、稀疏化)研究

课题背景 设计和实现通用的LLM压缩算法，包括量化、投机解码、Sparse-Attn/KV-Cache压缩算法，通过算法创新和算法优化保持模型效果无损，并配合推理框架团队完成加速部署落地，持续降低大模型落地部署的成本。 课题挑战

1. 01

   探索LLM更低bit的压缩算法且保持精度，并推进推理框架适配落地；

2. 02

   在LLM更大batch-size下的并行解码如果能获取到收益，需要更高的算法接受率并兼顾高效的并行解码kernel实现。

3. 03

   LLM模型Prefill/Decoding阶段的稀疏注意力、KV-Cache压缩，为长文加速提供有效手段 具体工作 通过LLM的量化、投机解码、稀疏注意力等，可以在保证模型效果的同时，大幅度降低模型的推理成本，降低首字耗时，提升解码速率，最终在节省成本的同时也能提升用户体验。

1. 01

   包含但不限于计算机、信息工程、模式识别、人工智能、自动化、软件工程、电子工程等相关专业的博士和优秀硕士；

2. 02

   有至少其中一项技能/知识：熟悉一种推理框架、GP、编程、高性能网络/分布式并行、编译器优化、大规模数据处理；

3. 03

   在AI Infra、推理优化、LLM Serving等领域进行过深入调研和探索或者在CPU/GPU体系架构，高性能计算/CUDA，分布式推理系统相关领域经验者优先；

4. 04

   有好奇心，自驱力强，有较好的学习能力和沟通能力，编程能力强；

5. 05

   良好的沟通协作能力，能和团队一起探索新技术，推、技术进步。