【Ace顶尖实习生】向量检索在大模型场景的应用和KVCache优化研究

【Ace顶尖实习生】向量检索在大模型场景的应用和KVCache优化研究 引擎 上海市，杭州市，北京市 Ace 顶尖实习生计划 本课题研究如何优化向量检索技术以增强AR模型和扩散语言模型（Diffusion LLM）的推理能力。主要方向包括：

1. 01

   充分利用高性能网络和分布式存储设施，实现千亿级多模态数据的高效检索，结合PD分离、块扩散、并行解码、分层缓存等技术探索检索结果与大模型上下文的最优融合方法；

2. 02

   研究基于向量检索优化大模型推理过程中的KV Cache机制，并打造业界领先的工业级大规模分布式多级KVCache推理架构，为实现小红书AI业务场景下的大规模、低成本、高性能推理提供关键技术支持。