大模型推理系统研发实习生

职位描述 我们正在构建面向前沿大模型的高性能推理引擎，围绕 GPU 与异构加速器上的计算、通信、存储和调度，优化真实业务中的吞吐、首 Token 延迟、逐 Token 延迟与服务成本。 实习期间，你将结合兴趣与技术积累，深入参与以下一个或多个核心方向： 投机解码与算法–系统协同优化：研究与实现 MTP、EAGLE 等投机解码方案，优化草稿生成、并行验证与执行调度；分析接受率、额外计算开销和实际加速收益，解决不同请求长度与并发负载下的性能问题。 分布式 KV Cache 与多级存储：参与 GPU 显存、主机内存及 SSD 上的多级 KV Cache 系统设计，优化缓存复用、淘汰、预取与跨节点传输；结合 RDMA、异步 I/O 等技术，降低长上下文和多轮对话场景的重复计算与数据搬运开销。 分布式推理架构与调度：参与 Prefill/Decode 分离、张量并行、专家并行及多副本调度优化，研究缓存感知路由、负载均衡与计算通信重叠，解决排队、通信和跨节点 KV 传输瓶颈。 GPU 算子与执行优化：围绕 Attention、MoE、低精度计算等关键路径，开展 CUDA / Triton kernel、算子融合、CUDA Graph 和访存优化，提升不同模型结构与负载下的执行效率。 性能分析与工程落地：深入 vLLM、SGLang 等推理框架源码，建立可复现的性能评测与正确性验证，将优化落实到真实请求的延迟、吞吐和资源成本，并参与开源贡献。

职位要求 计算机、软件工程、人工智能、电子工程、数学等相关专业在校学生，每周可到岗 4 天及以上，实习时长不少于 4 个月。 熟练掌握 C++ 或 Python 中至少一门，具备扎实的操作系统、计算机体系结构、数据结构与算法基础。 理解 Transformer 的主要计算过程，以及 LLM 推理 Prefill / Decode 两阶段的计算、访存与 KV Cache 特性；使用过 vLLM、SGLang、TensorRT-LLM 中至少一个推理框架。 在以下至少一个方向有深入学习或实践：投机解码、分布式 KV Cache / 存储、分布式推理与调度、GPU 算子优化、高性能通信。能够结合源码、实验或项目，讲清楚核心机制、性能瓶颈与设计取舍。 具备独立定位问题和验证假设的能力，能够通过日志、Profiler 或对照实验分析性能问题，并清晰说明优化结果及其适用条件。 加分项 实现或优化过 MTP、EAGLE 等投机解码方案，分析过接受率、验证开销与端到端加速之间的关系。 参与过 KV Cache 管理、前缀缓存、多级缓存或分布式存储项目，理解缓存命中、数据传输与计算节省之间的权衡。 写过 CUDA / Triton kernel，熟悉 tiling、warp-level primitive、异步 copy 等优化手段，能使用 Nsight 定位计算、访存或执行调度瓶颈。 了解 NCCL / HCCL 通信机制，或有 RDMA、libibverbs、GPUDirect RDMA 等开发经验。 深入阅读或修改过 vLLM、SGLang、TensorRT-LLM、FlashAttention、Mooncake、CUTLASS、Triton 等项目，或提交过有实质内容的 PR / Issue。 有能够体现技术深度的项目、论文、技术博客或性能分析工具；能够提供可复现的实验与结果。 能连续实习 6 个月以上。 简历建议 请重点展开你最深入的一项相关工作：解决了什么问题、你具体实现了什么、如何定位瓶颈，以及在什么模型、硬件和负载下取得了什么结果。课程项目、个人实验和开源贡献均可，不要求覆盖所有技术方向。