大模型推理性能优化实习生

我们正在寻找算法基础扎实、对系统性能有兴趣的同学，参与大模型推理在 TPU、NPU、PPU 及其他 AI 加速器上的性能优化。

你将围绕推理延迟、吞吐和资源利用率，从具体计算任务入手，逐步参与算子实现、计算融合、数据搬运、通信与计算重叠，以及执行调度等工作。

工作内容

1、分析大模型推理中的计算、访存、通信和同步开销，定位影响整体性能的瓶颈。

2、优化核心算子及融合计算，探索数据布局、分块、数据复用和 mega kernel 等实现方式。

3、优化数据搬运与通信，通过预取、缓冲、流水线和通信计算重叠，减少等待。

4、结合不同请求规模、上下文长度及 prefill／decode 阶段的特点，探索执行调度、批处理和多设备并行策略。

5、建立正确性与性能测试，通过对照实验验证优化效果，评估局部改动对端到端推理性能的影响。

6、学习并使用 CUDA、Triton、JAX／Pallas 等工具，参与TPU、NPU、PPU及其他加速器上的推理优化。

1、本科、硕士或博士在校生，具备扎实的数据结构与算法基础。

2、熟悉 C／C++，能够独立完成算法实现、调试和边界处理；能够使用 Python 开展实验更佳。

3、能够阅读技术材料，理解陌生算法或机制，并将其转化为正确、可运行的代码。

4、具备定量分析意识，愿意从数据量、计算量、带宽、延迟和依赖关系出发分析性能。

5、能够提出假设、设计实验，并根据结果修正判断。

6、对计算机体系结构、并行计算、编译器或系统优化有兴趣。