大模型推理加速算法工程师

让每一次 AI 推理，都跑得更快。 岗位介绍 大模型越来越大，但用户不会因为模型变大而愿意等待更久。你的任务，就是让大模型跑得更快。 你将参与视觉大模型、视频生成大模型、多模态大模型的推理优化，研究 Attention / Transformer 推理优化、KV Cache、Flash Attention、量化、CUDA Kernel、多 GPU 并行以及 Diffusion / Video Generation 推理加速。 你将负责

1. 01

   研究大模型及视频生成模型的推理性能瓶颈；

2. 02

   分析 GPU Kernel、显存、计算和通信开销；

3. 03

   进行 CUDA Kernel、算子及模型结构优化；

4. 04

   探索 FP16 / BF16 / FP8 / INT8 等低精度推理方案；

5. 05

   研究模型量化、缓存、并行计算等技术；

6. 06

   优化多 GPU / 多节点推理架构并建立性能 Benchmark。

我们希望你

1. 01

   计算机、人工智能、软件工程、电子信息、自动化、数学等相关专业；

2. 02

   具备扎实的数据结构、算法和计算机体系结构基础；

3. 03

   熟悉 Python / C++，了解 PyTorch 等深度学习框架；

4. 04

   对 GPU、CUDA、并行计算有兴趣。 加分项

5. 01

   使用过 CUDA / Triton / TensorRT；

6. 02

   了解 FlashAttention、Paged Attention、KV Cache；

7. 03

   了解 vLLM / SGLang / DeepSpeed 等；

8. 04

   有模型量化、推理优化、算子优化、GPU 编程或并行计算项目经验；

9. 05

   对 NVIDIA GPU 架构有研究。