基础研究-AI 推理优化工程师

1. 01

   负责 LLM、CV、语音、多模态等模型在不同 GPU/NPU 硬件上的推理性能测试、调优和适配。

2. 02

   负责 NVIDIA、AMD、国产卡等多硬件平台的 Benchmark 测试，输出模型、硬件、推理引擎维度的性能对比和选型建议。

3. 03

   基于 TensorRT、vLLM、Triton、SGLang、TensorRT-LLM 等推理引擎，开展吞吐、时延、显存、Batch、KV Cache、并行策略等优化。

4. 04

   基于 FLOPs、显存、带宽、Batch Size、Sequence Length、计算/访存比等指标进行性能建模，定位推理瓶颈并输出优化方案。

5. 05

   与算法团队协作，理解模型结构、算子特性和精度约束，推动模型在目标硬件上的最优部署形态落地。

1.2027届本科及以上，有推理部署或 AI 性能优化经验；

2. 02

   熟悉至少 2 种推理引擎或框架，如 TensorRT、vLLM、Triton、SGLang、TensorRT-LLM、ONNX Runtime 等。

3. 03

   熟悉 NVIDIA GPU 生态，包括 CUDA、cuDNN、TensorRT、NCCL，了解 A100、H100、B200 等架构差异。

4. 04

   了解 AMD ROCm 或国产 NPU/GPU 生态，如昇腾、寒武纪、燧原、摩尔线程等，有实际适配经验优先。

5. 05

   熟悉大模型、扩散模型、多模态模型的推理链路，有模型部署、量化、并行推理或性能调优经验。

6. 06

   熟练使用 nsight、nvprof、perf、bpf 等性能分析工具，能够定位计算、显存、带宽、通信等性能瓶颈。

7. 07

   具备良好的数据分析和文档输出能力，能沉淀 Benchmark 报告、性能分析报告和硬件选型建议。

8. 01

   有 CUDA Kernel、TensorRT Plugin、算子融合、量化部署、模型并行等实战经验。

9. 02

   熟悉 PagedAttention、Continuous Batching、Speculative Decoding、KV Cache 优化等技术。

10. 03

    有国产 GPU/NPU 选型、测试、适配或生产落地经验。

11. 04

    有推理框架二次开发、开源社区贡献或性能优化技术分享经验。