AI 推理系统工程师

负责 AI 模型在多硬件平台的生产级推理部署、性能调优与稳定性保障，与算法团队紧密协作，输出最优部署方案。 核心职责：

1. 01

   模型部署：负责 LLM、CV、语音等多类模型的推理服务化部署，覆盖 NVIDIA（CUDA / TensorRT）、AMD（ROCm） 及国产卡（昇腾 CANN、寒武纪、燧原、摩尔线程等） 硬件平台。

2. 02

   推理引擎选型与调优：能基于业务场景（吞吐 / 时延 / 成本）对比 TensorRT、vLLM、Triton、SGlang 等引擎，输出选型与调优方案。

3. 03

   性能建模与分析：基于 Roofline 模型、计算 / 访存比、并行策略、KV Cache、Continuous Batching 等进行量化分析，定位瓶颈并给出优化建议。

4. 04

   Benchmark 体系：搭建离线 / 在线压测与回归测试框架，输出量化评估报告。

5. 05

   线上稳定性：推理服务监控、告警、异常排查与性能回归治理。

6. 06

   跨团队协作：对接算法团队，理解模型结构、算子特性与精度约束，将工程约束前置反馈到模型设计与训练环节。

1. 01

   有2年以上推理部署或 AI 性能优化经验。

2. 02

   熟悉至少 2 种主流推理引擎（TensorRT / vLLM / Triton / SGlang 等）的原理与调优手段。

3. 03

   熟悉 NVIDIA GPU 生态（CUDA、cuDNN、TensorRT、NCCL），了解其架构演进（A100 → H100 → B200 等）。

4. 04

   了解 AMD ROCm 或国产 NPU 至少其一的演进路径、算子支持与生态现状。

5. 05

   有开源大模型（LLM / 扩散模型 / 多模态） 部署优化实战经验。

6. 06

   扎实的性能建模能力：能基于 FLOPs、带宽、显存、Batch Size、Sequence Length 等参数进行数学推导与方案设计。

7. 07

   熟练使用 Linux、容器化（Docker / K8s）、网络、性能分析工具（nsight、nvprof、perf、bpf 等）。

8. 01

   有推理框架二次开发或开源社区贡献（PR、Issue、博客）。

9. 02

   熟悉量化（INT8 / FP8 / INT4 / GPTQ / AWQ）、剪枝、Speculative Decoding、PagedAttention 等优化技术。

10. 03

    熟悉模型并行（TP / PP / EP / SP）策略与分布式推理。

11. 04

    有训练-推理全链路经验（Megatron、DeepSpeed 等）。

12. 05

    良好的文档输出与跨团队沟通能力。