推理服务研发工程师（后端/开源引擎方向）

1. 01

   开源推理引擎二次开发与优化：深入研究主流开源推理引擎（vLLM、SGLang、TensorRT-LLM、Dynamo等），根据业务需求进行源码级二次开发、功能拓展、性能优化，修复引擎内核问题，适配公司自研模型与业务场景。

2. 02

   推理服务后端架构研发：负责AI推理服务的后端架构设计与开发，实现模型加载、请求调度、批处理推理、动态路由、流量管控、超时重试等核心能力，搭建标准化、可复用的推理服务底座。

3. 03

   推理性能专项优化：针对大模型推理的吞吐、延时、显存占用、推理速度等核心指标分析推理链路瓶颈（Gateway/Scheduler/Runtime/GPU）进行专项优化，结合业务场景优化KV缓存、动态批处理、模型量化、推理并行策略，提升单机及集群推理并发能力，降低推理部署成本。

4. 04

   云原生推理服务化落地：将优化后的推理引擎封装为标准化云原生服务，对接K8s集群，实现推理服务的容器化部署、弹性扩缩容、灰度发布、资源管控，保障线上服务高可用。

5. 05

   推理服务监控与问题迭代：基于可观测体系（Metrics/Profiling/Tracing）搭建推理服务全链路监控体系，跟踪线上推理异常、性能瓶颈、报错问题，持续迭代优化引擎与服务架构，提升推理服务稳定性与用户体验。

6. 06

   技术调研与方案落地：持续跟进业界开源推理技术、大模型部署新技术、新方案，开展技术调研与POC验证，输出适配业务的推理部署最优方案，推动团队技术架构升级。

核心能力

1. 01

   本科及以上学历，计算机、软件工程、人工智能等相关专业，1-3年及以上AI推理后端、引擎开发、模型部署相关工作经验。

2. 02

   扎实的后端开发功底，熟练掌握Go/C++/Python任意一种主力开发语言，熟悉网络编程、高并发服务开发、微服务架构，具备扎实的数据结构与算法基础。

3. 03

   熟悉至少 1–2 种主流大模型推理引擎或框架，如 vLLM、SGLang、TensorRT-LLM、Dynamo 等，具备源码阅读、二次开发或性能调优经验；

4. 04

   熟悉大模型推理、量化、批处理、KV缓存、调度策略优化、PD分离、张量并行、流水线并行等核心技术，了解LLM线上部署的业务痛点与优化方向。

5. 05

   熟悉Docker、Kubernetes等云原生技术原理和使用，了解推理服务容器化部署、资源调度、弹性扩容基本流程，能够独立完成服务上线与运维适配。

6. 06

   具备独立技术调研、方案设计和问题攻坚能力，逻辑清晰，善于拆解复杂问题，有良好的团队协作和沟通能力。 加分项

7. 01

   有大模型推理引擎深度优化、开源项目贡献经验；

8. 02

   熟悉 Prometheus/Grafana/eBPF 等可观测体系；

9. 03

   深入理解 KV Cache、PagedAttention、Speculative Decoding 机制，具备大规模KVCache集群管理和维护经验，熟悉缓存压缩、调度等优化策略；

10. 04

    有InfiniBand、RDMA等高速网络技术在推理场景中的应用经验。

11. 05

    有百卡级以上GPU集群的大规模分布式推理服务开发或运维经验。