AI推理平台高级研发工程师(J10820)

基于开源推理平台建设AI推理服务底座，负责推理管控层服务与GPU工作节点集群部署、调优与二次开发；完成模型准备、量化、推理引擎（vLLM/SGLang/TensorRT-LLM）适配部署。

设计跨机、跨节点的分布式 KVCache 共享与迁移方案，实现 KVCache 在GPU HBM /CPU DRAM / NVMe SSD 多级存储间的高效卸载（Offload）与加载，针对长上下文、多轮对话场景优化 KVCache 的存储与传输效率。

设计实现模型分布式部署：张量并行、流水线并行，基于Ray协调跨节点通信；配置 HPA弹性伸缩，实现空闲节点回收。

负责K8S资源编排，GPU资源调度，完成单集群向多集群联邦架构演进；实现推理任务故障迁移，保障集群高可用。

对接上层AI网关，打通端到端完整业务链路；搭建S3兼容模型存储体系；完成硬件、推理引擎全链路可观测、告警体系建设。

推理性能调优：压测批大小、KV Cache 策略，优化显存利用率，评估集群承载能力，控制推理成本。

熟练 Kubernetes、Docker，熟悉GPU调度相关机制；熟练 Python和go。

熟悉大模型推理，了解vLLM/SGLang至少一款推理引擎，理解张量并行、KV Cache、PagedAttention、SSE 流式推理。

有GPU集群 / MaaS模型服务平台建设经验优先；接触过大模型推理管控平台优先。

熟悉 Prometheus/Grafana监控告警；熟悉对象存储 S3/MinIO。

能定位 GPU OOM、推理超时、服务异常等线上问题。 加分 阅读过大模型推理管控平台/vLLM 开源源码；有 KVCache 优化、模型量化实战；有异构GPU纳管经验。