私有化大模型推理工程师

负责大模型在 GPU 服务器及小规模 Kubernetes 集群中的部署、运行维护和性能调优。

使用 vLLM、SGLang、TensorRT-LLM 等推理框架部署模型服务，完成模型加载、显存规划、KV Cache、并发、Batch 等参数配置与优化。

根据模型规模、上下文长度、并发量和 GPU 资源，进行单机多卡或小集群的容量规划和性能压测，关注 TTFT、生成速度、吞吐量等指标。

参与 Kubernetes 上的模型服务部署，包括 GPU 资源配置、服务暴露、存储、监控告警和故障恢复。

定位模型 OOM、加载失败、GPU 利用率低、性能下降、Pod 异常、驱动及网络等常见问题。

参与企业私有化及离线环境交付，完善安装脚本、环境检测、部署文档和故障排查工具。

根据项目需要参与国产 AI 加速卡及多节点推理相关适配工作。

计算机或相关专业本科及以上学历，2 年及以上后端、云原生、AI 工程化或相关经验。

熟悉 Python 或 Golang，具备自动化工具或服务开发能力。

熟悉 Linux、Docker、Kubernetes，具备实际部署和问题排查经验。

使用过 vLLM、SGLang、TensorRT-LLM 或其他大模型推理框架。 5理解大模型推理中的显存占用、KV Cache、Batch、并发、上下文长度、TTFT、吞吐等基本概念。

有 NVIDIA GPU 使用或部署经验，能够根据 GPU 资源对模型服务进行基本调优。

具备较强的问题分析和解决能力，能够将常见问题沉淀为脚本、规则或文档。 优先条件

有单机多卡或小规模 GPU 集群推理调优经验。

有 KServe、GPU Operator、DCGM、Prometheus/Grafana 等使用经验。

了解 TP、DP、NCCL、多节点推理等相关技术。

有模型量化、AWQ、GPTQ、FP8 等经验。

有私有化、离线环境或企业项目交付经验。

有昇腾、昆仑芯、寒武纪、海光等国产 AI 加速卡经验优先。