大模型推理平台工程师(资源调度方向)

负责大模型推理平台的设计与建设，支撑多模型、多租户、多业务场景下的推理服务部署、资源调度、弹性伸缩、灰度发布、故障自愈和稳定性治理。

负责推理工作负载的平台化抽象与工程落地，建设面向分布式推理、多副本推理和多角色协同服务的生命周期管理能力，提升推理服务的部署效率、运维效率和稳定性。

负责异构算力资源管理、多集群调度和服务性能优化能力建设，持续提升大规模推理场景下的资源利用率、模型加载效率、服务启动速度、可观测能力和整体交付效率。

本科及以上学历，计算机、软件工程、人工智能、分布式系统、云计算等相关专业优先。

熟练掌握 Go / Python / Rust 中至少一种语言，具备良好的工程实现、系统设计和问题排查能力。

熟悉 Kubernetes / Docker / Helm 等云原生技术，理解 Deployment、StatefulSet、Service、Ingress、HPA、CRD、Operator 等核心机制。

具备 Kubernetes Operator / Controller 开发经验，熟悉 controller-runtime、client-go、Informer、Reconcile 等机制。

熟悉 Kubernetes 调度体系，理解亲和性、污点容忍、拓扑分布、优先级、抢占、资源配额等机制。

熟悉 LWS / RBG 等面向大模型推理的多 Pod 协同工作负载项目，理解 Leader / Worker 架构、Group 化管理、滚动升级、故障恢复和弹性扩缩容等机制。

熟悉大模型推理服务的核心特性，包括 KV Cache、PagedAttention、Continuous Batching、Prefix Cache、Speculative Decoding、Chunked Prefill、PD 分离、TP / PP / EP 等。

熟悉至少一种主流推理引擎，如 vLLM、SGLang、TensorRT-LLM、TGI、LMDeploy 等，了解其部署方式、关键参数、资源需求和性能瓶颈。

具备大规模模型服务部署和调度经验，理解多模型、多副本、多租户、高并发场景下的容量评估、资源隔离、弹性伸缩和稳定性治理。

熟悉 GPU / NPU 等异构硬件资源管理，了解 NVIDIA GPU、MIG、NVLink、RDMA、RoCE、拓扑亲和性、显存管理等机制。

熟悉 Prometheus / Grafana / OpenTelemetry / Loki / ELK 等可观测体系，能够定位推理服务性能和稳定性问题。

具备良好的系统抽象能力、问题分析能力和跨团队沟通能力，能够与算法、模型、业务、SRE、基础设施团队协作推进平台能力落地。

有大规模 LLM 推理平台、MaaS 平台、模型服务平台或 AI Infra 平台建设经验。

有基于 LWS / RBG 部署大模型推理服务、分布式推理服务、PD 分离服务或多副本推理服务的实际经验。

熟悉 llm-d、AIBrix、Ray Serve、KServe、Knative、Volcano、Kueue 等 AI / 云原生调度与服务化项目。

熟悉 Fluid、Alluxio、JuiceFS、Nydus、Dragonfly 等模型缓存、模型分发、镜像加速或冷启动优化方案。

熟悉 KEDA、Karmada、HPA、VPA、Cluster Autoscaler、Karpenter 等弹性伸缩和多集群调度组件，并有生产落地经验。

有跨集群、跨地域、异构算力池统一调度经验，能够处理不同 GPU 型号、显存规格、网络拓扑、驱动版本、CUDA 版本带来的复杂度。

有长上下文推理、高并发推理、多模型混部、热点模型治理、Prefix Cache 感知路由、PD 分离部署等实际优化经验。

熟悉 vLLM / SGLang / TensorRT-LLM 等推理引擎源码或核心调度机制，有参数调优、性能分析或二次开发经验。

有 GPU 集群成本优化经验，包括资源利用率提升、碎片治理、混部调度、弹性缩容和闲时资源利用等。