AI推理平台工程师

负责 AI 模型推理服务的工程化部署和生产环境稳定性保障，覆盖 LLM、CV、语音、多模态等模型服务。

负责推理平台能力建设，包括模型发布、服务编排、灰度发布、回滚、弹性扩缩容、流量治理、实例管理和资源隔离。

基于 Docker、Kubernetes、Triton、vLLM、SGLang 等技术栈，推动模型服务标准化、自动化和平台化。

建设推理服务监控、日志、告警、压测和性能回归体系，保障线上服务 SLA 和性能稳定性。

负责推理服务线上问题排查与稳定性治理，包括资源异常、服务超时、性能抖动、显存不足、实例异常等问题定位。

与算法、SRE、基础设施和业务团队协作，支持模型从实验环境到生产环境的落地。

有 2 年以上后端开发、平台工程、AI 基础设施、MLOps 或推理服务部署经验。

熟悉 Linux、Docker、Kubernetes、网络、负载均衡、服务发现等基础设施能力。

熟悉至少一种推理服务框架或部署方式，如 Triton、vLLM、SGLang、TensorRT-LLM、FastAPI/gRPC 推理服务等。

熟悉 GPU 服务器和容器化运行环境，了解 NVIDIA Driver、CUDA、Container Runtime、NCCL、显存管理和 GPU 监控。

具备服务稳定性建设经验，熟悉监控告警、日志分析、压测、容量评估、灰度发布、故障应急和复盘机制。

熟练掌握 Go/Python/Shell 至少一种语言，能够开发平台模块、自动化工具或运维脚本。

具备较强的问题定位和跨团队协作能力，能支持算法模型从实验环境到生产环境的稳定落地。

有 AI 推理平台、模型服务平台、MLOps 平台或在线推理系统建设经验。

熟悉 Prometheus、Grafana、Loki、ELK、OpenTelemetry 等可观测体系建设。

有 Kubernetes GPU 调度、NVIDIA Device Plugin、MIG/MPS、RDMA/RoCE/NCCL 相关经验。

有多模型混部、弹性扩缩容、流量调度、资源利用率优化或成本治理经验。

有公有云或私有云 GPU/NPU 资源池运维经验。