大模型推理平台研发工程师

岗位职责

1. 01

   负责大模型推理平台的开发、维护与性能优化，保障服务高可用性和高性能运行

2. 02

   对大模型 KVCache 集群进行开发、维护与性能调优，解决大规模并发推理内存瓶颈

3. 03

   管理推理服务的计算资源、流量及任务调度，优化集群资源利用率，降低推理成本

4. 04

   建立推理服务监控告警体系，及时发现和解决性能异常和系统故障

5. 05

   参与推理服务架构设计，支持多模态模型和不同规模模型的推理需求

岗位要求

1. 01

   计算机相关专业，本科及以上学历，3-5 年分布式系统或AI推理相关工作经验

2. 02

   具备丰富的推理服务性能优化经验：KVCache 管理、调度策略优化、PD 分离、模型量化、模型并行等

3. 03

   熟练使用 Kubernetes 进行容器化部署，了解 Volcano等GPU资源调度系统

4. 04

   掌握 Go/Python 等编程语言，具备良好的代码规范和系统设计能力

5. 05

   具备推理链路端到端性能分析与故障排查能力，能够在高并发、大规模场景下保障服务稳定运行

6. 06

   熟悉至少一种大模型推理主流框架（vLLM、SGLang、TensorRT-LLM、Dynamo等）

7. 07

   良好的团队协作能力和独立解决复杂问题的能力，能承受一定工作压力

加分项

1. 01

   具备大规模 KVCache 集群管理和维护经验，熟悉缓存压缩、调度等优化策略

2. 02

   有千卡级以上GPU集群的大规模分布式推理服务开发或运维经验

3. 03

   熟悉 NVIDIA H100/A100 等高端GPU特性，有GPU集群管理及推理加速实战经验

4. 04

   了解 InfiniBand、RDMA 等高速网络技术在推理场景中的应用

5. 05

   熟悉多云GPU实例管理（AWS、Azure、阿里云等）和混合云部署方案