AI Infra 工程师

1. 负责 LLM 推理服务的架构设计、部署与持续优化，支持 TP、PP、DP、EP 等方案，并优化计算、内存与通信效率
2. 建立性能分析与调优体系，围绕首 Token 时延、单 Token 时延、吞吐、并发、内存占用和单位推理成本开展基准测试与瓶颈定位
3. 建设部署、调度及全链路性能诊断工具，推进 PD 分离、推测解码、KV Cache 优化、低比特量化等技术落地
4. 与算法业务团队协作，完成模型适配、精度与调度性能验证，部署方案选型及问题闭环，推动通用能力沉淀为平台和工具

1. 计算机、电子、自动化或相关专业本科及以上学历，3–7 年基础设施、分布式系统或 AI 系统相关经验
2. 熟悉至少一种主流 LLM 推理框架或服务方案，如 vLLM、SGLang、TensorRT-LLM 或同类系统，并具有实际部署和调优经验
3. 理解 MoE 模型推理过程，熟悉 Attention、KV Cache、Batching、量化等关键机制，能够分析模型、框架与硬件之间的性能瓶颈
4. 熟悉分布式并行与多级缓存系统原理，熟悉 TP、PP、DP、EP 中的至少两类，了解 NCCL 及常见 GPU 互联与网络拓扑
5. 具备性能意识和数据化调优习惯，能够通过 Profiling 工具、基准测试与 A/B 对比验证优化效果，并沉淀可复用的方法和工具

加分项

• 有大规模 GPU 集群或高并发在线推理服务经验，熟悉多模型并发调度和多级缓存系统优化
• 熟悉 CUDA 编程、Triton 或自定义算子开发，具备 Kernel 级性能优化经验
• 有 FP8、INT8、INT4 等量化方案落地经验，能够系统评估精度、性能与成本的权衡
• 有国产 GPU 或其他 AI 加速器适配经验，或参与过推理框架、算子库、通信库等开源项目