推理服务研发工程师

负责海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理；

负责模型在线服务系统的设计与开发，构建高并发、低延迟、高可用的推理服务，支撑线上实时推理；

设计并落地推理服务的核心架构，涵盖流量调度、负载均衡、弹性扩缩容等，保障大规模GPU集群的服务稳定性；

针对端到端推理链路进行系统级优化，提升GPU利用率与服务吞吐量。

计算机、人工智能、软件工程等相关专业；

有扎实的后端开发基础，熟练掌握Python、C++、Go、Rust任意开发语言，具备扎实的系统设计与编码能力；

熟悉分布式系统核心概念:负载均衡、服务发现、消息队列、分布式缓存等，能独立设计和落地高可用服务；

熟悉Profiling工具，具备系统级瓶颈定位和优化经验；

有良好的工作文档习惯，及时按照要求撰写更新工作流程及技术文档；

熟悉Dynamo、llm-d等项目，或积极参与开源项目者优先。