大模型-推理平台研发工程师

负责大模型推理平台的开发、维护与性能优化，保障服务高可用性和高性能运行；

对大模型 KVCache 集群进行开发、维护与性能调优，解决大规模并发推理内存瓶颈；

管理推理服务的计算资源、流量及任务调度，优化集群资源利用率，降低推理成本；

建立推理服务监控告警体系，及时发现和解决性能异常和系统故障；

参与推理服务架构设计，支持多模态模型和不同规模模型的推理需求。

本科及以上学历，计算机、软件、人工智能等相关专业；

具备扎实的计算机基础（数据结构、算法、操作系统、计算机网络、并发编程）；

至少熟悉 Go/Python/C++/Rust 中一种，具有良好的工程实现与代码质量意识；

对分布式系统/大规模异构推理有浓厚兴趣，喜欢钻研底层原理与性能瓶颈，有实际追踪相关领域进展。

参与过大模型推理系统优化工作，对PD分离、KV Cache系统、多机推理等有实践和认知；

有K8S二开经验，熟悉volcano、lws、ray等框架调度逻辑；

熟悉vllm、sglang、dynamo等推理引擎，有参与实际工作；

对RadixAttention、PagedAttention、Continous Batching等技术有实际研究和优化经验。