AI推理平台-百炼模型服务运行时技术专家/高级工程师-杭州/北京

负责设计与构建下一代分布式 AI 推理 Runtime，让大模型服务启动更快、运行更稳、资源效率更高。你将参与解决大规模推理系统中的核心工程问题，包括：

1.推理实例极速弹性：通过容器镜像加速、模型与数据缓存、P2P 分发、预加载及 Checkpoint／Restore 等技术，持续降低模型加载与实例启动时间，提升大规模集群的弹性伸缩效率；

2.异构集群与分布式推理：支持不同模型和推理引擎运行在 GPU、NPU 等多种计算设备上，优化多节点之间的计算、通信与状态协同，探索更高效的并行与分布式推理架构；

3.模型 Day 0 上线：与模型、引擎及硬件团队紧密协作，理解新模型架构带来的系统需求，完成从 Runtime 适配、性能调优到规模化部署的完整链路，支持新模型快速稳定上线；

4.性能、稳定性与成本优化：通过系统架构优化、性能分析和工程创新，持续改善吞吐、延迟、可用性与资源利用率，支撑大规模 AI 应用稳定运行。

在这里，你面对的不只是单机推理，而是模型、引擎、硬件、网络、存储和调度共同组成的分布式系统。

1、计算机科学相关专业研究生及以上学历，具备扎实的计算机基础知识；

2、具备良好的系统设计与工程能力，熟悉至少一种主流编程语言（如 C++ / Go / Java / Python / Rust），能够完成复杂系统模块的设计与实现；

3、熟悉 Linux 系统开发环境，具备良好的工程实践能力，能够进行系统调优、性能分析与问题定位；

4、对常见推理引擎有一定理解，例如vLLM、SGLang、Llama.cpp等；

5、对 AI 基础设施或大模型推理系统有强烈兴趣，具备良好的学习能力与技术探索精神；

6、有系统领域顶会论文、ACM/ICPC国际奖项、主流开源项目活跃贡献者是加分项。