LLM推理框架开发工程师

负责LLM推理框架的研发与部署，构建低延时、高效率的端到端推理能力，推动核心功能量产落地。 设计并开发LLM推理框架，持续优化端到端延时与性能开销； 定位系统性能瓶颈，协同算法与硬件团队优化模型架构与计算效率。

具备开发推理框架与优化经验，熟悉至少一种主流推理引擎（MLC-LLM / TensorRT-LLM / vLLM / llamacpp等）； 掌握模型压缩量化、算子融合、并行计算、采样优化、KV缓存等推理加速技术； 熟悉芯片架构（GPU/NPU/DSP等），具备高性能计算优化与调优能力； 精通C++/Python，代码规范良好，具备文档撰写与团队协作能力； 本科5年/硕士3年以上相关经验，熟悉计算机体系结构与深度学习算法。 优先考虑 具备英伟达平台大模型部署与CUDA开发调优经验； 熟悉MLC-LLM/TVM等编译优化技术并具有开发经验， 在大模型推理加速领域有论文发表或开源贡献。