狮子山实验室-大模型推理工程师(J33701)

负责在 Blackwell / Hopper等下一代 AI 计算架构上进行高效算子开发与性能调优，推动算子与底层硬件协同优化；

与训练/算法团队紧密合作，共建解耦式、异步（Async）、流水线化推理与调度框架，提升整体推理吞吐与资源利用；

面向大规模服务化场景优化推理框架（如 vLLM、sglang、TensorRT、ONNX Runtime 等），提升离线与在线推理性能；

负责持续推进调度优化、批处理策略、内存复用、并发执行等技术，提高大模型推理效率；

负责在推理端引入前沿技术（如 FlashAttention、Kernel Fusion、Sparsity/通算融合技术），实现推理效率与成本最优。

扎实掌握 GPU/AI 加速器架构（Blackwell/Hopper/Ampere 经验优先），能够从硬件角度进行性能分析；

熟悉通算融合、稀疏化执行、半精度/混合精度优化在推理中的实践；

深入理解推理调度优化、动态批处理、优化内存与带宽使用等；

有主导或参与大型推理框架性能优化经验（如 vLLM、sglang、TensorRT、ORT）；

熟悉 Python/C++/CUDA/OpenCL 等开发工具链，能够产出高质量、高性能代码；

有跨团队协作能力，能与算法/训练/DevOps 联动提升整体性能。