腾讯云 EdgeOne-推理平台高级工程师

负责大模型推理服务的调度与性能优化，提升首 Token 延迟、Decode 延迟、吞吐、显存利用率和 GPU 利用率；

负责推理请求调度、动态 Batching、KV Cache 管理与调度、显存管理等等推理性能与效率的核心能力建设；

负责分布式推理优化，结合模型结构、硬件资源和业务流量特点，优化 TP/PP/EP 等推理策略；

负责推理引擎优化，围绕模型加载、算子执行、CUDA/GPU 性能、并发执行等方向持续提升推理性能和稳定性；

跟进并引入 LLM Serving、推理引擎、分布式推理、GPU 性能优化等前沿技术，推动推理平台持续演进。

本科及以上学历，计算机、人工智能、电子、自动化、软件工程等相关专业，有大模型推理系统优化经验者优先；

熟练掌握 Linux 环境下 C/C++/Rust/Python/等 1 至 2 种以上语言；

熟悉 LLM 推理基本流程，理解模型加载、Prefill、Decode、Serving、Batching、调度、并发控制、显存管理、KV Cache、分布式推理等核心机制以及相关优化实践；

熟悉 TensorRT-LLM、vLLM、SGLang、Triton Inference Server、ORCA 等主流推理框架、推理引擎或调度机制；

具备良好的性能分析和系统优化能力，能够定位推理链路中的调度、显存、算子、通信和资源利用率瓶颈；

有强烈的工作责任心，较好的学习能力、沟通能力和自驱力，能够快速响应线上问题并推动解决。 加分项

有大规模 LLM 在线推理服务、推理调度、分布式推理或推理引擎优化落地经验；

具备 CUDA/GPU 性能优化经验，熟悉 kernel 优化、显存访问优化、算子融合、性能 profiling 等方向；

熟悉 TensorRT-LLM、vLLM、SGLang、LightX2V、FlashAttention、PagedAttention 等推理优化框架或关键技术；

有 LLM、VLM、Diffusion、视频生成模型等 AIGC 模型训练或推理优化经验。