推理引擎研发工程师-ToB业务

 1. 负责 ToB 场景下大模型推理服务平台（模型 Infra）的平台建设：基于 SGLang / vLLM / TensorRT-LLM 等框架进行二次开发与深度定制，打造高可用、可扩展、多租户的企业级推理服务底座；

 2. 参与分布式推理引擎核心模块研发与优化：包括 PD 分离（Prefill/Decode Disaggregation）、Continuous Batching、KV Cache 管理与多卡/多机并行推理（TP / PP / EP），持续优化 TTFT / TPOT、吞吐与单卡服务成本；

  3. 针对 ToB 业务中多样化的 LLM 请求特征（长短文本混合、MoE、多模态、流式/非流式、优先级与限流），优化 GPU 计算流程与请求调度策略，打造业内领先的高效 LLM 推理引擎

 1. 计算机、电子、自动化、软件等相关专业本科及以上学历；

 2. 具备扎实的操作系统、计算机体系结构、编译原理与网络基础，对底层性能优化有浓厚兴趣，具备系统级性能分析与调优能力；

 3. 熟练掌握 C++ / CUDA（或 Python 编写性能敏感模块），工程能力扎实，有良好的代码质量与工程质量意识；

 4. 熟悉 SGLang、vLLM、Megatron(-LM)、TensorRT-LLM 等框架至少一种，理解其核心机制（调度策略、显存管理、并行切分、算子融合）；

 5. 熟悉 CUDA 编程与 GPU 性能优化，有 Triton、CUTLASS、FlashAttention 等开发经验者优先；

 6. 有大模型推理部署 / 线上服务经验，或有开源项目贡献（如 vLLM、SGLang PR）者优先；

 7. 具备良好的沟通能力、团队协作精神与 Owner 意识，能跨团队推动落地