推理 Infra 算法工程师

【团队介绍】 我们是推理 Infra 团队，负责金融智能体产品的模型推理加速与服务化。面向高并发、长上下文、重工具调用的智能体流量特征，我们持续优化吞吐、时延与单位成本，让千亿级 MoE 模型能够以可接受的成本稳定服务真实业务。 团队覆盖推理引擎优化、服务化架构与容量规划，强调用可复现的 benchmark 说话，从内核机制到线上 SLA 端到端负责。

【岗位方向】 LLM Inference Optimization × Serving：面向千亿级 MoE 模型与智能体流量，建设高吞吐低时延的推理引擎与服务体系。

【工作内容】

1. 01

   负责大模型推理引擎的优化与二次开发，围绕 PagedAttention、Continuous Batching、Prefix Cache、投机解码等机制持续提升吞吐与时延表现。

2. 02

   负责 MoE 模型推理优化，包括专家并行策略、通信优化、显存与 KV Cache 管理，降低单位 token 成本。

3. 03

   负责量化与压缩技术落地，包括权重 / 激活量化、KV Cache 量化的精度与性能权衡评估。

4. 04

   负责推理服务化与容量规划，包括多模型多版本调度、弹性伸缩、限流降级与线上稳定性保障。

5. 05

   负责推理性能的量化评估体系建设，设计可复现的 benchmark 方法，避免 token 计数、投机解码接受率等口径带来的结论偏差。

【职位要求】

1. 01

   本科及以上学历，计算机、软件工程、人工智能等相关专业优先。

2. 02

   深入理解 vLLM、SGLang 等主流推理框架的内核机制，具备源码级阅读与改造能力。

3. 03

   熟练使用 Python 与 C++ / CUDA，具备算子级性能优化能力者优先。

4. 04

   理解分布式推理的并行策略与资源模型，熟悉长上下文与 MoE 场景下的性能瓶颈。

5. 05

   熟悉 GPU 性能分析工具链（Nsight、PyTorch Profiler、NCCL Tests 等），具备较强的问题定位能力。

6. 06

   了解容器与云原生技术栈（Docker、Kubernetes 等），具备线上服务运维与稳定性保障意识。

【加分项】

1. 01

   有千亿级参数量模型推理落地经验者优先。

2. 02

   有投机解码、量化、KV Cache 优化等方向的深度实践者优先。

3. 03

   对推理框架（vLLM、SGLang、TensorRT-LLM 等）有源码级贡献者优先。

4. 04

   有大规模高并发在线服务的运维与排错经验者优先。

5. 05

   在 MLSys、OSDI、ATC 等系统方向会议发表过成果者优先。