AI 推理框架工程师（Infra 框架方向）

1. 01

   参与 vLLM / SGLang 等大模型推理引擎在自研 GPGPU / NPU 上的适配与性能优化：连续批处理（Continuous Batching）、PagedAttention / KV Cache 管理、Prefix Caching、PD 分离部署；

2. 02

   参与 PyTorch 后端接入与自定义算子注册：torch.library / CUDA Extension / PrivateUse1 后端分发，打通「上层模型 → 自研硬件」的调用链路；

3. 03

   负责 ONNX 图导入导出与图优化 pass 开发、模型转换工具链维护（ONNX / TorchScript → 自研 IR），保障主流模型开箱可跑；

4. 04

   参与 llama.cpp 等轻量推理路径的适配（GGUF 量化、CPU + GPU 混合推理），覆盖端侧与边缘部署场景；

5. 05

   搭建推理 Benchmark 与性能回归体系，围绕吞吐、TTFT、TPOT、显存占用等指标做 profiler 分析与调优；

6. 06

   参与开源社区建设，向上游提交 issue / PR，沉淀内部技术文档与最佳实践。

基本要求

1. 01

   计算机科学与技术 / 软件工程 / 人工智能 / 微电子 / 电子信息 / 自动化等相关专业；

2. 02

   扎实的 C/C++ 与 Python 编码能力，熟悉常用数据结构与算法 ；

3. 03

   理解操作系统与计算机体系结构基础：内存层级、进程/线程、并发同步、缓存一致性；

4. 04

   具备 Linux 环境下的开发与调试经验，会使用 gdb / perf / git 等工具链。 加分项

5. 01

   读过 vLLM / SGLang / PyTorch / llama.cpp 源码，有实际提交 PR 或二次开发经验；

6. 02

   了解 CUDA / OpenCL / Triton 编程，写过 GPU kernel；

7. 03

   熟悉模型量化（GPTQ / AWQ / GGUF / FP8）与推理优化手段；

8. 04

   有开源项目维护经历、技术博客，或 ACM / 天池 / 黑客松等竞赛获奖；

9. 05

   有 AI Infra 方向实习经历（任意厂商推理引擎、训练框架、算子库均可）。 我们期待 对「模型是怎么在芯片上跑起来的」有好奇心，愿意从上层框架一路追到 kernel 与驱动；不满足于调 API 跑 demo，愿意读源码、写 C++。 （请注意：每人限投递3个岗位）

招聘部门：第一事业部

招聘人数：若干

岗位类别：技术类

工作地点：北京市、西安市