大模型推理框架开发工程师

1. 开发和维护[外部招聘链接已隐藏]，实现设备、Buffer、Tensor、算子能力查询、计算提交和完成同步，并维护上游版本适配。

2. 接入文本、图文及语音模型，完成模型结构、动态输入、前后处理与多组件执行适配，维护模型和运行条件支持清单。

3. 实现自定义模型和量化权重的读取、布局适配与加载重排，管理设备权重、临时内存、KV Cache及循环状态的生命周期和复用。

4. 实现NPU支持条件判断、CPU回退与数据同步，完善会话、流式输出、取消、超时和错误处理，保障跨步及异常路径的状态一致性。

5. 建设推测解码公共能力，包括草稿生成接入、多Token验证、接受与拒绝处理及状态提交回滚；按模型条件适配MTP、DSpark、EAGLE-3或N-gram等方法。

6. 分析Prefill/Decode时间、CPU开销、搬运与峰值内存，协同算子及Runtime优化；在固定负载下验证质量、接受率和端到端净收益。

7. 建设框架接口、模型数值及性能回归，维护可复现样例、公开调用示例、调试记录和开发文档。

1. 计算机、电子或相关专业本科及以上学历，3年及以上C/C++开发经验，具备推理框架、后端或加速器部署研发经历。

2. 熟练掌握Linux开发、内存管理、多线程和CMake，能够阅读并修改复杂C/C++项目，定位越界、泄漏、竞态和执行错误。

3. 熟悉[外部招聘链接已隐藏]、ONNX Runtime、MNN、ncnn或同类框架中的至少一种，理解Tensor、Shape、Stride、计算依赖及后端执行机制。

4. 理解Transformer、Attention、KV Cache、tokenizer及采样机制，具有模型结构适配、量化部署或数值对齐经验。

5. 至少在缓存与内存管理、执行调度、推测解码或框架开销优化中有一项实际工作，能够解释对照负载、优化方法、收益和额外成本。

6. 具备模型与设备联调、自动化回归和技术文档能力，能够区分模型、算子、框架与Runtime问题并与相关团队协作。

加分项

1. 有[外部招聘链接已隐藏]，或使用QNN/QAIRT、CANN、RKLLM等端侧软件栈的深入开发经历。

2. 有MTP或其他推测解码的草稿适配、多Token验证、采样一致性及状态回滚经验。

3. 有视觉语言模型、ASR或循环状态模型的端侧部署与精度性能优化经历。