资深高性能推理优化专家(J10297)

核心框架研发与性能优化

1.1 主导大模型推理框架（包含 NVIDIA GPU 和昇腾 NPU）的设计与开发，优化推理性能（低延迟、高吞吐），包含算子优化、通信优化、分布式推理调度、Prefill/Decoding阶段解耦等技术方向。

1.2 探索模型压缩技术（如量化、剪枝、蒸馏），平衡模型精度与推理效率，推动技术落地。

1.3 构建端到端推理性能评估体系，设计自动化调优工具，提升优化效率。

团队管理与技术攻坚。

2.1 带领技术团队完成复杂模块开发，制定技术方案并推动落地，协调资源解决技术瓶颈。

2.2 建立代码规范与工程实践标准，主导技术文档编写与核心代码Review，培养团队成员技术能力。

跨领域协作与行业洞察

3.1 与产品团队紧密配合，理解业务需求并转化为技术方案，推动框架与业务场景深度适配。

3.2 跟踪LLM推理领域最新进展（如动态批处理、连续批处理、KV Cache优化等），探索技术突破点。

基础能力

1.1 计算机/数学/电子信息相关专业硕士及以上学历，10年以上深度学习框架开发经验。

1.2 精通C++/Python，熟悉CUDA、多线程编程、分布式系统设计，具备复杂问题抽象与系统架构能力。

技术专项

2.1 深入理解Transformer架构及主流大模型（如GPT、Llama）推理特性，熟悉vLLM、TensorRT-LLM、TGI等框架源码。

2.2 具备算子优化实战经验（Kernel融合、内存复用），熟悉通信优化技术（流水线并行、AllReduce优化）。

2.3 掌握分布式推理调度策略（动态负载均衡、异构设备协同），有大规模集群优化经验者优先。

2.4 熟悉大模型推理常见的优化技术：动态批处理、KV-Cache 优化、投机采样、连续批处理（Continuous Batching）、量化推理、注意力机制优化；

软性要求

3.1 主导过至少2个大型项目全流程开发，具备从技术方案设计到生产部署的全链路把控能力。

3.2 擅长技术团队管理与跨部门协作，能够通过技术文档、案例复盘等方式推动团队能力提升。

3.3 在顶会（ASPLOS、MLSys等）发表过系统优化相关论文，或主导过开源项目者优先。