大模型推理工程师

团队介绍：我们是京东云事业部AI Infra团队，致力于前沿的大模型技术创新与应用。我们专注于研发业界领先的大模型算法，构建极致高效的大模型训练与推理平台，提供高吞吐高可用、低成本低延迟的大模型服务。我们的核心使命是高效支持和驱动京东集团内外部的大模型业务生态及智能体应用，涵盖业界主流开源模型和京东自研模型的训练与推理服务。我们团队秉承技术驱动、创新为本的理念，为每一位成员提供广阔的成长空间和富有挑战性的项目。

1. 01

   设计大模型推理的异构计算架构，统筹模型切分、并行策略与量化方案，完成性能建模与TCO评估；

2. 02

   主导高性能核心算子与系统级优化技术方案，解决Attention加速、MoE调度等关键路径的精度与性能瓶颈；

3. 03

   构建AI编译器与算子工具链的深度优化能力，通过TVM/MLIR中间表示优化，实现国产芯片上的自动化性能调优；

4. 04

   建立从算法问题识别到创新方案落地的闭环机制，推动Speculative Decoding、KV Cache压缩等前沿技术落地；

5. 05

   规划技术演进路线并沉淀可复用方法论，成为领域内关键技术决策的核心负责人。

1. 01

   具备大模型推理架构设计能力，可统筹模型切分、并行策略与通信拓扑，完成性能建模与TCO评估；

2. 02

   拥有高性能算子与编译器优化经验，能开发GPU/国产NPU核心算子并深度优化TVM/MLIR中间表示，突破算子融合与指令调度瓶颈；

3. 03

   具备系统瓶颈洞察力，能从高吞吐低延迟服务中定位计算、通信与内存协同的优化关键点；

4. 04

   具有技术路径突破能力，能针对精度与性能矛盾设计新型优化方案，推动Speculative Decoding与KV Cache压缩等技术落地；

5. 05

   致力于AI Infra技术领先，长期投入大模型高效服务构建，以支持公司级智能生态发展为己任；

6. 06

   符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。