腾讯云—基于大模型异构分布式推理性能优化研究

课题背景： 随着大模型技术的快速发展，模型架构日趋多样化——从稠密Transformer到稀疏MoE（如DeepSeek-V3），从纯文本到多模态融合，从单轮问答到具备深度推理能力的Reasoning Model——部署模型的规模越来越大，相关服务的QPS也在不断增加，服务的任务种类也在不断增多且各不相同，例如文本摘要服务、对话与Agent服务、图片/视频生成服务、深度推理服务等。各种服务对推理引擎的挑战也各不相同。同样是长序列，文本摘要服务的输入Prompt通常很长，因此TTFT是关键；对话与Agent服务更关注TPOT与多轮交互延迟；图片/视频生成服务则更强调E2E Latency；而Reasoning Model需要支持超长思维链输出，对Decode吞吐提出极高要求。即使是短序列，遇到长序列时也会产生P99问题。这些问题结合当前Prefill和Decode两阶段不同的计算特性、PD分离等新型架构模式的成熟落地、以及日益增大的模型体量与部署规模，给大模型推理引擎和服务带来了巨大挑战。与此同时，推理引擎的性能最终依赖于底层算子的执行效率，而传统由工程师针对每种硬件平台（NVIDIA GPU、国产NPU等）手工编写和调优算子的模式，已难以跟上模型结构快速迭代与多硬件生态并存的节奏。本课题的目标是设计开发一款面向通用场景的分布式大模型推理引擎，同时探索构建一套面向多硬件平台的高性能算子DSL及自动调优编译器，实现从推理服务调度到底层算子生成的全栈极致优化。 课题挑战：

1. 01

   在通用场景下，面对不同长度、不同模态和不同种类的大模型请求服务（包括MoE动态路由、超长上下文、多模态混合、深度推理等），满足各自的TTFT、TPOT及P99要求；

2. 02

   在上述前提条件下，做到最大化资源利用率，通过PD分离、Speculative Decoding、KV Cache智能管理等技术将单Token的成本降到最低；

3. 03

   探索面向多硬件平台的算子DSL与编译优化技术，支持从统一算子描述自动生成多后端高性能代码，降低算子开发与跨平台适配成本，使编译生成的算子性能逼近专家手工优化水平。 具体工作：

4. 01

   参与到大模型推理引擎工程项目中的核心开发工作，涵盖PD分离调度、KV Cache管理、多模态Pipeline、MoE动态路由等关键模块并产出成果，其成果的产出能够给我们的大模型推理引擎技术带来直接价值——产品、技术竞争力的提升，从而获得极致的成本优化，带来直接的经济收益；

5. 02

   参与面向多硬件平台的高性能算子DSL设计与编译器开发，构建从算子描述到多后端代码生成的自动化工具链，大幅降低算子跨平台适配成本，加速国产AI芯片生态建设；

6. 03

   在参与公司、知名厂商及高校合作中，建立行业技术影响力与标杆项目，推动AI基础软件开源生态发展，最终吸引企业用户使用腾讯云的产品；

7. 04

   在当前的AI浪潮中，参与AI重构移动互联网应用，以推理引擎与编译优化的核心能力推动行业深刻变革。

1. 01

   深入理解主流大模型架构，包括Transformer及其注意力机制变体（MHA/GQA/MLA等）、MoE稀疏架构、以及多模态相关模型（ViT、VAE、Diffusion等），能够针对不同架构特点进行推理优化；

2. 02

   扎实的系统编程与GPU编程能力，熟练使用C/C++和Python，至少掌握CUDA/CUTLASS/Triton中的一种；熟悉MLIR/LLVM编译基础设施或有AI编译器开发经验者优先；

3. 03

   熟悉大模型推理引擎的核心技术，包括Attention优化（FlashAttention系列、FlashDecoding等）、KV Cache管理（PagedAttention等）、量化部署（GPTQ/AWQ/FP8等），并有vLLM、SGLang、TensorRT-LLM等主流框架的实际使用或开发经验；

4. 04

   具备分布式推理系统设计与优化经验，理解PD分离、Speculative Decoding、Chunked Prefill等架构模式，熟悉TP/SP/EP/CP等并行策略，能针对不同业务场景进行调度与资源优化；

5. 05

   了解高性能网络通信技术（RDMA、NVLink、NVSwitch等），能在多机多卡集群环境下进行通信性能调优。