优图实验室—原生多模态infra技术研究

课题背景： 原生多模态大模型的兴起对训练与推理基础设施提出了前所未有的挑战。与纯语言模型不同，原生多模态模型需要在统一框架下同时处理文本、图像、视频、音频等高度异构的模态数据，其计算模式、显存占用、数据吞吐需求与通信拓扑均远比单模态模型复杂。现有训练基础设施在多模态混合并行调度、异构数据流水线、大规模显存管理及跨模态梯度同步等方面存在严重瓶颈，制约着原生多模态模型规模化训练的效率与稳定性。本课题旨在面向原生多模态场景，从系统层面重新设计高效、可扩展的训练与推理基础设施。 课题挑战：

1. 01

   多模态异构并行策略设计：原生多模态模型中，Vision Encoder、Audio Encoder 与 LLM Backbone 的计算量、显存占用和通信模式差异显著，如何设计针对多模态异构架构的混合并行策略（张量并行、流水线并行、序列并行的协同组合），最大化多模态训练的硬件利用率与扩展效率；

2. 02

   多模态动态序列的高效调度：视频帧数、图像分辨率、音频时长的不确定性导致每个样本的 Token 序列长度高度动态，如何设计支持变长多模态序列的高效批处理、动态显存分配与负载均衡机制，消除因序列长度差异带来的计算资源浪费；

3. 03

   超大规模多模态训练的通信优化：多模态训练中跨模态的梯度同步、KV Cache 跨节点传输及多模态数据预处理 I/O 均面临严峻的通信瓶颈，如何针对多模态训练的通信特征设计定制化的梯度压缩、异步流水与 overlap 策略，降低通信开销对训练效率的影响；

4. 04

   多模态推理系统优化：原生多模态模型在推理阶段面临视觉 Token 数量爆炸（长视频可达数万Token）与自回归解码串行瓶颈的双重压力，如何设计面向多模态的 KV Cache 管理、视觉 Token 动态压缩与投机解码机制，支撑高并发、低延迟的在线服务场景。 具体工作： 你将参与多模态混合并行训练框架设计、动态序列调度与显存管理优化、跨节点通信策略研发、多模态推理系统优化，推动原生多模态模型训练与服务基础设施的性能突破。

1. 01

   计算机科学、计算机体系结构、软件工程、人工智能等相关专业的博士及优秀硕士；具有大规模分布式训练系统、高性能计算或 MLSys 方向研究与工程背景者优先；

2. 02

   深入理解大规模分布式训练系统，熟悉 DeepSpeed、Megatron-LM、PyTorch FSDP 等主流框架原理；熟悉张量并行、流水线并行、序列并行等并行策略；精通 Python 与 C++，熟悉 CUDA 编程及高性能算子开发；在 MLSys、SC、EuroSys、OSDI、ATC 等系统顶会或 CVPR/NeurIPS/ICML 系统方向有相关成果者优先；

3. 03

   对底层系统与 AI 交叉方向有浓厚兴趣，具备从系统视角分解和量化性能瓶颈的能力；工程严谨性强，能在超大规模训练环境中快速定位和解决复杂系统问题；沟通协作能力强，能与算法、硬件、平台等多方团队高效协同推进。