混元多模态-多模态强化学习研究

课题背景： 近年来，多模态模型快速发展，包括生成模型（Diffusion Models）和理解模型（VLMs），但如何通过强化学习（RL）实现高质量后训练（post-training）来提升模型能力仍是开放问题。本课题将探索面向多模态生成与理解模型的强化学习训练框架，包括生成模型（文生图/视频）与视觉语言理解模型的RL后训练方法，并构建可扩展的RL Infra与Reward系统，以提升模型生成质量、推理效率与任务泛化能力。 课题挑战：

1. 01

   多模态RL训练框架搭建（基于UniRL仓库）：构建可扩展的RL Infra，统一训练引擎、推理引擎与reward server，支持生成模型与VLM的高效后训练；

2. 02

   生成模型RL算法研究：设计适用于diffusion/生成模型的RL算法，例如dense reward、multi-reward优化及off-policy稳定训练；

3. 03

   多任务reward系统构建：设计reward hub与pipeline，为不同任务构建高质量reward信号。 具体工作： 参与多模态强化学习研究，包括RL Infra搭建、生成模型RL算法设计，以及多任务reward系统构建与实验验证。

1. 01

   计算机相关专业的博士、硕士、以及特别优秀的高年级本科生；

2. 02

   工程代码能力强或理论功底扎实；

3. 03

   发表过一作顶会论文，包括ICML/NeurIPS/ICLR、CVPR/ICCV/ECCV；

4. 04

   (加分项) 有diffusion models (image/video generation) 相关工作发表，并具备一定的大规模训练经验；

5. 05

   (加分项) 有RL infra相关工程搭建经验，熟悉常用的training engine (FSDP/Megatron)和inference engine (vllm/SGLang)，并对生成模型有一定的了解；

6. 06

   (加分项) 有reward model相关数据标注链路经验 此课题同时招聘应届实习生和低年级实习生。