微信-下一代图文理解生成统一模型

课题背景： 围绕图文理解、生成、编辑的统一模型在2025年已经取得了巨大进步，但主流的VLM+DIT架构依然没有将理解与生成两个任务彻底融合，本课题希望围绕数据构建、模型架构、模型算法三个维度探索下一代的图文理解生成统一模型范式。 课题挑战：

1. 01

   探索自动的、可进化的训练数据构造方案；

2. 02

   设计简洁的模型架构和预训练范式，在encode和decoder两个维度对齐图文模态；

3. 03

   摒弃传统的多模态RL训练范式，设计针对统一模型的后训练策略，发挥统一模型的任务优势； 具体工作： 你将在团队现有数据、模型、训练框架的技术上进行探索，全链路参与到下一代图文理解生成统一模型的研发当中。

1. 01

   包含但不限于计算机、信息工程、模式识别、人工智能、自动化、软件工程、电子工程、统计学、应用数学、物理学/量子计算、信息安全、信号与信息处理等相关专业的优秀硕士和博士；

2. 02

   在CVPR、ICCV、ECCV、NeurIPS、 ICLR等顶会发表一作论文

3. 03

   有丰富的大模型方向项目或实习经验