混元多模态-3D场景生成算法研究

课题背景 当前3D生成算法在单物体生成上已较成熟，但在场景级布局合理性、物理约束、大规模一致性生成上仍处于探索阶段。更进一步，随着具身智能与交互式内容的兴起，场景不再是静态资产，而正演化为可感知、可交互、可推演的"3D世界模型"——它需要理解场景的物理规律与因果关系，能对智能体动作与外部干预做出符合物理逻辑的状态演化与时序预测。本课题旨在研发3D场景生成算法并向3D世界模型延伸，实现从文本/图像/布局输入到结构合理、风格统一、可编辑、可交互的完整3D场景端到端生成，并进一步构建具备物理一致性与时序动态演化能力的可交互3D世界，支撑游戏场景批量搭建、影视场景快速预演、具身仿真环境构建、世界模型驱动的智能体训练等场景。 课题挑战

1. 01

   场景布局的合理性与物理约束：如何生成符合空间逻辑与物理约束的场景布局（无穿模、可通行、支撑关系合理、尺度朝向正确），将布局规则与物理先验转化为模型可学习的目标或约束；

2. 02

   多物体一致性与风格统一：如何在场景内保证多物体的语义关系、相对尺度与整体美术风格一致，兼顾多样性与全局协调性；

3. 03

   大规模场景的可扩展生成与可编辑性：如何在有限算力下实现大范围、大规模场景的可扩展生成，并支持局部编辑、增删物体、风格调整等交互式编辑，同时兼顾生成效率；

4. 04

   3D世界模型的交互与时序演化：如何让静态场景升级为可交互的3D世界模型，建模场景的物理规律与因果关系，实现对智能体动作/外部干预的状态响应、时序动态演化与长时程一致性预测，解决交互推演中的物理合理性、时序漂移与状态一致性等难题。 具体工作 你将参与3D场景生成算法及3D世界模型的全流程研发：

5. 01

   场景生成建模：设计与优化3D场景布局与内容生成算法（如布局生成、场景图/Diffusion/自回归等架构），实现结构合理、风格统一的场景生成；

6. 02

   3D世界模型构建：研究可交互、可推演的3D世界模型，建模场景物理规律与动态演化，支持智能体交互、动作驱动的状态预测与仿真，服务于具身智能训练与交互式内容生成；

7. 03

   模型训练与优化：基于大规模场景数据训练与调优模型，优化布局合理性、物理约束、多物体一致性、可编辑性与交互推演的时序一致性，解决穿模、尺度失配、风格不统一、物理不一致等问题。

1. 01

   包含但不限于计算机、模式识别、人工智能、计算机视觉、图形学、自动化、信息工程、应用数学等专业的博士和优秀硕士；

2. 02

   熟悉3D场景/布局生成算法、世界模型（World Model）相关算法、3D数据表征、三维视觉基础、Diffusion/自回归大模型算法、图形学与物理仿真基础、深度学习核心算法，熟练掌握Python及PyTorch/TensorFlow框架，有3D场景生成、布局生成、场景重建、世界模型、具身仿真环境构建、强化学习/交互式仿真等相关项目经验者优先；

3. 03

   具备良好的沟通协作能力、较强的问题分析与解决能力，自驱力强，能独立设计实验并推动研究落地，对前沿技术有持续学习热情。