混元多模态-高质3D数据管线研究

课题背景 3D大模型的能力上限在很大程度上由训练数据的规模与质量决定。相比图像、文本，3D数据来源分散、格式多样、标注稀缺、质量参差不齐（存在破面、非水密、拓扑混乱、材质缺失、尺度不一等问题），且清洗、标准化、标注、评估等环节高度依赖人工，难以支撑大模型所需的海量高质量数据供给。而且真实高质量3D资产总量远小于图像/文本，仅靠采集与清洗难以突破数据规模天花板，亟需通过程序化生成、仿真渲染、合成数据等手段实现数据的规模化"造血"。本课题旨在研发面向3D大模型训练的高质数据管线，构建从数据采集、数据合成、清洗修复、标准化、多模态标注到质量评估的自动化、规模化流水线，为混元3D各生成模型提供"高质、可控、可扩展"的数据燃料，是决定整个3D生成中心模型天花板的核心基础设施课题。 课题挑战

1. 01

   大规模异构数据的自动清洗与修复：如何自动检测并修复海量3D资产中的几何缺陷（破面、自相交、非流形、非水密）、布线与UV问题、材质缺失等，并统一坐标系、尺度与格式，实现规模化标准化；

2. 02

   多模态标注与语义对齐：如何自动化生成高质量的文本描述、结构/部件标注、材质语义等多模态标签，并保证3D-文本-图像跨模态语义对齐的准确性；

3. 03

   高质数据合成与仿真渲染：如何通过程序化生成（PCG）、参数化建模、仿真渲染、生成模型自举等手段规模化合成多样、可控、带精确标注的3D数据，并解决合成数据的真实感不足、分布偏移与"合成-真实"域差（Sim2Real Gap）问题，保证合成数据能真正提升模型效果；

4. 04

   数据质量评估与配比优化：如何建立可量化的3D数据质量评估体系与自动化筛选机制，研究数据分布、难例配比对模型效果的影响，实现数据驱动的迭代闭环，并兼顾管线的吞吐效率。 具体工作 你将参与高质3D数据管线的全流程研发：

5. 01

   自动化管线建设：设计与实现大规模3D数据的清洗、修复、标准化、标注与评估自动化流水线；

6. 02

   3D数据合成研发：研发程序化生成、参数化建模、仿真渲染、生成模型自举等数据合成方案，规模化产出多样、可控、带精确标注的高质合成数据，并针对性缓解合成-真实域差；

7. 03

   数据质量与算法优化：研发几何缺陷检测修复、多模态自动标注、质量评估与数据配比优化算法，持续提升数据质量与供给效率，支撑各生成大模型的训练迭代。

1. 01

   包含但不限于计算机、模式识别、人工智能、计算机视觉、图形学、自动化、信息工程、应用数学等专业的博士和优秀硕士；

2. 02

   熟悉3D数据表征与处理、几何处理算法（网格修复/重拓扑/UV处理等）、三维视觉基础、多模态大模型算法、深度学习核心算法与大规模数据工程，熟练掌握vibe coding工具，有3D数据清洗/标注、几何处理、大规模数据管线、多模态数据构建等相关项目经验者优先；

3. 03

   具备良好的沟通协作能力、较强的问题分析与解决能力，自驱力强，能独立设计实验并推动研究落地，对前沿技术有持续学习热情。