混元多模态-3D动画驱动大模型研究

课题背景： 随着3D生成技术的快速发展，AI已能自动生成高质量3D模型（如角色、生物、道具），但绑骨蒙皮（Rigging & Skinning）作为连接静态模型与动态动画的核心环节，仍高度依赖人工经验：动画师需手动设计骨骼结构、调整蒙皮权重，过程耗时（单个角色需数天）且标准化程度低（不同团队布线/权重规则差异大）。当前3D生成算法多聚焦于几何建模，缺乏对“骨骼-蒙皮”这一动态属性的理解，导致AI生成模型无法直接用于动画生产，形成“生成-动画”链路断层。本课题旨在研发通用3D绑骨蒙皮大模型，实现从3D模型（如角色、生物）到“骨骼系统+蒙皮权重”的端到端自动生成，满足游戏、影视、虚拟人等场景对高效动画资产生产的需求，推动3D内容从“静态生成”向“动态可控”跨越。 课题挑战：

1. 01

   骨骼结构的智能设计：如何让模型根据3D模型的几何特征（如角色体型、关节位置、运动功能）自动生成符合动画逻辑的骨骼层级（如人体150+骨骼、四足动物骨骼分布），而非依赖固定模板；

2. 02

   蒙皮权重的精准预测：如何精准分配顶点权重（如肌肉附着区域的权重过渡、关节弯曲时的权重衰减），确保动画变形自然（无穿帮、无僵硬），同时满足工业级精度（如权重误差＜5%）；

3. 03

   跨域数据的泛化能力：3D模型拓扑结构（低模/高模）、形态（人形/非人形/道具）、风格（写实/卡通）差异极大，如何提升模型对多样化输入的适配性；

4. 04

   专业规范的融入与评估：动画生产对骨骼命名（如ACES标准）、权重绘制（如关节影响范围）有严格规范，如何将隐性规则转化为模型可学习的约束，并设计自动化评估指标（如动画变形质量、权重平滑度）。 具体工作：

5. 01

   你将参与通用3D绑骨蒙皮大模型的全流程研发：

6. 02

   模型架构设计：研究融合3D几何理解（如网格拓扑、曲率特征）、解剖学先验（如肌肉附着规律）、运动学知识（如关节活动范围）的模型架构，探索图神经网络（GNN）、Transformer等在骨骼拓扑推理与权重预测中的应用；

7. 03

   骨骼生成与权重优化：开发骨骼自动布局算法（关节位置、层级关系），设计权重预测网络（结合物理模拟约束），解决跨域模型的泛化性问题；

8. 04

   数据体系构建：收集整理游戏/影视行业的骨骼蒙皮数据，设计数据清洗与标注方案，构建包含多样化模型、骨骼类型、权重分布的高质量数据集。

1. 01

   包含但不限于计算机、模式识别、人工智能、计算机视觉、图形学、自动化、信息工程、应用数学等专业的博士和优秀硕士；

2. 02

   熟悉自动化绑骨蒙皮算法、3D生成算法、三维视觉基础、多模态大模型算法、深度学习核心算法，熟练掌握Python及PyTorch/TensorFlow框架，有3D生成、绑骨蒙皮等相关项目经验者优先；

3. 03

   具备良好的沟通协作能力、较强的问题分析与解决能力，自驱力强，能独立设计实验并推动研究落地，对前沿技术有持续学习热情。