3D生成基础大模型

课题背景

1. 01

   游戏行业是 3D 生成技术最主要的应用场景，2024年全球游戏行业营收大约是 200B 美元，远大于影视行业（30B 美元） 以及3D 相关行业，游戏的研发成本中 1/3 ～ 1/2 被用于美术，而其中的 1/2 以上被用于 3D 资产生成；

2. 02

   3D AIGC 在游戏行业中主要有两种应用场景：

3. 01

   PGC：主要面向专业美术，对生成质量要求极高，要求新的技术能够和现有制作管线结合；

4. 02

   UGC：主要面向普通用户，对生成质量要求略低，用于发散思维或者是个性化要求，比如 Roblox、 蛋仔派对、元梦等；

5. 03

   当前处于 3D 生成技术已经相当接近 Production Ready 的状态，类似处于 GPT-4 的时刻。 课题价值：

6. 01

   大幅提升 3D 建模效率：传统 3D 建模需要数周甚至数月，而 3D 生成工具可在几秒到几分钟内生成高质量、可编辑的模型；

7. 02

   降低创作门槛，赋能独立开发者：通过提供直观界面和API支持，无需专业建模技能即可生成游戏资产（如角色、道具、场景）。这让小型团队或独立开发者也能创建高质量 3D 内容，降低进入门槛，释放更多创意潜力；

8. 03

   无缝集成现有工作流：3D 工具生成的模型可以直接导入 Unity、Unreal Engine 等主流游戏引擎，与现有开发流程无缝衔接，减少技术适配成本。 课题挑战：

9. 01

   形状编码：如何将 3D mesh 的形状有效地编码到隐空间，并且能够有效地保持原来 3D mesh 中精细的形状细节；

10. 02

    部件拆分：艺术家制作的 3D mesh 中包含了丰富的结构信息，比如分离的部件，能够有效地区分这些结构是一个比较重要的技术挑战；

11. 03

    拓扑生成质量：工业界中使用的 3D mesh 一般对拓扑质量有各种工艺要求，如何在保持 3D mesh 的形状的基础上，还能生成高质量的满足工艺要求的拓扑是一个需要解决的问题；

12. 04

    纹理生成质量：从文本或者图片中还原模型的纹理，并且保持一致性以及高质量的细节是一个很有挑战的问题；。

13. 05

    3D 模型的可控生成：通过多种条件来对模型进行全局或者局部的可控生成，帮助艺术家更好的生成符合他们要求的 3D mesh。

1. 01

   熟悉3D生成的前沿理论，了解CLAY、TRELLIS、Hunyuan、Meshtron 等 3D 生成框架的基础原理；

2. 02

   熟悉材质渲染方面的原理，了解TexGen、UniTex、NaTex 等贴图生成相关工作；

3. 03

   熟悉3D几何原理，了解 Marching Cubes、Flexicubes、水密化、Mesh 拓扑处理等技术；

4. 04

   熟悉 3D 理解相关工作，有 3D detection、grounding、segmentation 的相关经验；

5. 04

   在人工智能相关方向的硕士/博士，有扎实基础和丰富经验。