面向角色控制的视频生成大模型

课题背景： 随着大语言模型和视频生成技术的快速发展，通过视频引导生成3D游戏动画资产成为可能。本课题旨在探索视频生成模型在游戏角色领域的应用，构建从视频生成到角色动画资产的智能生成管道。通过结合视频生成模型的时序理解能力和游戏引擎的角色控制技术，实现文本驱动的角色动作、表情、交互行为的自动生成。这一方向将为深度学习生成式游戏引擎提供关键的内容生产能力，大幅降低角色动画制作成本，提升创作效率。 课题挑战：

1. 01

   视频-3D资产映射：如何从2D视频生成结果中提取可用的3D骨骼动画、蒙皮权重等游戏引擎可直接使用的参数化表示；

2. 02

   多模态控制信号融合：探索文本、参考图像、骨骼约束等多种输入如何协同控制视频生成模型，保证角色动作的可控性和一致性；

3. 03

   时序连贯性与物理合理性：生成的角色动作需满足运动学约束和物理规律，避免穿模、抖动等游戏中不可接受的瑕疵；

4. 04

   角色交互场景生成：研究如何生成角色-角色、角色-场景的交互视频，并转化为游戏引擎中的动态事件序列。

1. 01

   计算机、人工智能等相关专业硕士或博士学位，在深度学习领域有扎实的理论功底；

2. 02

   具有扎实的深度学习算法基础，具备扎实的大模型研发经验，有Diffusion Models和 Autoregressive Models相关经验优先，有相关方向顶级论文者优先，有文生图文生视频实践经验者优先；

3. 03

   熟悉各类深度学习网络和算子底层实现细节，训练和推理模型调优，CPU/GPU加速，分布式训练推理加速，有实操经验优先；

4. 04

   熟悉端到端预训练，熟悉SFT、RL 微调等后续连流程；熟练使用Python，精通PyTorch框架；

5. 05

   具备较强的学习能力、沟通能力、团队合作能力，有强烈的好奇心；

6. 06

   在CVPR、ICCV、ECCV、SIGGRAPH 等顶会发表过高质量论文，或在相关开源项目、算法竞赛中获得优异成绩者优先。