结合控制信号的实时高质量可交互游戏视频生成

课题背景： 可交互视频生成是生成式AI与游戏技术深度融合的前沿方向，旨在让生成式模型实时响应用户控制信号（键盘、手柄、视角等），动态生成流畅、高保真的游戏画面。以GameNGen、Genie、DIAMOND为代表的研究已证明神经网络游戏引擎的可行性。该技术在游戏原型快速验证、无限内容生成和AI驱动关卡设计等场景中具有革命性应用价值。 课题挑战：

1. 01

   实时性与生成质量的平衡：高质量视频生成与毫秒级实时响应之间存在根本性矛盾，如何通过流匹配、一致性模型、KV Cache等技术突破该瓶颈；

2. 02

   控制信号精确响应：如何确保生成帧内容准确响应多样化控制输入（移动、攻击、摄像头旋转等），避免控制漂移与语义不一致；

3. 03

   长序列时序一致性：在长时间游玩中如何维持场景、角色、物理规律的视觉一致性，防止遗忘与画面崩坏；

4. 04

   游戏数据构建：高质量控制信号与画面帧配对数据获取成本高，如何设计高效的数据采集、清洗与自动化标注方案；

5. 05

   多游戏类型泛化：不同类型游戏（动作/策略/RPG）画面风格与控制逻辑差异悬殊，如何提升模型的跨游戏泛化能力。 具体工作： 参与可交互视频生成模型的架构设计与训练、控制信号条件生成机制研究、游戏视频数据集构建、模型推理加速与实时部署优化，以及生成质量评测体系建设。

1. 01

   包含但不限于计算机、人工智能、计算机视觉、信息工程、应用数学等专业的博士和优秀硕士；

2. 02

   熟悉视频生成/扩散模型相关技术（如Video Diffusion、DiT、Flow Matching、Consistency Model等）或计算机视觉基础方法，有相关项目/研究经验；

3. 03

   熟悉PyTorch等深度学习框架，具备视频/图像数据处理能力，掌握Python编程，有大规模生成模型训练/微调实践经验者优先；

4. 04

   加分项：在CVPR、NeurIPS、ICLR、ECCV等顶会发表过视频生成、扩散模型相关论文；有游戏视频数据处理或实时渲染相关项目经验。 此课题同时招聘应届实习生和低年级实习生。