魔方工作室-游戏视频生成项目

【课题背景】 游戏 PV 与物料生产依赖 AI 视频技术的高审美、强一致与可编辑能力。当前瓶颈包括：大位移运镜与多角色/镜头外入画下的人物一致性不足；成片人物体型微调缺乏可用的身份保持编辑管线；物品/道具的替换、插入与属性修改在长视频中时序一致性与稳定性不足。本课题围绕游戏 PV 场景，攻关身份一致视频生成、基于 3D 先验的人物/物品编辑，为游戏视觉内容生产提供可落地方案。

【课题挑战】

1. 01

   大位移运镜下人物身份漂移：强相机运动下身份 embedding 难以稳定传递，需在不降低运镜灵活度的前提下实现跨帧、跨视角的身份锚定。

2. 02

   多角色与镜头外角色一致性：多角色同框需分别维持身份且不串身份；画外入画角色缺乏延迟参考机制。

3. 03

   成片人物体型编辑与身份保持：体型调整需兼顾身份、动作与光照；需引入 3D 人体先验（如 SMPL/SMPL-X）做参数化与引导。

4. 04

   视频中物品编辑与一致性：物品替换/插入需跨帧一致、与运动与透视协调，多物体编辑需避免干扰与伪影。

5. 05

   游戏场景审美与管线适配：在有限参考下适配不同美术风格，将生成与编辑能力整合为可嵌入 DCC/剪辑的管线。

【具体工作】

1. 01

   大位移运镜下的身份一致视频生成：复现/改进 ContextAnyone、Wan-Move/CameraCtrl 等，将参考图/身份与运镜联合建模，设计跨帧或 trajectory-aware 特征传递。

2. 02

   多角色及镜头外一致性：研究多身份并行锚定与延迟参考注入，构建游戏向多角色、多镜头评测数据。

3. 03

   基于 3D 先验的人物体型编辑：用 SMPL/SMPL-X 做姿态与形状估计与编辑，结合 Odo、DiffBody、Motionshop 等做扩散修复与身份保持。

4. 04

   视频物品编辑与替换：实践 VideoPainter、EditCtrl、InVi 等，支持插入/替换/删除/属性修改，构建 mask/参考图驱动的游戏向编辑管线。

5. 05

   数据与评测：构建含运镜、多角色、体型编辑、物品编辑的 PV 评测集与指标（身份/体型/物品一致性、视觉质量）。

6. 06

   管线集成与验证：将生成与编辑模块抽象为可配置管线，对接现有素材与工作流，做端到端验证并输出技术报告与接口方案。

【基本素质】

1. 01

   扎实的视觉与几何基础：熟悉扩散模型、视频生成与 3D 人体建模（如 SMPL/SMPL-X）。

2. 02

   较强的文献与复现能力：能梳理身份一致生成、视频编辑等领域最新工作并在 PyTorch 下复现与改进。

3. 03

   问题拆解与落地意识：能将游戏 PV、人物修型、物品编辑等需求拆解为可建模、可评测的技术问题。

4. 04

   结果导向与抗压能力：在长时序、多角色、复杂运镜等长尾场景下具备调试与优化耐心。

【技能要求】

1. 01

   核心硬实力：熟练 PyTorch；具备图像/视频扩散模型（Stable Diffusion、Wan、ComfyUI 等）训练或推理经验；了解 ControlNet、IP-Adapter、Reference-only 等； 2、3D 与视频编辑：熟悉或可快速上手 SMPL/SMPL-X；有视频 inpainting、人体 reposing、物体级编辑/替换经验者优先；

2. 03

   工程与协作：能阅读并改写开源代码；具备多模态评估与脚本化实验能力；可与美术、策划沟通并收敛为可执行方案。