具身智能世界模型研究工程师

基于厨房、客厅、商店等可交互 3D 仿真场景，构建世界模型训练与评测 pipeline。- 研究 action-conditioned video prediction、latent dynamics model、state-space model、video diffusion 和 autoregressive world model 等方法。- 融合 RGB、深度、点云、语义、机器人本体状态、动作、语言指令和物体状态等多模态信息。- 训练模型预测未来图像、3D 状态、物体轨迹、接触事件、奖励、成功概率或终止状态。- 利用仿真器生成大规模、可控且带有完整 ground truth 的交互轨迹，包括成功、失败、扰动和反事实数据。- 研究具有 3D 一致性、时间一致性、物体持久性和长时序记忆能力的世界表示。- 将世界模型用于机器人行为想象、model predictive control、策略规划、数据增强、奖励建模或策略预训练。- 设计世界模型 benchmark，评估视觉质量之外的动作可控性、动力学准确性、空间一致性、长期预测和下游任务收益。- 分析模型在遮挡、碰撞、物体状态变化、未见场景和未见动作组合上的失败模式与泛化能力。- 开发分布式训练、数据加载、实验管理、模型评测和可视化工具，提高研究迭代效率。- 与 3D 资产工程师协作扩展视觉与物体多样性，与机器人仿真工程师协作定义交互数据、状态标签和评测任务。- 跟踪并复现世界模型、视频生成、具身智能和 model-based reinforcement learning 的前沿工作，参与论文与开源项目。##

熟悉 Python 和 PyTorch，能够独立完成模型训练、数据处理、实验设计和结果分析。- 理解 transformer、diffusion model、flow matching、VAE 或其他生成模型的基本原理。- 理解序列建模、表示学习、条件生成或动力学建模中的至少一个方向。- 具备机器人学习或 3D 视觉基础，理解观测、状态、动作、轨迹、坐标系和相机等概念。- 能够将研究问题转化为明确的数据协议、模型目标、消融实验和量化评测指标。- 具备较强的论文阅读、模型复现、工程调试和独立研究能力。## 加分项- 有 world model、video prediction、video generation、model-based RL、imagination-based planning 或 neural simulator 相关经验。- 熟悉 Dreamer、TD-MPC、MuZero、V-JEPA、Genie、GAIA 或同类世界模型工作。- 熟悉 Diffusion Transformer、Video Transformer、state-space model、tokenizer、VQ-VAE 或 latent action model。- 有多视角视频、深度、点云、3D reconstruction、NeRF、Gaussian Splatting 或 4D 表示相关经验。- 熟悉 MuJoCo、RoboCasa、Isaac Sim、SAPIEN、ManiSkill、Habitat 或其他交互式仿真平台。- 有 imitation learning、reinforcement learning、VLA、Diffusion Policy、ACT 或机器人规划经验。- 有大规模视频或机器人数据训练经验，熟悉分布式训练、混合精度、训练稳定性和推理优化。- 有世界模型评测、物理一致性评测、生成模型评测或机器人下游任务评测经验。- 有真实机器人数据、sim-to-real、域适配或跨场景泛化经验。- 有顶会论文发表、高质量论文复现或相关开源项目贡献。## 实习生要求- 每周可实习 3 天以上，连续 3 个月以上优先。- 人工智能、计算机、机器人、自动化、图形学、电子、控制或数学等相关方向优先。- 需要具备 PyTorch 模型训练经验，并在生成模型、视频理解、机器人学习、强化学习或 3D 视觉方向至少有一项实际项目经验。- 能够阅读英文论文、复现核心方法并通过实验验证假设