微信-WeLM多模态大模型Agentic RL研究

课题背景： 大模型正在从"会回答"走向"会行动"。 当 GPT-4o 能看懂图片、Sora 能生成视频，下一个真正的技术跃迁是：让多模态大模型在复杂的现实环境中自主决策、持续探索、完成长程任务——这正是 Agentic RL 的核心命题。我们相信，将强化学习的主动探索能力与多模态大模型的感知理解能力深度融合，将催生出新一代能够真正"做事"的智能体，而不仅仅是"对话"的助手。 课题挑战/具体工作：

1. 01

   面向多模态感知的 Agentic 决策建模 在图像、视频、UI 截图、文档等富视觉信息的环境中，研究 Agent 如何从原始多模态观测中提取任务相关信号，构建长程上下文下的状态表征，并做出可执行的行动规划。

2. 02

   多模态环境下的强化学习算法 探索适配大模型的新一代 RL 范式——从 RLHF 到 GRPO，从 PPO 到 offline RL，研究如何在稀疏奖励、长视野、多步推理的多模态 Agent 任务上实现高效、稳定的策略优化。

3. 03

   自主探索与世界模型 研究 Agent 在未知视觉环境中的自主探索机制，构建多模态世界模型以支持模拟推演与反事实推理，使 Agent 具备"先想后做"的能力。

4. 04

   工具调用与跨模态行动空间 研究 Agent 在复杂行动空间（点击、滑动、代码执行、API 调用、图像编辑等）下的策略学习，探索多模态感知与工具使用的协同建模。

5. 05

   可扩展的奖励设计与评估体系 突破人工标注的瓶颈，研究基于多模态大模型的自动奖励建模（Reward Modeling）方法，以及面向 Agentic 任务的系统性评估框架。

硬性要求

1. 01

   计算机科学、人工智能、自动化、统计学等相关专业博士在读或应届毕业；

2. 02

   深度学习基础扎实，熟悉 Transformer 架构及其在 LLM/VLM 中的应用；

3. 03

   熟练使用 PyTorch，具备独立实现和调试复杂模型的能力；

4. 04

   具备较强的数学功底，理解强化学习核心原理（MDP、策略梯度、值函数估计等）。

加分项

1. 01

   在 NeurIPS / ICML / ICLR / CVPR / ICCV / ACL / EMNLP 等顶会以第一作者发表过论文；

2. 02

   有 RL 或 RLHF 在大模型上的实际训练经验（PPO、GRPO、DPO 等）；

3. 03

   复现或改进过主流多模态模型（LLaVA、InternVL、Qwen-VL、DALL-E 等）；

4. 04

   参与过 GUI Agent、Web Agent、具身智能等 Agentic 方向的研究或工程项目；

5. 05

   有分布式训练经验（Megatron-LM、DeepSpeed、FSDP）；

6. 06

   对scaling law、emergent ability、reward hacking 等前沿议题有独立的深度思考。