WorkBuddy/CodeBuddy—利用强化学习方法基于经验数据训练提升大模型Agent能力研究

课题背景：随着 Agent 在真实业务场景的普及，产生了海量的交互经验数据（Experience Data）。这些数据不仅包含成功的路径，也包含失败的纠错过程，是模型理解复杂世界和自我进化的“富矿”。当前，大模型研发正处于从依赖人工标注向利用真实反馈转化的关键期。本课题旨在探索如何从这些高噪声的交互数据中提取高质量训练信号，并以此驱动模型能力的持续迭代。 课题价值：

1. 01

   开辟增长新极：在预训练数据红利消减、后训练（SFT/RLHF）边际效应递减的背景下，利用真实经验数据实现模型能力的二次增长。

2. 02

   实现自我闭环：通过 Agent 系统在研发闭环中的实践，产生数据再反哺模型，形成“研发-反馈-进化”的飞轮效应。

3. 03

   沉淀高价值策略：MAS（多智能体）作为经验捕获的载体，能更精细地记录复杂任务的拆解与协作逻辑，为模型提供更深层的思维链条（CoT）。 课题挑战：

4. 01

   高噪声数据洗练：如何从海量 Agent 交互轨迹中，通过自动化机制判别并提取出具备启发性的“高价值信号”，解决信噪比低的问题。

5. 02

   MAS 自适应协同：如何设计多智能体架构，使其在利用经验数据进化的过程中，能自发演化出更高效的协作协议，以应对复杂的模型研发任务。

6. 03

   闭环演进的稳定性：防止模型在利用自身产生的经验数据进行微调时，出现“模型崩溃”或偏离人类意图的泛化退化现象。 具体工作：

7. 01

   参与到Code Agent模型的训练优化，利用好CodeBuddy的Agent数据训练模型，包括提升base能力、模型扩窗口、搭建并优化RL环境、将RL scaling起来优化模型；

8. 02

   搭建并优化LLM research 多智能体系统，直接用于大模型的研发，产生价值。

1. 01

   CS/AI相关专业（博士优先）；

2. 02

   熟练Python/PyTorch，优秀的编程技能；

3. 03

   有大模型研究相关的项目经验；

4. 04

   英语读写流利；

5. 05

   良好的沟通协作能力。

加分项

1. 01

   发表过AI顶会论文；

2. 02

   有ACM等竞赛成绩；