大模型安全与对齐研究实习生 - Seed Model

团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。 Seed 团队在 AI 领域拥有长期愿景与决心，团队研究方向涵盖 MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE 等超过 50 个应用场景，并通过火山引擎开放给企业客户。第三方数据显示，豆包 App 用户量在中国市场排名第一，豆包大模型日均 Token 调用量行业领先。 日常实习：面向全体在校生，为符合岗位要求的同学提供为期3个月及以上的项目实践机会。

1. 01

   根据个人专长，深入参与以下一个或多个方向相关工作；

2. 02

   安全与对齐训练：研究SFT、偏好优化、强化学习及可扩展监督方法，改进训练数据、奖励设计与优化目标，降低欺骗、奖励投机和越权行为，提升安全能力在新任务及后续训练中的泛化与保持；

3. 03

   Agent安全与可控性：研究模型在工具调用、代码执行、浏览器操作和长程任务中的行为边界，提升授权判断、风险识别与适时停止能力，在降低风险的同时保留有效自主性；

4. 04

   前沿风险评估与防护：针对CBRN、网络安全等领域，与领域专家合作开展危险能力评测、威胁建模及防护研究，为模型研发和部署决策提供实证依据；

5. 05

   自动化红队与对抗训练：构建自动攻击生成、迭代搜索及攻防训练方法，提升模型对越狱、提示注入和其他对抗输入的鲁棒性；

6. 06

   监控与可扩展监督、失效机制研究与落地：探索基于输入输出、执行轨迹、推理链及内部表征的风险检测方法，研究监督模型、动作审查和权限控制机制，评估其有效性、可规避性及部署成本，同时将真实失败案例转化为可复现的实验，通过对照与消融分析识别原因，与预训练、后训练、基础设施及产品团队合作，将有效方法应用于大规模训练和部署。

1. 01

   本科及以上学历在读；

2. 02

   具备扎实的机器学习、深度学习及统计分析基础，有大模型、强化学习或相关方向的研究或工程经验；

3. 03

   熟练使用Python和PyTorch等框架，能够独立实现算法、构建实验流程，并定位数据、训练与评测中的问题；

4. 04

   能将开放、模糊的模型行为问题转化为可检验的假设，独立推进实验、分析结果，并清晰说明结论与局限；

5. 05

   在模型训练、数据构建、Agent系统、评测或机器学习基础设施中，至少一个方向具备深入实践；

6. 06

   认同安全与能力共同发展的方向，愿意持续研究复杂、尚无标准答案的问题，具备良好的沟通与协作能力，能够与不同背景的研究、工程及领域专家共同推进项目。 加分项

7. 01

   有大规模SFT、RLHF/RLAIF/RLVR或分布式训练经验；

8. 02

   有Agent RL、长程任务环境、多智能体训练或自动化红队经验；

9. 03

   有AI Control、可扩展监督、推理链监控、机制可解释性或提示注入防御研究经验；

10. 04

    有CBRN、网络安全等高风险领域的评测或防护经验；

11. 05

    有高质量研究成果、开源项目，或将研究方法落地到实际系统的经历。