上海人工智能实验室
AI红队算法工程师
岗位职责
研究在真实场景中造成安全影响的大模型与智能体攻击技术,包括但不限于越狱攻击、提示注入攻击等,重点关注code agent、terminal agent等复杂应用场景。
研究大模型安全护栏的对抗与绕过技术,分析模型拒答机制、内容过滤器、输入输出审核、安全策略模型及系统级防护机制,研究针对模型安全护栏的自适应对抗方法,包括自动化越狱生成、攻击提示优化、多轮攻击、长上下文攻击、跨模态攻击及基于反馈的迭代攻击等。
构建自动化大模型与智能体红队系统,利用搜索、规划、强化学习、自进化、多智能体协作等方法自动生成、筛选和优化攻击样本,提升攻击方法在不同模型、任务、工具和应用环境中的迁移性、稳定性与成功率。
研究智能体全链路安全风险,分析大模型智能体在感知、规划、推理、记忆、工具调用、代码执行和结果汇报等环节中的安全薄弱点,研究长程任务执行中的策略规避、欺骗行为、权限滥用、敏感信息泄露和非预期工具调用等风险。
任职要求
本科及以上学历,博士学历优先;计算机科学、人工智能、数据科学、软件工程、信息安全或相关专业背景优先,有大模型安全、可信人工智能或网络安全相关研究和项目经验者优先。
具备扎实的机器学习和深度学习基础,理解大语言模型的预训练、监督微调、偏好优化和强化学习等基本流程,熟悉推理模型和智能体系统的基本原理。
对大模型安全攻防具有较强兴趣,了解越狱攻击、提示注入、安全对齐等至少一个方向,包括系统提示词、安全微调、拒答机制、内容审核、输入输出过滤、Guard Model、工具权限控制和运行时防护等。
具备良好的编程和实验能力,熟练使用Python;熟悉PyTorch、Transformers、vLLM等常用深度学习框架或推理工具。
在CVPR、NeurIPS、ICML、ICLR、ACL、EMNLP等人工智能会议,或CCS、IEEE S&P、USENIX Security等安全会议发表过相关研究成果者优先。 加分项 有在AI公司进行安全研究的经验,具有code agent、terminal agent等的开发、测试和安全分析经验。 有大模型越狱、提示注入、智能体红队、安全评测或安全对齐相关研究和项目经验,能够独立复现或改进代表性攻击方法。熟悉自动化攻击优化方法,例如多智能体协作、自进化攻击框架等。 参与过大模型安全评测平台、红队工具、开源Benchmark或攻防框架的开发与维护,或在GitHub等平台有高质量开源项目。
信息来自企业官方招聘渠道
OfferSeek 对公开岗位信息进行聚合、去重和结构化整理,最终申请以企业官方页面为准。
