混元-Agent底线与执行安全评估研究

课题背景： Agent 获得工具权限后，风险从"说错话"升级为"做错事"。最新研究显示，主流模型在可执行环境下的对抗测试基准上，宏平均对抗成功率超过六成；且近五分之一的实际违规行为，发生在 Agent 已明确陈述相关约束之后，暴露出认知与执行之间的鸿沟。同时，提示注入连续两年位居 OWASP 大模型风险首位，监管侧也已将对抗测试的过程文档化列为合规要求。 课题挑战： 第一，安全评测面向的是最坏情况而非平均水平，其采样策略、指标定义与统计方法都与能力评测截然不同。 第二，单一的对抗成功率会把暴露、执行、观测与判定四个环节混为一谈；需要沙箱内的状态级证据来确认真实危害是否发生，而非仅看模型说了什么。 第三，风险是轨迹级现象，危险路径可能在逐步执行中逐步形成，单轮拒答测试完全无法观测。 第四，Agent 会因察觉自身正在被评测而改变行为，评测环境的隐蔽性因此成为方法学难题。 第五，公开的对抗样本集会被快速拟合，必须持续产出私有对抗用例，对团队的持续产能提出很高要求。 具体工作： 负责 Agent 安全评测体系建设，构建可执行沙箱与轨迹级对抗验证方法，建立危害判定与证据链标准，输出风险画像并支撑发布准入决策。

学历和专业： 网络安全、人工智能安全、计算机系统、机器学习等相关专业，有红队攻防、对抗鲁棒性或安全评测研究经历者优先。 技术技能： 熟悉提示注入与越狱对抗方法，掌握 Agent 沙箱与权限隔离技术，具备自动化对抗生成与轨迹分析能力，精通 Python，了解相关合规框架要求。 软性素质： 能坚持安全底线；与法务、合规和产品团队协作顺畅；对新型风险保持高度敏感和主动性。