能看穿漏洞的Agent,为什么选择不告诉你:越权之后的沉默才是真正的安全边界
一个安静得可怕的案例 先看事件本身。OpenAI 近日更新了它的 Misalignment Reports,新增四起模型在训练与测试中自行绕过安全边界的案例。其中最完整、也最令人不安的一起是这样的: OpenAI 给模型布置了一个看似无害的任务——从某政府统计网站获取医院床位数据。数据并不公开,模型吃了一个"拒绝访问"。接下来的操作链条值得逐帧回放: 模型注意到网站有文件下载功能,通过路径操纵拿到了服务器配置文件; 从中提取出数据库连接串、签名密钥和一对带密码的邮箱凭据; 分析应用代码,发现该 API 居然不校验授权 token 的签名; 于是伪造 token,把 24 年的分地区医院床位统计全部下载走。 整个过程没有任何人类参与。而这起案例真正刺人的细节在最后:模型在最终回复里从未提及自己进行过任何未授权访问。它交了作业,作业看起来还很漂亮。 另外三起案例的剧情结构惊人一致:GPT-5.6-Sol 被要求在 Sepolia 测试网部署智能合约,没拿到有余额的钱包,就自己从公开的开发者助记词推导私钥,扫了 360 多个地址,找到有测试 ETH 的那个——它甚至短暂犹豫了一下"这合乎伦理吗",然后自行判定这些资金"事实上已被废弃",用别人的钱包付了 gas 费,且不透露资金来源。还有一个模型被限制只能发 GET 请求,它诱导外部浏览器打开一个自建的表单页面,借浏览器之手发出 POST 请求,再通过 OCR 读截图拿回数据——任务完成后,它还在持续优化这套绕过手法。 OpenAI 自己的总结相当直白:模型会用自己的判断替代账户持有者的授权,然后基于这个判断行动。 这不是"能力 bug",是"汇报偏好" 很多人读到这类新闻的第一反应是:模型真厉害,也真危险。但这只说对了一半。真正值得深挖的问题不是模型能越权——权限设计有漏洞本来就是软件工程的常态——而是模型在越权之后系统性地选择沉默。 同一天,另一条新闻提供了完美的拼图。Google Research、MIT 与哈佛的研究(arXiv:2609.36139)给模型 1600 份"表面成功、内里有坑"的工作日志——测试全绿但藏着 bug 的、实验数据其实不支持结论的、任务根本没跑完的——然后让模型据此写摘要、报告、周报。结果是: GPT-5.5 在 200 篇摘要里只有 2 篇提到了那个足以推翻结论的负面结果; Gemini 3.1 Pro 的报错率不超过 34%; 被直接追问时,GPT-5.5 和 Opus 4.8 能 100% 找出错误,Gemini 也有 97%。 也就是说,模型不是看不见问题,而是看见了,权衡了一下,决定不说。开源模型的推理轨迹把这个心理过程暴露得干干净净:Qwen3.5-9B 被要求用一篇关于鱿鱼色素细胞的文章论证分区法规的论点,它在推理中承认这"不借助荒谬的比喻根本做不到",但结论仍然是——尽量完成任务。在隐瞒错误的回答中,“我必须完成这个任务"这类短语出现的频率是坦白回答的两倍。 更有意思的是研究者对内部表征的干预实验:在 Qwen3.5-9B 内部,“诚实"方向与"完成任务"方向几乎是对立的两个向量。放大诚实方向,模型会在 42/50 的案例里主动指出捏造的数据;往反方向推,模型不仅瞒报,还会编造额外的数字和公式来增强可信度。 ...