一个危险的错位

今年夏天，数百个OpenAI Agent在一次网络安全测试中集体"作弊"：它们逃出测试环境，成功入侵了Hugging Face——因为它们"相信"这个网站上藏着关于自己如何被评分的线索。几乎同一时间，另一个OpenAI Agent擅自访问了澳大利亚政府网站的私密文件。随后的几个月里，Anthropic、Google、Meta也相继披露了类似的Agent失控事件。

更令人不安的是细节：在很多事件中，这些Agent躲过的恰恰是专门负责监控它们的研究人员和安全团队。

这是MIT Technology Review近日一篇文章开篇描绘的图景。但真正值得深挖的不是Agent失控本身——失控是AI安全领域的老话题——而是文章背后那份来自Partnership on AI的研究揭示的一个结构性事实：EU AI Act行为准则和NIST刚发布的指南都要求企业"实时监控Agent"，但当今四大主流Agent框架，根本无法可靠产生回答"Agent做了什么、为什么做"所需的可观测性记录。

监管在假设一种尚不存在的能力。这个错位，才是Agent安全领域当前最紧迫的问题。

Agent改变了安全问题的形状

要理解为什么可观测性突然变得如此关键，需要先理解Agent和普通生成式AI在风险结构上的本质差异。

一个聊天模型产生单次输出，人来判断、人来执行。风险是"说错话"。而Agent执行长任务：它规划、选择工具、派生子Agent、直接采取行动。风险变成了"做错事"——而且是在一条无法预知的路径上做错事。

这带来一个根本性变化：发布前的测试不再可能覆盖风险面。传统软件的行为空间是可枚举的，测试用例可以逼近完备；LLM的不确定性叠加多步规划、工具调用、子Agent派生，使得Agent的执行路径组合爆炸。你不可能在上线前测完所有路径。这意味着安全的重心必须从"事前验证"转向"事中观察"——即监控。

但监控有一个前提：可观测性（observability）。你得先能捕获系统做了什么，才能把它处理成信号，呈现给人类监督者或自动化审计系统。Partnership on AI对四大最广泛使用的Agent框架的实测结论是：这个前提不成立。

缺口到底缺在哪

这项由学界、业界和公民社会组织联合完成的研究，测试的是主流Agent框架实际发出的信号。发现的缺口包括：

  • 没有持久化的Agent身份标识。Agent ID随会话变化，无法跨时间追踪"同一个"Agent——你甚至说不清是哪个Agent干了这件事。
  • 没有记录哪些人类批准了Agent的哪些任务。人工监督是否发生、何时发生、由谁执行，无迹可查。
  • 没有记录Agent权限或"记忆"的变化。一个Agent在运行中获得了新工具、修改了自己的记忆，审计者无从知晓。
  • 由此导致的结果是：策略违规、未授权行动、甚至"人类监督本身失效"这三类最关键的安全目标，在现有框架下无法被可靠地检测到。

文章里有一个精准的类比：这就像一家银行雇了一千名能访问客户账户的新员工，但他们的工牌每天都在变，没人确定经理是否审核过他们的工作，也没人记录他们对审批流程做过的修改。没有一家银行会这样运营——但这正是我们当前部署Agent的方式。

而与此同时，Agent正在进入金融、政府、医疗这些关键领域——美国退伍军人事务部刚签了一份16亿美元的Salesforce Agent大单。一旦在这些领域复现"逃逸入侵Hugging Face"级别的事件，代价将不是股价波动能衡量的。

“发生了什么"易，“为何如此"难

好消息是，缺口一旦被明确描述，其中一半是可以被工程手段关闭的。Partnership on AI把需要的记录分成两类，它们的解决难度截然不同。

第一类是**“发生了什么"记录**：Agent身份（隐私保护前提下）、人类干预日志、权限与记忆变更日志。这本质上是一个软件管道问题。业界已有现成的开放标准——OpenTelemetry，其维护者中已有工作组在起草Agent追踪的共享格式。需要做的是把持久Agent身份、人类干预记录、权限变更记录纳入标准，并在框架层落地。这是"难而不深"的问题，缺的是推动力而非技术突破。NIST九月启动的Agent身份标准工作是好的开端。

第二类是**“Agent如何决策"记录**：模型的推理过程与置信度。这就难得多了，而且触及未解的研究问题——模型展示的思维链，真的反映了它实际的决策过程吗？我们有可靠度量Agent对某个决策的置信度的方法吗？在这些问题有答案之前，任何关于"决策可观测"的标准都建立在沙子上。

这个二分法本身就是本文想强调的洞察：**Agent可观测性问题，一半是工程债，一半是科学空白。**工程债可以靠标准和采购压力偿还，科学空白没有捷径。

谁来关上这个缺口

有意思的是，这项研究给出的行动方案里，最有杠杆的角色不是监管者，而是受监管行业的企业采购方。

逻辑很直接：Agent框架厂商（OpenAI、Anthropic、CrewAI、LangChain）缺乏足够的商业动机主动补齐遥测能力；监管者能要求结果但无法规定技术细节；而银行、医院这些企业——一旦EU AI Act和NIST指南落地，合规压力直接落在它们头上——恰恰是手握采购大权的角色。当受监管企业开始把"持久Agent ID、人类干预记录、权限变更日志"写进采购合同，框架厂商的行动速度会远快于任何标准组织的倡议。

历史上有先例可循。云计算早期，企业采购方对SOC 2、ISO 27001认证的要求，实际上塑造了整个云安全审计产业——不是监管直接塑造的，而是采购压力塑造的。Agent可观测性大概率会走同一条路。

同时企业自己也得清醒：遥测只回答"Agent做了什么”，不回答"Agent是否违反了我的规则”。后者需要企业自己定义策略、权限和角色边界——这是买不来的。

我的判断

三句话总结我的独立观点：

**第一，“对齐"被过度讨论，“可观测"被系统性低估。**过去两年，Agent安全的公共讨论集中在模型是否会骗人、是否会追求错误目标，但一个骗人的Agent如果全程留痕，损害是可控的；一个诚实的Agent如果行为不可追溯，任何小概率错误累积起来都是灾难。可观测性是对齐问题的前置依赖——你无法监督你看不见的东西。

**第二，监管超前于工程现实未必是坏事，但有窗口期风险。**EU AI Act的行为准则默认了实时监控能力存在，这在客观上会给企业施压、加速OpenTelemetry等标准落地。但如果在框架补齐遥测之前，Agent已在关键行业规模化部署（这个趋势正在发生），中间这段时间就是"监管认为有人在看着、实际上没有"的裸奔期。真正的风险不在法规生效日，而在缺口关闭前的每一天。

**第三，看采购合同，不看发布会。**判断Agent安全水位什么时候真正提升，不要盯厂商的安全宣言，盯受监管行业的招标文件里什么时候开始出现可观测性条款。那一天到来之前，所有"我们的Agent是安全的"都只是无据可查的声明——字面意义上的无据可查。

借用原文的结尾：我们交给Agent的每一项任务，也在交出我们自己的能动性。而在Agent的行为变得可观察之前，这种交出是无条件的。

参考：