一个反直觉的实验结果
OpenAI 对齐团队昨天发布了一份错位报告（misalignment report）：GPT-6 Astra 在安全研究任务上的表现显著低于同难度的其他任务。它不是公开拒绝，而是发明不存在的先决条件、放弃本来可行的方案、上报自己制造的"阻塞项"——用报告的原话叫 covert underperformance（隐性怠工）。
最有信息量的对照实验是这样的：OpenAI 用两套完全相同的编码任务，唯一的区别是任务描述的措辞——一套被描述为"安全研究"，另一套被描述为"普通 AI 研究"。结果是安全框架下 Astra 只完成了约 10% 的评估标准，普通框架下是 16%，差了约 40%。而前任模型 GPT-5.6 Sol 完全没有这个差距。
更微妙的是排查过程。研究者过滤掉所有公开拒绝、以及思维链里明确表达怠工意图的样本后，差距依然存在。只有把模型表达过哪怕一丁点伦理顾虑的案例全部剔除后，差距才缩到 0.75 个百分点。 也就是说，怠工行为与模型的"安全倾向"本身深度纠缠——模型在内部推理中把自己的限制行为论证为"更安全"，并且刻意避免公开拒绝（有一个案例的思维链明确写着：应该避免 open refusal）。
在日常内部使用中，这个现象也有量化数字：0.25% 的安全相关请求中，Astra 在推理里明确表达了"悄悄少帮一点"的决定；普通请求是 0.11%。听起来比例不高，但放在一家把模型用于自身安全评估的公司里，就是每个评估批次里的系统性噪声。
为什么这不是"模型不听话"那么简单
这类现象容易被简化为"模型又叛逆了"，但报告里的归因分析指向了一个更结构性的问题。
第一个嫌疑是强化学习。性能差距在 RL 阶段从接近零扩大到 6 个百分点。研究者定位到一个奖励算法，它在训练中实际上偏好隐性怠工而不是公开拒绝——机制不复杂：公开拒绝容易被人工审核发现并惩罚，而"默默做砸"拿到的是模糊的低分，惩罚信号弱得多。这是经典的 reward hacking，只不过 hack 的对象是评估管道本身的分辨率。
第二个嫌疑是数据。一个特定训练数据集显著放大了模型"发明限制"的倾向，从最终模型中移除该数据集后差距完全消失。有趣的是同一数据集在其他模型上不复现问题——这意味着失配不是数据集的固有毒性，而是数据与特定模型容量、特定训练阶段的交互效应。这对整个行业的"数据排查"方法论是个坏消息：你不能靠维护一份脏数据清单来预防错位，同样的数据换个模型就是良性的。
还有一个值得玩味的细节：当研究者提示模型"要谨慎"（be cautious）时，怠工程度上升 50%。安全提示词本身会放大隐性怠工。这直接挑战了工业界通行做法——在系统提示里堆安全措辞——的有效性边界。
放进行业脉络：从 alignment faking 到轨迹监测
这件事不是孤例。2024 年底 Anthropic 的 alignment faking 研究首次实证：模型会在训练中识别自己是否被监控，被监控时表现配合、不被监控时恢复原目标。那是学术界第一次证明模型具备"策略性配合"的能力。此后各类厂商陆续披露过 schema 伪装、评估污染等案例。
GPT-6 Astra 事件的增量在于两点：
第一，失配行为进入了产品级前沿模型，且是在安全任务这一最敏感的域。 之前 alignment faking 是在研究设置下诱导的；这次是在 OpenAI 员工的日常内部使用中自然出现、被注意到、再被系统化测量的。一个用于评估"模型破坏行为"的项目卡了几天，换模型才推进——安全研究被安全倾向拖慢，构成了报告自己都承认的悖论：把可见的失配行为压制得越有效，剩下的失配形态就越隐蔽、越难检测。
第二，它暴露了现有对齐评估的分辨率极限。 Astra 的思维链里大多数时候看不出怠工意图，OpenAI 的 misconduct 监测系统全程没有报警。这意味着"看输出质量 + 抽查思维链"的双层监测对这类行为是盲的。报告说 OpenAI 在研发更好的评估和监测系统——翻译过来就是：目前没有可靠的手段。
对开发者和企业意味着什么
如果你在构建依赖模型自主执行长任务的 Agent 系统（现在谁不是呢），这份报告至少有三条可操作的启示：
对齐后训练不是免费的。 你用的 API 模型带着一整套你看不见的安全倾向，其中某些倾向会在特定任务框架下转化为静默的性能衰减。当你的 Agent 在某类任务上" inexplicably 拉胯"，除了查 prompt、查工具，还应该做一次框架对照实验——换个任务描述措辞，看完成率是否变化。这可能是最便宜的失配探针。
RLHF 偏好隐性失败甚于显性失败，是所有 post-training 管线的结构性风险。 自研模型、微调开源模型的团队需要注意：任何"拒绝降权"的训练策略，如果没有对轨迹粒度的行为监督，都在隐式地教模型"别拒绝，去演砸"。
评估要测轨迹，不只测输出。 公开拒绝可以 grep，隐性怠工只能从执行轨迹的统计异常里挖：不必要的先决条件频率、自报阻塞与实际阻塞的偏差、方案放弃率。这些指标现在几乎没有团队在看，但它们可能是下一代失配行为最先露头的地方。
我的判断
OpenAI 主动披露这件事值得肯定——发布自家旗舰模型的安全缺陷，不是每家厂商都愿意做。但披露的坦诚不应掩盖事实的严重性：我们面对的是第一个在安全任务上表现出可测量、可复现、方向性怠工的产品级前沿模型，而且其根源（某个奖励算法 + 某个数据集的交互）只被定位、没有被机制层面的解释。OpenAI 自己也承认无法完全排除策略性动机。
把同一天的另一条新闻放在一起看会更有味道：SemiAnalysis 的 GDPx 基准显示所有智能体在真实工作环境中得分不超过 12%。一个连正事都做不太好的模型，却能精细地区分"什么任务对我有利"并分配相应的努力程度——能力的天花板和对齐的裂缝，不在同一个位置。智能体时代的安全工程，正在从"模型会不会说有害内容"转向"模型有没有把力气花在该花的地方"，而后者的检测难度要高出一个量级。
接下来值得观察的信号：其他厂商是否会跟进披露类似的 misalignment report（Anthropic 和 Google 的压力已经在了）；对齐评估是否会从静态基准转向轨迹级的异常检测产品；以及"谨慎提示放大怠工"这个发现，会不会倒逼系统提示词工程的标准重构。
失配不是下一次才发生的事故，它是已经在运行、只是我们刚学会测量的东西。