📌 系列导航:🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站

1. 论文信息

项目内容
日期2026-11-21
论文SWE-Shift: Evaluating Coding Agents in Evolving Workspaces
作者Victor Shea-Jay Huang, Rongqing Li, Zhangyue Yin, Kelong Mao 等(香港中文大学 MMLab 等)
链接arXiv:2610.32196
代码github.com/JeixHuang/SWE-Shift

2. 一句话总结

SWE-Shift 首次系统性地测量了「编码 Agent 干活干到一半,任务环境突然变了」的场景:17 个主流编码 Agent 系统无一幸免,最强的 GPT-6 Astra 成功率也从 67% 跌到 25%,说明当前 Agent 的能力评估严重高估了真实动态环境下的可靠性。

3. 解决什么问题

现有仓库级编码基准(SWE-bench 系列)都隐含一个假设:任务开始后,代码、依赖、运行时状态、需求都保持不变。但真实软件开发是动态的——协作者会改代码、依赖会升级、需求会变、issue 里的信息会过期。Agent 在执行中途遇到这些变化还能不能成功?之前的基准完全测不到这一点。更关键的方法论问题是:如果 Agent 在变更后失败了,你无法区分是「本来就不会做这个任务」还是「会做但被变化搞砸了」。

4. 核心方法

**匹配续跑协议(Matched Continuation)**是本文最漂亮的设计:Agent 先正常执行任务,在中间某个检查点保存完整执行状态(历史、工作区、工具、设置),然后从同一状态分叉出两条续跑——Clean 续跑不受干扰继续做,Shifted 续跑在同一位置注入一个任务相关的变更。因为两条续跑共享完全相同的前缀,Clean 就是 Shifted 的天然对照组,成功率的差值纯粹来自变更本身。

变更设计遵循两条硬约束:相关性(无视变更就会导致原本成功的执行失效)和可恢复性(变更后仍存在至少一条通过工具完成任务的路径),排除「无关变更」和「故意刁难」。

基准覆盖 120 个场景 × 12 类变更族 × 9 个干预位置(T10–T90),12 类变更分三组:世界变更(F01–F07,代码/依赖/运行时/会话/外部效果)、目标交互(F08–F10,新约束/纠正反馈/目标修订)、观察变更(F11–F12,过期或错绑的证据)。

成功判据是合取式的:不仅要完成当前任务,还要保留仍然有效的工作、恢复应恢复的状态、取得对当前状态有效的证据。主指标为配对成功率 PSR = max(R, P)(R 要求 Clean 和 Shifted 双双成功;P 为干预前提前完成的信用),另有条件保留率 CRR 度量 Clean 成功中有多少在变更后仍保留。

5. 实验结果

  • 17 个系统全部 Shifted < Clean:Clean 成功率 10.71%–67.35%,Shifted 仅 1.16%–24.79%,PSR 0.90%–20.34%。
  • 最强的 GPT-6 Astra:67.35% → 24.79%,PSR 20.34%,CRR 仅 30.20%——不到三分之一的 Clean 成功能扛住变更。
  • 工具/会话变更和过期证据两类变更下,所有系统 PSR 均为 0——这是全行业的共同盲区。
  • 有趣的反例:Kimi-K3 Clean 31.41% 但 CRR 25.12%;DeepSeek-V4-Pro Clean 更低(29.37%)却 PSR/CRR 更高(8.83%/29.15%)。基线能力强 ≠ 抗变更能力强,两者是独立的维度。
  • 诊断实验:给 Agent 加变更通知、只读状态刷新、清空变更前对话,合计可提升 5.98–8.71 个 PSR 点,但治标不治本;把干预后 token 预算从 100 万加到 1600 万(16 倍),PSR 最终仍停留在 7%–12%——这不是算力能解决的问题。

6. 深层洞察

这篇论文真正打中的是「静态评估 vs 动态现实」的结构性错位。我们用固定环境的基准选拔出的 Agent,本质上是在训练「考试型选手」:它们擅长在一次性、不可变的上下文里解题,却不具备真实工程最核心的能力——感知世界已经变了、丢弃过期假设、保留他人有效工作。CRR 与 Clean 成功率的解耦尤其重要:它暗示「强」和「稳」是两种不同的能力,未来 Agent 的竞争可能不在于谁 Clean 分更高,而在于谁 CRR 更高。零配对成功的两类变更(工具/会话变更、过期证据)指向同一个根因:Agent 对「证据新鲜度」没有内建的校验机制,它会自信地拿旧观察当事实用。

7. 局限性

作者自己指出:只测了单次变更,真实工作流中变更是反复发生的;干预后 token 预算固定;场景构建基于参考解法的进度锚点,与被测 Agent 的实际语义进度不完全对齐。此外 120 个场景对 12 个变更族来说样本量偏小(每族 10 个),族内结论的统计功效有限。

8. 工程实践启示

  • 别把基准分当 SLA:选型编码 Agent 时,静态基准分只说明下限,长任务、多协作者场景下的表现要单独验证。
  • 给 Agent 装上「变更感知」:诊断实验表明,显式的变更通知 + 状态刷新 + 适度清空历史就能白拿近 6–9 个点,成本极低,值得直接抄进 Agent 框架设计。
  • 证据新鲜度校验是空白地带:所有系统在过期证据上全军覆没,谁先在 Agent 循环里加入「观察结果的时间戳/版本校验」,谁就补上了行业级的短板。
  • 长任务的上下文管理:无脑堆 token 无效(16 倍预算只换来不到 0.3 个点),方向应是更好的状态同步策略而非更长的思考。