论文信息
| 项目 | 内容 |
|---|---|
| 日期 | 2026-10-27 |
| 论文 | Where Should a Stuck Agent Spend Its Next Tokens? Causal Attribution of Inference-Time Resources |
| 作者 | Saiyue Lyu, Jerrold Huang, Yunbei Zhang, Janet Wang, Zhenting Wang, Yingqiang Ge, Haibo Zhang |
| 机构 | UBC、University of Toronto、Tulane、Rutgers、Kyushu Institute of Technology |
| 链接 | https://arxiv.org/abs/2610.28834 |
| 代码 | 论文附带冻结checkpoint与逐cell结果（见论文§3） |
一句话总结
把推理时资源（计算/信息/反馈）当作合作博弈的玩家做因果归因，发现编码Agent修复失败的真正瓶颈是"任务相关信息"，而前沿模型却患上了"反馈依赖症"，选资源的效果还不如随机。
解决什么问题
推理时扩展（inference-time scaling）通常被当作一个单维的token预算问题：更多思维链、更多采样、更多搜索。但一个卡住的编码Agent，下一个token其实能买到三种性质不同的东西：
- 计算（C）：不引入新观察，多想一会儿
- 信息（I）：文档、规格说明、检索到的代码
- 反馈（F）：执行当前产物、看哪里挂了
已有的端到端对比实验无法回答"在同一个失败状态上，到底哪种资源才是瓶颈"，因为轨迹上资源、状态、修改三者一起变。这篇论文给出了第一个受控的因果测量。
核心方法：Banzhaf Resource Attribution（BRA）
关键设计是checkpoint条件化的反事实分叉：
- 冻结失败状态 s=(x, y, h)：任务、失败产物、历史上下文一起固定
- 2³ 全因子克隆：把同一个checkpoint克隆到8个cell（C/I/F 的有无组合），每个cell只通过自己的通道注入对应资源
- 统一修订协议：所有cell用同一个模型、同一个prompt模板、同样的输出预算做一次修订，差异全部归因于资源
- 博弈论归因：每种资源的价值 = 其边际贡献对所有其他资源bundle的平均，即 Banzhaf值 β_X = 2^(1-n) Σ MV_X(T)；资源间的替代/互补由Harsanyi红利（Möbius系数）精确分解
三资源做了精心的正交化处理：计算是只读的分析调用（不许执行/检索/改代码）；信息是与产物无关的任务侧packet（分检索→定位→行为→规格四个阶梯，配长度匹配的安慰剂对照）；反馈是公开测试的执行报告（与held-out评分测试严格隔离）。还带了泄漏审计和剂量梯度（256–4096 token），方法学相当扎实。
实验结果
六个模型（Qwen3-4B/14B/32B、DeepSeek-V3.2、GPT-5.6、Claude Sonnet 4.5），194个函数级失败（MBPP+/HumanEval+）+ 126个仓库级失败（SWE-bench Verified）：
- 信息是约束资源，且必须是对的信息：经审计的规格说明对所有模型都提升held-out效用，函数级 +0.06
0.14，仓库级 +0.050.10；等长的无关文本一文不值，检索到的仓库代码也几乎没用 - 公开测试反馈最多值0.03
- 计算的价值随能力下降：从4B到前沿模型，计算的Banzhaf值从0.131跌到0.007；信息始终保持在0.06~0.14。瓶颈随规模从计算迁移到信息
- 资源间普遍替代（pairwise交互为负或零），但信息内部互补：只告诉"改哪里"没用，只告诉"改什么"约值全部效应的一半，两者合起来才是全部
- 最扎心的发现：四个前沿模型里有三个在95–100%的情况下选择要反馈（最不值钱的资源），其选择实现的收益低于均匀随机选资源
深层洞察
这篇论文对"Agent该花多少token想"这个热问题做了一个釜底抽薪式的转向：问题不是预算多少，而是预算该买什么。答案很反直觉——模型能力越强，“多想"越不值钱，“知道要什么"越值钱。这也解释了为什么spec写得好的任务Agent表现好：spec才是真正的scaling axis。
“反馈依赖症"这一发现尤其值得警惕：模型在训练中学到了"跑一下看看"的强先验，但在这个先验不适用的场景里，它系统性地做出比随机更差的选择。这是对Agent自主决策能力的一记警钟——模型知道自己该要什么资源，目前还做不到。
局限性
- 信息通道的"规格"rung是从参考答案反向构造的，作者自己也承认这是"信息能做到什么"的工具性测量，不是"系统能实际获得什么”——真实系统中没人给你发标准答案规格
- 只测了编码修复这一个场景；开放式任务（写作、研究）中反馈的价值可能完全不同
- 单次修订协议虽然干净，但排除了多轮迭代中资源组合的动态价值
- 反馈依赖的结论基于"选择probe"范式，模型可能没把probe当作真实决策情境
工程实践启示
- 别急着让Agent多跑测试：在修复流程里，优先注入高质量的任务规格/行为描述，性价比远高于反复执行看报错
- 给强模型配信息管道而非算力：前沿模型上堆思维链预算的边际收益趋近于零，投资RAG返回质量（但要返回"规格级"理解而非裸代码片段——BM25检索代码基本没用）
- 信息要成套给：“改哪里”+“改成什么"要一起给，单独给定位信息没价值
- Agent的资源选择策略值得显式干预：与其让模型自己选下一步要什么，不如用规则或训练矫正其反馈偏好——毕竟现在它选得还不如掷骰子