📌 系列导航:🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站

论文信息

项目内容
日期2026-11-16
论文CoReMem: Cost-Internalizing Memory for Successive Coding Tasks with Prospective Valuation
作者Peiwen Li, Harshit Verma, Sophia Zhou, Haiwen Wang, Ngoc Bui, Heng Chang, Fei Fei, David van Dijk, Rex Ying
机构Yale University / 清华大学 / Goodvision AI
链接arXiv:2611.17316
代码匿名仓库

一句话总结

CoReMem 把「记忆值多少钱」变成可测量的量:用下一个未知任务上的实际节省(步数、token)来决定记忆存什么、以及训练 actor 怎么用记忆,最终在 ChainSWE 上让 27B 模型解决率从 21.0% 提升到 25.7%,同时步数减少 17%、总 token 减少 11%。

解决什么问题

真实的 Coding Agent 是在同一个不断演进的仓库上连续干活:任务 T1 改完代码、留下仓库状态,任务 T2 在这个被改过的状态上继续。任务边界处能跨过去的只有一段写下的记忆——因为下一个任务是什么,写记忆时并不知道。

论文先做了一个很扎心的测量:把 Mem0 的事实、MemOp 的指南、ReasoningBank 的策略、甚至完整历史,都搬到 ChainSWE 上跑,没有任何一种现有记忆形式能同时降低步数和总 token。有的确实提高了解决率,但那是「花钱买分辨率」——记忆模块自己消耗的 token 比省下来的还多。

所以核心问题是:如何让记忆真正为未知的下一个任务省钱,而不是自我安慰式的信息囤积。

核心方法

1. 前瞻性分段估值

定义记忆 m 在边界 b 的前瞻价值:Δy(m|b) = E[y(m)] − E[y(∅)],即下一个任务带记忆与不带记忆的期望结果差。注意估值发生在继承的仓库状态上,而不是产生记忆的那个任务上——这正是连续任务设置和以往跨任务记忆工作的关键区别(MemOp 每个任务都重置仓库,所以只能在源任务上估值)。

把轨迹切成七类片段(推理文本、命令、观察输出、diff 等),逐一移除并测量下一任务的步数/token 变化(ν_c、κ_c),只保留「移除后步数上升」的片段。结论非常清晰:价值集中在锚点上——仓库位置引用和可执行检查。于是记忆被设计为紧凑的 WHERE + VERIFY 形式。

2. 来源门控价值信用训练

记忆只有被 actor 用上才值钱。CoReMem 用成组 rollout(有记忆 / 无记忆 / 错位记忆)在策略上估计记忆价值 V = R̄_m − R̄_∅,奖励函数优先解决、惩罚成功内的步数。然后关键一步:只把价值增量付给「确实使用了记忆所提供锚点」的步骤(门控 ω_t),其余步骤只保留结果信用。论文还证明:如果把同样的价值付给每一步,这个推力会消失。

实验结果

  • ChainSWE(100 条任务链,训练/测试仓库不相交,mini-swe-agent 环境);
  • 27B actor:解决率 21.0% → 25.7%,步数 −17%,cache-aware 总 token −11%(含记忆模块自身开销);
  • 平均而言,三种不同 actor 上「每 token 解决率」相比无记忆提升 41%;
  • 消融:CoReMem 不训练就已接近「步数和 token 双降」的理想象限(图3中的星标),训练进一步放大收益;
  • 记忆密度分析:CoReMem 每千字符的锚点数最多,下一任务平均实际使用 1.32 个锚点。

深层洞察

这篇论文最有价值的地方是把记忆经济学变成一等公民。社区讨论 Agent 记忆时习惯问「存什么、怎么检索」,本文换了一个问题:「这段信息在未来的任务上到底省了多少步、多少 token?」——并用对照实验直接测出来。分段估值的结果(价值浓缩于锚点)不是拍脑袋的 schema 设计,而是测量出来的结构,这本身就是方法论上的示范。

「位置 + 可执行检查」这个锚点形态也暗合软件工程直觉:仓库里最稳定、最可复用的知识就是「在哪里」和「怎么验证」,而不是自然语言描述的经验感悟。

局限性

  • 训练需要成组 rollout(有/无/错位记忆),推理成本不低,偏工程重量级;
  • ChainSWE 规模有限(100 条链),跨到超大规模真实仓库的泛化待验证;
  • 锚点形态是针对 coding 领域归纳的,迁移到其他 Agent 领域(对话、浏览)需重新做分段估值;
  • 记忆在任务边界只写一次,不支持任务中途更新记忆。

工程实践启示

  1. 做长期记忆系统时先测量「净节省」而非「信息覆盖率」——很多记忆模块是负资产;
  2. 给 Agent 的记忆要可操作(位置、命令、检查),不要只存总结性感悟;
  3. 「错位记忆」对照组是个好工具:检验 actor 是不是在盲目服从记忆;
  4. 奖励设计里惩罚成功内步数(step count inside success)值得直接抄;
  5. 锚点同时充当了信用分配的溯源标记,一物两用,设计很优雅。