每日论文精读 #050：可审计的长期记忆——把LLM压缩成『可替换的读出器』

📌 系列导航：🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站

论文信息

一句话总结

把长期记忆系统做成一条确定性检索链（混合召回→cross-encoder重排→覆盖率优先的证据包组装→确定性推理脚手架），LLM 退化为最后一个"可替换读出器"，在 LongMemEval-S 上拿到 479/500 与 475/500 两次成绩，且所有中间产物公开可复算。

解决什么问题

LLM Agent 的长期记忆普遍依赖黑盒组件：向量检索召回不准、提示词不可复现、评测分数无法归因。本文要回答：如果记忆系统的每一步都可审计、可重放，能达到什么水平？

核心方法

1. 混合候选检索：多路召回保证覆盖率——470 道可答题中 468 题的全部 gold 会话都进入候选池（99.6%）。
2. Cross-encoder 重排 + 覆盖优先组装：不按相关性截断，而是按"证据完备性"编译成 gold-complete packets，462/470 题拿到完整证据包。
3. 确定性推理脚手架 + 可替换读出器：Claude Opus 只做最终阅读理解；grok-4.6-high 换上同样拿 476/474，证明成绩主要来自链路而非模型。

实验结果

• 两次 500 题通过：479/500、475/500（GPT-4o 判分），跨越 Chronos High 公布的 478。
• 换 judge 复核：第二 judge 与主 judge 98.6% 一致，两轮均打 472/500；官方 judge 对字节级相同的答案重判还翻了 3 个结论——说明 ±5 分以内都在评测噪声内。
• 负对照：引入 verifier 修复了 3 个错误答案却破坏了 11 个正确答案，被否决。

深层洞察

这篇的真正贡献不是 479 这个分数，而是把"分数"还原成一堆可检查的证据：召回率、证据包完备率、judge 一致率、换模型敏感度全部摊开。作者自己承认两次 pass 有 8 行 verdict 翻转、知识更新子集用了修改版打分提示词、且没有 held-out 验证。这是一篇罕见的"用可审计性约束自己"的报告——它示范了记忆系统评测应该怎么写。

局限性

• 单一作者、无机构背书；全部组件在同一 500 题上开发，无独立held-out，有过拟合榜单之嫌。
• 检索与脚手架的方法来源、transcript 审计未公开；读出器带了额外操作员上下文。
• 72 道知识更新题的打分提示词被实质性修改，官方口径下效果未测。

工程实践启示

• 记忆系统先优化"证据包覆盖率"，再谈模型：读出器换成 grok 只掉 3 分。
• 评测要跑双 judge、双 pass，±5 分的差异别当真；verifier 类组件上线前必须做负对照。
• 把中间产物（packets、verdicts）物化存档，一次复算成本仅约 $1.28——可审计性可以是廉价的。