每日论文精读 #049:用越狱提示给黑盒推理模型做不确定性量化
把越狱式提示变换反过来用在良性问题上,恢复被RL对齐压制的输出多样性,让黑盒推理模型的置信度校准显著改善。
把越狱式提示变换反过来用在良性问题上,恢复被RL对齐压制的输出多样性,让黑盒推理模型的置信度校准显著改善。
把论文证据编译成带所有权和禁止项的仓库级规格,Paper2CodeBench 忠实度相对提升13.8%,高严重性错误减半。
ShieldCLIP用逐模态安全标签替代整对标注,只重定向真正不安全的分支,有害输出更少且良性表征几乎零损伤。
categories: [“论文精读”] summary: “一条几乎全由确定性代码构成的检索链(混合召回+重排+证据包编译+机械脚手架),LLM只在最后当可替换阅读器,在LongMemEval-S上双跑479/475,正负跨过已发表SOTA 478——并诚实量化了评委噪声。” 📌 系列导航:🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站 论文信息 项目 内容 日期 2026-10-01 论文 Auditable Long-Term Memory: A Deterministic Retrieval Chain Measured at 479/475 of 500 on LongMemEval-S 作者 Christopher J. Chanhnourack(Centennial Defense Systems) 链接 arXiv:2609.38021 代码/证据 longmemeval-evidence(MIT,含数据包、评委裁决、对照组记录) 领域 RAG / 长程记忆检索 一句话总结 把长程对话记忆系统里LLM的角色压缩到最后一步"读证据包并作答",其余检索全链路用确定性代码实现,在LongMemEval-S上双跑得分479/475,恰好骑在已发表SOTA(478)两侧——同时用两遍规则、第二评委和负对照,把排行榜上一两分差距其实是测量噪声这件事摆到了台面上。 解决什么问题 带长期记忆的对话助手需要回答"我一共看过几位医生"这类问题,证据散落在几十个历史会话里。真正的失败是安静的失败:系统没检索到那个关键会话,却能流利地给出错误答案。而且事后无法核查"它为什么这么答"。现有方案(MemGPT、Mem0、Zep等)把智能塞进记忆管理和LLM调用里,过程不可审计。另外,长上下文榜单顶部的分差只有几分,单次跑分+LLM评委,让排名部分成了测量噪声的产物。 核心方法 五段式链条,前四段全是确定性代码,字节级可复现: 混合候选召回:稠密向量检索 + 关键词全文检索 + 一条有界语义扩展通道(只增候选不重排)。470个可答题中468题的金标会话全部进入候选池,其中10个金标会话只靠语义扩展通道捞回。 交叉编码器重排:bge-reranker-v2-m3 对每个会话按问题打分,会话分=最大chunk分,fp16定批+按先前名次打破平局,保证排序确定。 覆盖优先的证据包编译:硬预算16会话/40k token。稠密基线top-10原样保留为前缀,其余槽位按交叉编码器序填充并做保词抽取压缩;超出预算先丢最低名次的扩展。462/470题的证据包是"金标完备"的。编译器通过金标打乱、ID破坏、双编译字节一致等负对照验证。 确定性推理脚手架(约240题启用):从证据包机械地生成时间线、用户陈述的时钟粒度新鲜度序、取值偏好不变量、计数枚举汇总——代码实现,内部不一致即抛错。 可替换阅读器:LLM只出现这一次。同一批冻结证据包喂给8个不同阅读器(闭卷93分到Opus 479分的阅读器曲线),换阅读器不用动上游任何东西。 最值得学的是测量纪律:发布前冻结"双跑一致才算数"的晋升规则;用第二评委(GLM-5.3)复评,一致率98.6%但双跑都只给472;官方评委对字节相同的答案复评也会翻3个裁决。任何"改进组件"先过60行负对照(曾在基线正确的题上零翻转才准上线)——一个能修好3道错题的验证器因为弄坏了11道对的题而被否决。 实验结果 Opus阅读器双跑:479/500 与 475/500(官方GPT-4o评委),报为477±2,骑跨Chronos High的478;双跑稳定下限473。 grok-4.6-high同包:476/474;最高推理档agentic变体反而退步到461/465(20个损失里15个是"过度怀疑"签名:该答的弃答、计数过滤过头)。 评委噪声:官方评委复评字节相同的pass-1答案从479变478;两个评委在500行里分歧7行。 负对照抓住的真陷阱:xhigh变体上线前的25行探针(找回9题)和60行零翻转对照都看涨,全量双跑却净回归——60行对照撞上约3.4%真实翻转率时有约13%概率恰好零翻转。 分类别看:对SOTA的净+1来自multi-session +2、SSU/TR各+1,抵掉knowledge-update −3。 深层洞察 这篇真正的贡献不是"479",而是三件事。其一,可审计性可以工程化:LLM退到"可替换阅读器"这个角色后,从证据包往后的每个产物都能发布、复核、换模型重跑——这比黑盒agent记忆系统在严肃场景(本文作者来自国防承包商,背景不言自明)的价值大得多。其二,榜单顶部是噪声海:一分之差小于评委自身的翻转率,社区却常拿它排座次;文中顺手指出Mastra的94.87%其实是类别平均、原始分468,OMEGA的95.4%换了个非官方评委。其三,负对照是防自欺的唯一手段:能修复3个错误样本的组件,可能在你看不见的地方毁掉11个正确样本;小规模探针+小对照集在3.4%翻转率下根本不够置信。 ...
RepoReuse基准审计发现:编码Agent第5轮时50.8%的任务链留下重复实现,而通过率几乎不变——以测试为中心的评估对代码复用缺陷结构性失明。
CMC框架将长上下文压缩为与冻结解码器嵌入空间对齐的记忆向量,问题引导Top-K检索+局部窗口双层KV缓存,QA精度反升的同时推理时间/能耗降20%、峰值显存降50%。
GRACE构建了1915条加拿大法律对抗推理数据集,微调后的4B小模型开卷表现大幅提升,但一旦不给法条原文,无依据引用率从19.5%暴涨至83.2%——流畅的法律腔反而更危险。
PaperCompiler 将论文证据编译为显式的仓库级实现规格(含不可降级约束、文件所有权与跨文件依赖),在 Paper2CodeBench 上参考保真度相对提升 13.8%,高危缺陷率减半。
CMC 框架把长上下文压缩成与答案对齐的记忆嵌入,冻结解码器即可使用,SQuAD 提升 7.3 EM,推理省时省电 20%、峰值显存减半。
阿里通义与复旦提出 RPMem:把每个会话编译成与骨干模型无关的潜在记忆,经循环门控整合后解码为 LoRA 参数,实现跨会话进化、近常数成本、且换底座模型后记忆仍可复用的参数化记忆框架。
VideoMM将token选择与细粒度推理解耦:在降采样的宏观代理上做语义筛选,仅对不确定样本按需激活高分辨率微观token,长视频理解提速6.13倍且精度反升7.4%。
LGM用稀疏自编码器解耦记忆、按查询动态构建潜空间图,以16个潜前缀token替代全文回放,在隐式偏好推断上超过GPT-5。
提出针对工具型LLM Agent四类攻击(直接/间接注入、记忆投毒、后门)的统一多层防御框架,工具过滤+工具集恢复+提示工程组合在多种模型上实现0%攻击成功率且不伤任务性能。
PaperCompiler把论文复现中的自由文本计划换成显式的仓库级规格说明:证据分级、需求到文件的归属映射、非退化约束,让生成代码对论文方法的保真度提升13.8%。
VoT不再把VLM当文本编码器用,而是让它先生成一组离散的视觉计划token(物体、布局),再交给DiT渲染像素,用闭环三重损失训练的VoT tokenizer打通了语言语义与视觉信号之间的可解释接口。