每日论文精读 #056:检索是成本不是刚需——用模型自己的不确定性决定要不要查外部记忆
MARTA用pre-softmax logits的熵和top-1/top-2边际做"先看后跳"的门控,只在内知识不足时才检索外部记忆,匹配Active RAG精度的同时吞吐提升3.7倍、token消耗降38.4%。
MARTA用pre-softmax logits的熵和top-1/top-2边际做"先看后跳"的门控,只在内知识不足时才检索外部记忆,匹配Active RAG精度的同时吞吐提升3.7倍、token消耗降38.4%。
用封闭意图词表+参数校验器把LLM的输出锁死在白名单动作里,再用NeMo Guardrails代理把注入召回率从25%拉到94.5%——LLM应待在确定性系统的边缘,而不是中心。
腾讯SWE-Journey基准揭示:同一批长程编码任务,模型在软件架构师配合下Final F2P达78.5%,而在非程序员用户下仅23%,差距55.5个百分点——瓶颈不在解题能力而在交互能力。
跨分词器OPD中严格1:1对齐已覆盖86-97%的学生token,把reverse KL限制在学生自选top-16共享词表上即可保留96%以上蒸馏收益,而补齐mismatch监督的span MSE反而全面掉点——梯度方向一致性诊断揭示了原因。
把生物医学句向量检索器转换为System One类型化决策模型:交叉头+交叉熵+温度缩放是最优选型,RLCD的策略梯度项因奖励归一化偏差而落后2.5-3分。
CLIFT用共形校准把昂贵LLM裁判的反馈蒸馏成可复用的认证问题库,训练时提供密集步级奖励,测试时做无裁判的轨迹选择,在WebArena Infinity等三个基准上达到开源SOTA。
TaSQ通过查询引导加权、跨头归一化和协方差感知分组三步变换量化空间,让1-bit KV缓存VQ在推理和长上下文任务上显著超越现有基线。
一条确定性检索链在LongMemEval-S上逼近SOTA,LLM只做最后的读出器,且全部证据可复算。
把越狱式提示变换反过来用在良性问题上,恢复被RL对齐压制的输出多样性,让黑盒推理模型的置信度校准显著改善。
把论文证据编译成带所有权和禁止项的仓库级规格,Paper2CodeBench 忠实度相对提升13.8%,高严重性错误减半。
ShieldCLIP用逐模态安全标签替代整对标注,只重定向真正不安全的分支,有害输出更少且良性表征几乎零损伤。
RepoReuse基准审计发现:编码Agent第5轮时50.8%的任务链留下重复实现,而通过率几乎不变——以测试为中心的评估对代码复用缺陷结构性失明。
CMC框架将长上下文压缩为与冻结解码器嵌入空间对齐的记忆向量,问题引导Top-K检索+局部窗口双层KV缓存,QA精度反升的同时推理时间/能耗降20%、峰值显存降50%。
GRACE构建了1915条加拿大法律对抗推理数据集,微调后的4B小模型开卷表现大幅提升,但一旦不给法条原文,无依据引用率从19.5%暴涨至83.2%——流畅的法律腔反而更危险。
PaperCompiler 将论文证据编译为显式的仓库级实现规格(含不可降级约束、文件所有权与跨文件依赖),在 Paper2CodeBench 上参考保真度相对提升 13.8%,高危缺陷率减半。