每日论文精读 #044:把长上下文压成「答案对齐」的记忆向量,推理提速20%、显存省一半
tags: [“论文精读”, “记忆”] categories: [“论文精读”] summary: “CMC框架将长上下文压缩为与冻结解码器嵌入空间对齐的记忆向量CME,配合问题引导的两级KV缓存,在四个QA基准上提升EM/F1的同时降低20%推理能耗与50%峰值显存。” 📌 系列导航:🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站 论文信息 项目 内容 日期 2026-09-28 论文 Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference 作者 Md Mostafizer Rahman, Md Faizul Ibne Amin, Md Shahajada Mia, Yutaka Watanobe, Fang Liu 机构 会津大学(日本)、圣母大学(美国) 链接 arXiv:2609.25537 代码 未提供 一句话总结 CMC框架把长上下文压缩成一组紧凑的"上下文记忆嵌入"(CME),投影到任意冻结解码器的嵌入空间,再用问题引导的两级KV缓存做推理——不动解码器一根权重,就让QA任务涨点、推理时间与能耗降20%、峰值显存降50%。 解决什么问题 LLM长上下文推理有两大瓶颈:self-attention计算随序列长度平方增长,KV cache随长度线性增长。已有的软压缩方法(ICAE、AutoCompressor、xRAG、PCC等)存在三个缺口: 推理时没有查询引导:像PCC把全部压缩记忆槽均匀喂给解码器,与问题无关; 训练没有面向答案的监督:只做文本重建,压缩出来的向量未必包含回答问题所需的信息; 与特定解码器架构耦合:换一个decoder就要重新设计。 核心方法 CMC由三个组件构成: 1. ContextEncoder(可训练):先做图式去噪——计算每个token与其后g个邻居的余弦相似度,低于阈值τ的孤立token直接丢弃;然后把去噪后的上下文切成定长t的分段,每段末尾追加m(c)个<MEM>占位符,用causal LM让占位符的隐状态吸收整段内容,形成CME。压缩率 r = t/m(c),实验中r=4最优。 ...