title: “每日论文精读 #067：给视觉语言模型外挂一块『查询免费』的视觉记忆” title: “每日论文精读 #067：给视觉语言模型外挂一块"查询免费"的视觉记忆” date: 2026-10-29T06:50:00+08:00 draft: false tags: [“论文精读”, “记忆”] categories: [“论文精读”] summary: “V-LUMEN 把 LLM 的 n-gram 查找记忆扩展到视觉侧：冻结码本离散化 + 空间哈希 + 文本条件哈希，让冻结的 Qwen3-VL-2B 五个推理基准平均提升 17.8 分，且容量随存储而非每 token 计算增长。”
论文信息
| 项目 | 内容 |
|---|---|
| 日期 | 2026-10-29 |
| 论文 | V-LUMEN: Visual Lookup Memory for Embedding Scaling in Vision-Language Models |
| 作者 | Miso Choi, Daekeun Kim, Eunji Kim, Jungbeom Lee |
| 机构 | 高丽大学（Korea University） |
| 链接 | https://arxiv.org/abs/2610.37019 |
| 代码 | https://github.com/miso-choi/V-Lumen |
| 发表 | NeurIPS 2026 已接收 |
一句话总结
把语言模型"嵌入级扩展"（n-gram 查找记忆）的思路移植到视觉语言模型：通过冻结码本 + 空间哈希 + 文本条件哈希，为 VLM 外挂一块只按需稀疏读取的视觉记忆表，让冻结的 Qwen3-VL-2B 在五个推理基准上平均提升约 17.8 个百分点，且模型容量随存储增长而不是随每 token 计算增长。
解决什么问题
扩大 VLM 的视觉表示容量，传统上要加深加宽骨干网络，每次前向传播都付出稠密计算代价。LLM 领域最近出现了 Engram、STEM、SCONE 等查找式外部记忆：容量随表格大小增长，每 token 激活计算不变。但它们都依赖离散 token 字母表，而视觉特征是连续的、二维空间排布的、且相关性依赖于问题本身——同一块图像 patch 在不同问题下含义不同。V-LUMEN 解决的就是"如何把查找式记忆推广到视觉侧"。
核心方法
V-LUMEN 由三个非参数寻址组件 + 一个可学习融合层组成，注入到 LLM 解码器的两层（主实验取 L=2）做残差融合：
视觉嵌入扩展（冻结码本离散化）：用预训练 LaVIT 码本（V=16384, d=32），冻结随机投影把 patch 特征映射后取最近邻码本索引，把连续视觉特征变成稳定的离散"视觉词表"。随机投影由 Johnson–Lindenstrauss 引理保证近似保距，只需稳定可复用的划分，不需重建表示。
空间聚合哈希（SAH）：对 8×8 的码本 ID 网格做轴向池化（行/列摘要：有重复取众数，否则对排序后 ID 做确定性滚动哈希），按权重 β 混合回每个格子；再加坐标偏置（4×4 粗位置网格与质数盐做 XOR）。同一视觉码在不同位置会路由到不同记忆槽，捕获图表、文档等的行列结构。全程无参数。
文本条件哈希（TCH）：通过投影相关性哈希（PRH）及其去偏变体（DRH），用文本到视觉的粗粒度相关信号调制记忆键，使同一 patch 在不同问题下命中不同记忆槽——检索是 query-aware 的。
多头条件门控（MHCG）：检索到的记忆向量按每个 cell 独立门控，以残差形式融合回隐藏状态：h’ = h + Fuse(h, e)。只有记忆表和融合层带梯度，骨干冻结。
实验结果
- 冻结骨干：Qwen3-VL-2B 冻结 + V-LUMEN，五个推理密集基准（ChartMuseum、FRIEDA、VisRes、MMMU、MMMU-Pro）全部提升，平均 +17.79 ± 0.47 pp。
- 零样本迁移：在三个与训练数据图像来源完全不相交的基准上，V-LUMEN 在所有种子下均超过冻结骨干——记忆编码的是可复用的视觉先验而非记住训练分布。
- 等预算对比：把 LoRA/MoE 适配器一半预算（k=0.5）换成 V-LUMEN，MoE 组 +16.92 vs +16.85 pp，LoRA 组 +21.15 vs +20.58 pp，均在一个种子标准差内——容量可以搬到稀疏记忆里而不掉点。
- 成本：查找延迟在 40 倍表格大小范围内恒定，只在 prefill 一次性发生，不增加逐 token 解码延迟。logit-lens 分析显示 V-LUMEN 让中间层更早逼近最终预测（与文本侧 Engram 的"加速收敛"一致）。
深层洞察
这篇论文最重要的论点不是"V-LUMEN 更强"，而是它论证了外部视觉记忆是一条独立的容量轴：与加宽、加深、LoRA、MoE 都正交，容量增长体现在存储（可以放 CPU 内存甚至 SSD）而非每 token 计算。这与工业推荐系统的大嵌入表、Gemma 3n 的层外嵌入是同一个方向——模型能力与 GPU 上激活的参数量解耦。对多模态来说，“视觉知识"天然比文本更适合外置：它体积大、访问稀疏、可按需取回。
局限性
- 只在 2B 骨干上验证，容量轴是否随规模保持未知。
- 增加记忆行数目前"免费但不涨点”，涨点来自加宽记忆向量——大表格的利用率问题未解决。
- 寻址依赖冻结码本与视觉编码器绑定，视觉塔更新后码本分布漂移，记忆可能需要重训。
- CPU/SSD 侧服务记忆只是"原则上可行"，实验仍全部在 GPU 内存中完成。
- 主基准采用 10% few-shot 协议（骨干在这些新基准上接近零分），与社区常见的完整评测不完全可比。
工程实践启示
- 需要给多模态模型"补充视觉知识"但不想动模型权重时，外挂哈希寻址的记忆表是一条可行路径：训练只碰记忆表和小融合层，骨干完全冻结。
- 哈希寻址 + 稀疏读取意味着记忆可以放显存之外，这对边缘设备上部署大容量多模态模型很有吸引力。
- 等预算下"适配器 + 记忆"与"更大适配器"打平的结论提示：调参预算紧张时，把一部分容量预算划给可外置的记忆，不亏精度还省激活计算。