论文信息
| 项目 | 内容 |
|---|---|
| 日期 | 2026-11-02 |
| 论文 | V-LUMEN: Visual Lookup Memory for Embedding Scaling in Vision-Language Models |
| 作者 | Miso Choi, Daekeun Kim, Eunji Kim, Jungbeom Lee |
| 机构 | 高丽大学（Korea University）；NeurIPS 2026 接收 |
| 链接 | https://arxiv.org/abs/2610.37019 |
| 代码 | https://github.com/miso-choi/V-Lumen |
一句话总结
把 LLM 侧的「查找式外部记忆」思路移植到 VLM 的视觉通道：用冻结码本 + 空间哈希 + 文本条件哈希为每个视觉 token 寻址一块外挂记忆表，让模型容量随存储增长而每 token 计算量不变。
解决什么问题
语言模型已经证明了 embedding-level scaling 的可行性（Engram、STEM、SCONE 等）：不加深不加宽，靠一张巨大的可查找嵌入表扩容，每次只稀疏读几行。但这条路径依赖离散 token 序列做 n-gram 哈希。视觉特征是连续的、空间结构化的（2D patch 网格）、且与问题相关（同一块图在不同问题下的意义不同），无法直接照搬。V-LUMEN 回答的问题是：能否让 VLM 的视觉容量也"长在存储里，而不是长在计算里"？
核心方法
三个非参数寻址组件 + 一个参数化融合通道：
- 视觉嵌入扩展（冻结码本离散化）：用预训练 LaVIT 码本（V=16384, d=32）+ 冻结随机投影把每个 patch 特征映射为一个视觉码 ID，形成稳定的地址空间。随机投影近似保距，相近特征得到相近码。
- 空间聚合哈希（SAH）：对码 ID 网格做行/列轴向池化（取众数或确定性哈希），按 β 混合回每个格子，再用 4×4 粗位置盐值 XOR 注入绝对位置。同一码在不同位置、不同邻域下命中不同记忆槽——特别适配图表/文档这类行列结构化输入。全程无参数，只有 β 一个超参。
- 文本条件哈希（TCH，PRH/DRH）：用粗粒度文本-视觉相关性信号调制哈希键，使同一 patch 在不同问题下路由到不同记忆槽，实现查询自适应检索。
- 多头条件门控（MHCG）融合：检索到的记忆向量通过逐 cell 独立门控的残差通路注入冻结主干（h’ = h + Fuse(h, e)），只在 2 个解码层注入。梯度只流过记忆表和融合层，寻址全程非参数。
实验结果
- 冻结 Qwen3-VL-2B 主干 + V-LUMEN，在 5 个推理密集基准（图表、文档、多学科理解）上全部提升；
- 对 3 个训练图像完全不重叠的基准实现零样本迁移；
- 等参数预算下，「小 LoRA/MoE + V-LUMEN」与「大 LoRA/MoE」打平，且 MoE 结论在 InternVL3.5-2B 上复现——说明外部视觉记忆是与适配方法正交的独立容量轴；
- 查找延迟在表大小 40× 变化范围内恒定，只在 prefill 发生一次，不增加 decode 每 token 延迟。
深层洞察
这篇论文的真正贡献是一个视角转换：容量不必以稠密计算的形式存在。推荐系统工业界早已用 CPU/SSD 托管巨型嵌入表，LLM 侧的 Engram 验证了文本可行性，V-LUMEN 把它推到了最难离散化的模态——视觉。「同预算下把 adapter 容量换成外部记忆不掉点」这一实验设计很聪明，它证明的不是"更好的微调方法"，而是一种新的扩容维度。这暗示未来的多模态系统可能像推荐系统一样，把世界知识外置在存储层，GPU 只放主干和计算。
局限性
- 码本和哈希设计有大量手工成分（众数/排序哈希、盐值质数、β），视觉地址空间的划分质量直接决定上限；
- 只验证了 2B 级小主干，大模型上收益是否保持未知；
- 「记忆驻留 CPU/SSD 按需拉取」目前只是愿景，留作未来工作；
- 哈希寻址不可避免有碰撞，错误记忆的干扰缺乏分析。
工程实践启示
- 需要在不重训主干、不动推理延迟的前提下给 VLM"加知识"时，外挂查找记忆是值得尝试的路线；
- 冻结随机投影 + 码本是一套廉价、可复用的连续特征离散化方案；
- 稀疏读取的嵌入表天然适合放 host memory，GPU 显存预算紧张的场景可参考推荐系统的部署范式。