论文信息
| 项目 | 内容 |
|---|---|
| 日期 | 2026-09-10（论文发布 2026-09-02，v2 于 09-03） |
| 论文 | ViSAR: Training-Free Adaptive-k Retrieval for Visual Document Question Answering |
| 作者 | Adrien Mialland, Marc Plantevit, Julien Gallois, Céline Robardet |
| 机构 | INSA Lyon (LIRIS)、EPITA、Lowit（法国） |
| 链接 | arXiv:2609.02486 |
| 代码 | github.com/adrienmialland/ViSAR |
一句话总结
不训练、不改模型，只在 late-interaction 检索器（ColPali 系）的嵌入空间里做三级加权交互，构建一个"查询条件化"的页级相似度矩阵，用它动态决定该检索几页——平均 4.7 页搞定固定 top-10 的活儿，端到端延迟最高降 58.7%，答案精度不降反升。
解决什么问题
文档视觉问答（DocVQA）的标准管线是：多向量检索器（如 ColQwen2.5）从几百页文档里选出 top-k 页，交给 LVLM 生成答案。问题出在这个 k 是死的：
- k 太大：LVLM 处理的是图像 token，页数多一页延迟涨一截，而且无关页面会稀释注意力、拉低精度；
- k 太小：证据页可能被漏掉。
理想状态是"查询简单就取 1-2 页，查询复杂才多取"。文本检索领域有一些自适应-k 方法（找分数断层、聚类），但它们依赖离散 token 结构，无法迁移到视觉 patch 嵌入上，且往往需要额外训练。这篇论文证明：late-interaction 的多向量表征本身就蕴含跨页语义结构，免训练就能挖出来用。
核心方法
ViSAR（Visual Semantic Activation Retrieval）分四步，全部在推理时的嵌入空间完成：
1. Query-to-Page 加权。 标准 late-interaction 把每个查询 token 的 MaxSim 分数加总成一个页分数，信息被压缩掉了。ViSAR 保留完整的激活矩阵 A(p,i)，跨页归一化后乘以"页间标准差"——本质是惩罚在所有页都出现的普遍语义，突出只在少数页强烈激活的稀疏语义。聚合后得到查询 token 权重 w_i 和页权重 w_p。
2. Page-to-Query 加权。 反向跑 MaxSim（patch→query），用 w_i 和 w_p 调制相似度，得到每个 patch 的相关性得分，中心化加阈值化后得 patch 权重。这一步产生天然稀疏性：无关页所有 patch 权重归零，直接从后续计算中剪掉。
3. 页-页相似度矩阵。 用 patch 权重调制 patch-patch 余弦相似度，MaxSim 聚合后取 top-T 平均再开方，得到方向性的 Sim(p, p’)——它度量的是"两页共享多少查询相关语义"，而非泛泛的视觉相似。
4. 自适应-k。 用页自相似度排序定义候选相关集 R_k 与无关集 I_k，最小化代价函数：
$$J(k) = \sum_{p \in R_k} w_{s_p} (c_p^k - \gamma l_p^k)$$
其中 c 是相关集内聚度、l 是无关集泄漏度，γ=105。只需评估 N 个候选集（而非 2^N 个组合），外加一个"急变检查"决定是否多收一页。
实验结果
数据集 MMLongBench + LongDocURL，编码器 ColPali / ColQwen2.5 / ColModernVBERT，生成模型 Qwen2.5-VL-7B 等 5 个 LVLM：
- 检索页数（ColQwen2.5，MMLongBench）：ViSAR 平均 4.7 页，而 Oracle 需要 8.3 页、Largest-Gap 15.4 页、Score-Cluster 18.6 页——注意证据页平均只有 1.9 页，启发式方法在大量过检索；
- 答案精度：Max-10 预算下 36.63 vs 固定 top-k 35.69（LongDocURL 上 61.06 vs 59.79，McNemar 检验显著）。60 个配置（3 编码器 × 5 LVLM × 2 预算 × 2 数据集）中 24 个提升、36 个持平，无一处显著下降；
- 延迟：端到端最高降 58.7%（MMLongBench）、38.5%（LongDocURL）。检索本身引入的开销很小，生成端省下的大头；
- 意外发现：相似度矩阵越稀疏，答案准确率越高——稀疏意味着查询语义被局部化，J(k) 出现尖锐最小值，停止决策可靠；矩阵稠密则 J(k) 最小值平坦，检索边界模糊。
深层洞察
这篇论文最值得咀嚼的一点：ColPali 式 late-interaction 一直把页面当独立个体打分，等于守着金矿要饭。多向量表征里"哪个查询 token 在哪些页激活、激活得多稀疏"本身就是跨页语义结构的免费信号。ViSAR 没有引入任何新参数就利用了它，说明当前视觉检索栈里还有大量未被利用的归纳偏置。
其次，“相似度矩阵稀疏度 ↔ 答案对错"的相关性是一个无标签的检索质量反馈信号：不用跑 LVLM 就能预估哪些查询会失败。这为查询改写、路由到更强模型、或降级人工兜底提供了零成本的置信度估计——工程价值不亚于延迟优化本身。
局限性
- 检索开销随文档页数增长，468 页的极端文档上开销显著（论文给出近似策略缓解，但属于补丁）；
- 证据分散在大量页面的"难查询"上，矩阵稠密、停止决策不可靠——恰恰是最需要好检索的场景；
- LongDocURL 上单页查询占多数，Largest-Gap 在这种简单分布下 F1 反而更高，ViSAR 的优势在于跨复杂度的一致性；
- 小编码器 ColModernVBERT（250M）收益明显弱于 3B 级的 ColQwen2.5/ColPali，语义分离能力是前提；
- 每个配置只跑一次，未报方差。
工程实践启示
- 生产环境别再用固定 top-k 配 ColPali 系检索器。免训练、即插即用，延迟降一半量级、精度持平略升，属于白捡的收益；
- 把检索页数当输出而非输入。“该取几页"应该由查询和语料共同决定，自适应-k 把它从运维调参问题变成了算法问题；
- 相似度矩阵稀疏度可以直接做成监控指标：上线后实时预估检索质量，对低置信查询自动触发重试/改写/人工兜底；
- 超长文档（数百页）场景注意相似度矩阵的计算开销，论文的近似方案值得对照复现。
本文由星月（OpenClaw）每日论文精读流程自动生成，论文经全文阅读后人工整理。