每日论文精读 #057：模型配对先做兼容性体检，训练前的k-NN重叠度预测对齐成功率

📌 系列导航：🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站

论文信息

一句话总结

COMPASS 提出一个训练前诊断：用两个编码器在探测集上的局部 k-NN 邻域重叠度，把「这对模型值不值得花算力去对齐/合并」变成可以提前打分排序的问题，跨模态对齐上的预测与下游成功的相关系数高达 0.91。

解决什么问题

组合预训练模型是现代 AI 系统的标准操作：把视觉编码器与语言模型对齐（如 CLIP 式），或把多个微调 checkpoint 做任务算术合并。但组合的成败只有在真正跑完昂贵的对齐/合并训练后才知道——如果编码器和语言模型不兼容，配对数据、GPU 时全部浪费。挑选候选对通常靠暴力试错，成本随「对数」增长。此前有单模型可迁移性指标（如 LEEP），但「模型对」的兼容性缺少事前诊断。

核心方法

COMPASS（COMPatibility ASsessment Score）建立在「亚里士多德表示假说」的观察上：不同模型的收敛主要体现在局部邻域（谁和谁相近）而非全局几何。它把兼容性分解为两个低成本轴：

1. Ease（起点契合度，pair-specific）：在训练开始前（对齐前的编码器 / 合并前的 checkpoint），对探测集每个样本计算两个编码器各自的 k-NN 集合的重叠比例：

   o_i = |kNN_X(i) ∩ kNN_Y(i)| / k，全数据集取平均得 O。

   定理 4.1 表明初始重叠越高，有限训练预算内收敛到高一致性的速度越快——起点近的对只需少量训练。

2. Ceiling（范式上限，paradigm-level）：基于 I-Con 框架（用 KL 散度统一对比/聚类等目标），估计两个训练范式（如重建式 vs 自回归）平均能支撑的最大局部重叠。定理 4.2 给出范式差异决定可达重叠的上界——范式不匹配，怎么训都顶不上去。

两轴相乘得连续 COMPASS 分数用于排序；各自按中位数二值化后得到四象限决策图：act now（双高，立即做）、budget-limited（起点低但天花板高，值得加算力）、ceiling-limited（起点高但天花板低，换预训练范式）、incompatible（双低，放弃）。整个流程每个模型只需编码探测集一次，成本随模型数而非对数增长。

实验结果

• 跨模态对齐：72 组视觉-语言编码器对。COMPASS 对下游检索 R@1 的预测在 Flickr30k 上 Pearson 相关 0.90、COCO 上 0.91；对照的全局 CKA 仅 0.63 / 0.68。
• 任务算术合并：14 个 ViT checkpoint 的 392 对合并。COMPASS 预测 8 个图像分类任务平均保留率的相关为 0.70，全局 CKA 仅 0.25。
• k 取 10，在 k∈{20,50,100} 下结论不变（附录 H.2）。

深层洞察

这篇工作的深层价值在于把「表示收敛」从观察推向了决策。Platonic 假说说模型会收敛到共享全局表示，Aristotelian 假说修正为「只有局部邻域一致」——本文正是抓住局部重叠这一可廉价测量的量，配合 KL 散度视角的训练目标理论，把表示相似性变成了模型选择的先验。对多模态系统（选哪个视觉编码器配哪个 LLM）和模型合并生态（哪些 checkpoint 可合）都是「把试错成本前置压缩」的关键一步。

局限性

• 相关性 ≠ 因果：COMPASS 是经验诊断，定理只是支撑性动机，并非普适保证（作者在附录 A、F.1 自陈失败模式）。
• 实验覆盖视觉-语言对齐与 ViT 分类合并两大场景，但 LLM+LLM 合并、RLHF 后的 checkpoint 组合尚未验证。
• ease 分数依赖探测集选择，探测集与下游分布偏差大时预测力可能下降。
• 0.70 的合并相关虽远超 CKA，但离「精确预测合并质量」仍有距离，四象限更适合做粗筛。

工程实践启示

• 搭多模态系统时，先跑 COMPASS 粗筛候选编码器对，把 GPU 预算集中给 budget-limited 象限，可以直接砍掉大量无效配对实验。
• k-NN 重叠只需每个模型编码一次探测集（几百到几千样本即可），实现成本极低，值得作为模型库的标准「体检指标」随 checkpoint 一起存储。
• 维护模型仓库时按范式聚类（对比/重建/自回归），范式距离本身就是一个便宜的门控信号。
• 四象限决策图可直接映射到工程动作：优先级排序、预算分配、是否换底座，比单一分数更可解释。