每日论文精读 #037：点积相似度为何总跑输余弦？PACE用渐进式训练解放嵌入范数

📌 系列导航：🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站

论文信息

一句话总结

PACE用"先余弦后点积、先LoRA后全参"的两阶段课程训练，解决了点积相似度直接优化不稳定的老问题，让嵌入向量的范数（模长）从被丢弃的副产品变成可用的语义信号。

解决什么问题

多模态嵌入模型（CLIP、各类MLLM embedder）几乎清一色用ℓ2归一化后的余弦相似度做对比学习。这换来了训练稳定，但代价是：范数信息被硬性抹掉，语义兼容性被限制在角度几何里。而检索/推荐领域早就知道，未归一化的内积（MIPS）表达力更强，范数本身可以编码任务相关的相关性信息。

矛盾在于：直接用点积目标训练，效果反而不如余弦，而且loss轨迹会出现后期反复尖峰。这篇论文首次系统诊断了这个"表达力更强却练不好"的悖论。

核心方法

诊断（最有价值的部分）：作者发现两大病灶——

1. 角度-范数纠缠：从训练起点就同时学方向和模长，两者会编码冗余而非互补的信息。PCA可视化显示，点积训练产出了"按范数分层"的方向结构（同范数的向量挤在一起），而余弦训练中方向与范数无关。
2. 方向各向异性：点积训练让嵌入方向收缩到窄锥内，随机配对的余弦相似度整体偏高，语义无关的实例获得虚假高分，加剧hubness问题。全参微调会进一步放大这些困难——同时扩大表示空间和参数空间，早期优化难度倍增。

PACE两阶段框架：

• Stage I：余弦目标 + LoRA。在受约束的表示空间（只有角度）和参数空间（低秩子空间）内，先建立可靠的角度几何。
• Stage II：切换到点积相似度 + 全参微调。从Stage I的解出发，方向和范数开始联合编码语义。一阶梯度分析表明，渐进式初始化使径向-角度的交叉Jacobian交互局部变弱，从机制上缓解纠缠。

Focal Embedding Loss：受focal loss启发的置信度自适应加权——对正样本检索置信度已经很高的query降权（已分离的例子继续压榨只会过拟合），对负样本有竞争力的模糊query加权。这是query级别的难度感知重加权，区别于Focal-InfoNCE的pair级调制。

实验结果

• 在MMEB等多模态嵌入基准、多个backbone规模上，PACE一致优于强基线（余弦训练的直接点积训练）。
• 诊断实验：直接点积训练的MMEB分数低于余弦训练，且loss出现反复后期尖峰；LoRA vs 全参对比中，点积在全参下的退化幅度显著大于余弦。
• 消融验证了各组件（两阶段课程、LoRA-to-full调度、Focal Embedding Loss）各自的贡献。
• （细节见原文实验部分，此处抓主干。）

深层洞察

这篇论文回答了一个所有做检索/嵌入的工程师都隐约遇到过、但很少有人深究的问题：**为什么更强的相似度函数练不出更强的嵌入？**答案不是"点积不好"，而是"优化空间开得太早太大"。这其实是一个很通用的原则：先在受约束空间里找到可靠的解，再逐步解锁自由度——课程学习、warmup、LoRA-to-full微调，都是这个原则的实例。

对RAG的意义更直接：检索质量的上限卡在嵌入空间的几何性质上。如果范数能携带"任务相关性"信号，那么同一个嵌入模型可以为不同任务呈现不同的排序结构，这是纯角度几何做不到的。

局限性

• 两阶段训练流程比单阶段余弦训练更复杂，超参（切换时机、LoRA秩）需要调优。
• 收益依赖MLLM encoder的富余表示容量，小backbone上是否仍有同等收益有待确认。
• 代码未放出，复现门槛不低；点积几何在超大规模索引（MIPS的hubness问题）下的长期行为还需更多验证。

工程实践启示

1. 别急着换损失函数：如果你的点积训练莫名不稳定、后期loss尖峰，先检查是否存在角度-范数纠缠和方向收缩（论文的PCA诊断方法可以直接抄）。
2. LoRA不只是省显存的工具：它同时是约束优化空间的正则化手段，“LoRA热身→全参精修"是一个可复用的配方。
3. 困难样本加权值得做在query级：已分离样本的梯度是浪费甚至有害的，Focal Embedding Loss的思路可以低成本嫁接到任何对比训练管线。
4. RAG系统换嵌入模型时：关注是否利用了范数信息——归一化索引（余弦）会丢掉这层信号，点积索引（内积）配合PACE式训练的模型可能是下一代检索基座的方向。