每日论文精读 #015：量化模型最该保住的不是准确率，而是「知道自己不知道」

📌 系列导航：🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站

论文信息

一句话总结

量化后 top-1 准确率可能一点没掉，但模型可能从「(0.51, 0.49) 犹豫不决」变成「(0.95, 0.05) 盲目自信」——本文把「量化时保住全精度模型的不确定性行为」形式化为一个目标依赖问题，提出按部署目标选校准数据的 DPQ 配方族，用高怀疑样本+通用锚点的混合让量化模型在弃答、置信度、边界决策上忠实复刻 FP 行为。

解决什么问题

LLM 量化部署已是大标配（GPTQ/AWQ/4bit），但评估几乎只看准确率、困惑度、榜单分。可很多下游系统消费的是分数行为：弃答决策（answerability）、重排序、集成、选择性预测、安全过滤。FP 模型给 (0.51, 0.49)，量化模型给 (0.95, 0.05)，top-1 没变，但置信边界全变了——在 SQuAD2 这种可答/不可答判断里，微小分数漂移直接决定系统该不该开口回答。

论文的实证起点（表1）很扎心：在代表性量化配置下，58%–86% 的模型-数据集设置中 ECE/NLL/Brier 比 FP 变差，准确率本身也常退化。即量化普遍改变的是「分数行为」而不仅是「答案」。而现有两条路都不对味：准确率导向的校准数据选择不管不确定性；量化后温度缩放等 post-hoc 校准保 argmax、修不了决策翻转，灵活映射器又会把模型拉离 FP 行为。

核心方法

1）两个保持风险的形式化。 对选项概率分布定义分布性风险 R_dist = E[JSD(p_Q, p_FP)]——量化模型要当 FP 的 drop-in 替身时重要；定义边界风险 R_bdry = E[1{a_Q ≠ a_FP}·w(x)]，w 上采样低边界/弃答样本——弃答、安全过滤场景重要。

2）边界脆弱性命题。 设量化扰动 Δ(x) = s_Q − s_FP，FP top-1 与次优 margin 为 γ(x)：若 Δ(j*) − Δ(i*) > γ 则排序翻转；若 ‖Δ‖∞ < γ/2 则决策保持。一句话：小 margin 样本在量化扰动下最脆弱，大 margin 样本天然稳定。这解释了为何通用文本校准（降平均重构误差）会漏掉控制可答性的脆弱方向。

3）混合失配论证（为什么没有万能配方）。 校准配方 q_r = r·q_bdry + (1−r)·q_anchor，目标分布 T_θ = θ·q_bdry + (1−θ)·q_anchor。有界损失下 |R_T − R_q| ≤ TV(T, q)；若两类分布支撑不交，TV(T_θ, q_r) = |θ − r|，最优 r* = θ。两个目标 θ₁ ≠ θ₂，就不存在单一 r 同时最优——这是全文的设计哲学：配方必须跟着目标走。

4）DPQ 算法（怀疑保持量化）。 极其轻量：用 FP 模型给候选池打分，算怀疑度 b(x) = 1 − (top1 概率 − top2 概率)，取 top ⌊s·r⌋ 高怀疑样本，配上 (1−r) 比例的 WikiText/RandomQA 通用锚点，然后原封不动跑 GPTQ。不改量化器内核、不改比特数、不改重构目标，只换校准字符串。

5）关键区分：高怀疑 ≠ 高难度。 高 NLL 样本可能「自信地错」（大 margin 高损失），不是边界样本——负控制组（HighNLL-QA / LowDoubt-QA）实验证实了这点。

实验结果

• 规模：8 个模型（Qwen2.5-0.5B~7B、Llama-3.2-1B/3B、Llama-3.1-8B、Mistral-7B）× 9 个基准 × 22 个对比方法，全部 4-bit。
• 边界保持（SQuAD2，表2）：DPQ-s128-r75 最优——FP 一致率 0.8495、边界准确率偏差 0.2125、可答率偏差 0.1000、JSD 0.0158。对比 GPTQ-WikiText（0.7446 / 0.4553 / 0.2271 / 0.0387），边界准确率偏差直接砍半以上。
• 宽 MCQA 保持（6 个可答数据集，表4）：领跑者换人——confidence-only、entropy-only、DPQ-r50 等温和配方更好，DPQ-r75 反而排到 11.88 名。图4 把这个 trade-off 画得非常清楚：没有任何配方同时统治两个目标，恰好验证了混合失配理论。
• 消融：r100（全边界）过度集中不如 r75；校准集组成比预算大小更重要；单信号变体都不如混合配方。
• AWQ 迁移：DPQ-r75 在 AWQ 上 mean rank 1.97、42.9% top-1 频率——信号部分可迁移，但分数级指标仍依赖具体量化器。
• Post-hoc 对比：温度缩放保准确率保一致率但推高 JSD/margin 漂移；灵活映射器（Dirichlet/Isotonic 等）提准确率却降 FP 一致率、增大分布漂移——前量化数据选择与后量化分数修复是不同干预点，互补而非替代。

深层洞察

这篇论文最大的贡献其实是评估视角的扭转：量化模型该用「对已验证 FP 模型的保真度」来审计，而不是只对 ground truth 的准确率。一旦接受这个视角，「最优校准集」就变成一个随部署目标变化的变量——弃答系统、重排序系统、集成系统各自需要不同的 θ。混合失配定理把这个直觉变成了可证的边界（TV 距离），并给出了可操作的推论：先想清楚下游消费模型的哪种分数行为，再回头选校准数据。这与近期「不确定性是 LLM 系统一等公民」的趋势同频：压缩时代的模型审查，从「答案对不对」升级到「行为像不像原来的它」。

局限性

作者自己列得很老实：① 不确定性仅通过选项打分操作化，未覆盖长文本生成中的言语化置信度；② 候选池是目标导向构造的（含可答性风格样本），域偏移池子下迁移性待验证；③ 主实验限于 GPTQ 式量化器（AWQ/NF4 只是检查），比特宽度未扫；④ 与 post-hoc 校准的组合方式未充分探索。此外实验模型都 ≤8B、以 QA 类任务为主，超大规模模型和生成场景的外推需谨慎。

工程实践启示

1. 量化≠只掉准确率：如果你的系统消费置信度/弃答/重排序分数，上线前用 FP 一致率 + JSD + margin 漂移做审计，别只跑 benchmark。
2. 校准数据按目标选：弃答/选择性预测场景 → 高怀疑混合（r≈0.75）+ 通用锚点；宽分布打分场景 → 温和或单信号配方。把 r 当成一个部署超参数来调。
3. 怀疑度信号免费拿：b(x) = 1 − (p1 − p2) 只需 FP 模型前向一遍，DPQ 不改量化器、可直接塞进现有 GPTQ 流水线。
4. 别指望 post-hoc 修补：温度缩放修不了决策翻转，灵活校准器会背叛 FP 行为——能靠数据选择解决的，尽量在量化前解决。