每日论文精读 #006:用信息熵和CKA几何为投机解码科学选层
ELSI框架用熵最大化+CKA去冗余自动选择投机解码的中间层,超越EAGLE3的手工启发式,单个精选层即可打平三层的默认规则。
ELSI框架用熵最大化+CKA去冗余自动选择投机解码的中间层,超越EAGLE3的手工启发式,单个精选层即可打平三层的默认规则。
高通纳AI研究院用矩阵熵+CKA两大指标把EAGLE3式投机解码的隐层选择从位置启发式变成有原理的优化问题,接受token数提升最高约4%。
TaSQ通过查询引导加权、跨头归一化和协方差感知分组三步变换量化空间,让1-bit KV缓存VQ在推理和长上下文任务上显著超越现有基线。
CMC框架将长上下文压缩为与冻结解码器嵌入空间对齐的记忆向量,问题引导Top-K检索+局部窗口双层KV缓存,QA精度反升的同时推理时间/能耗降20%、峰值显存降50%。
VideoMM将token选择与细粒度推理解耦:在降采样的宏观代理上做语义筛选,仅对不确定样本按需激活高分辨率微观token,长视频理解提速6.13倍且精度反升7.4%。
Osprey把现成小LM剪枝后做目标无关预训练,一个骨干经词表对齐+零初始化QKV扩展+EAGLE-3蒸馏适配Qwen3-8B/Llama-3.3-70B/MiniMax-M2.5,平均接受长度+16.1%~22.7%,域外与多语增益最大。
仅重复一遍过程指令这一零成本黑盒干预,让7个模型的协议完整率从90.22%升至93.17%,但最终答案准确率纹丝不动——控制面与答案面的分离值得工程侧深思。
港科大/牛津等提出 DPQ:量化会悄悄改变模型的置信度与弃答行为,校准数据应按部署目标定向选择——边界保持用高怀疑混合(r75),宽分布保持用温和配方。