每日论文精读 #057:模型配对先做兼容性体检,训练前的k-NN重叠度预测对齐成功率
COMPASS用两个编码器的局部k-NN重叠度(ease)与训练范式上限(ceiling),在训练前预测模型对能否成功对齐或合并,Pearson相关达0.91。
COMPASS用两个编码器的局部k-NN重叠度(ease)与训练范式上限(ceiling),在训练前预测模型对能否成功对齐或合并,Pearson相关达0.91。
DKGI抛弃预定义图API,直接把完整知识图谱导出为节点/边文件,让LLM Agent用Python自己写图访问代码并随执行反馈迭代,免训练在STaRK三个图谱上全面超越最强基线至少6.7个Hit@1点。
分析师-程序员-记录员三角色多智能体框架,在开放但语义受限的空间内自动生成关键组件代码,SNN分类与PINN解方程全面超越人工基线。
高通纳AI研究院用矩阵熵+CKA两大指标把EAGLE3式投机解码的隐层选择从位置启发式变成有原理的优化问题,接受token数提升最高约4%。
MARTA用pre-softmax logits的熵和top-1/top-2边际做"先看后跳"的门控,只在内知识不足时才检索外部记忆,匹配Active RAG精度的同时吞吐提升3.7倍、token消耗降38.4%。
用封闭意图词表+参数校验器把LLM的输出锁死在白名单动作里,再用NeMo Guardrails代理把注入召回率从25%拉到94.5%——LLM应待在确定性系统的边缘,而不是中心。
腾讯SWE-Journey基准揭示:同一批长程编码任务,模型在软件架构师配合下Final F2P达78.5%,而在非程序员用户下仅23%,差距55.5个百分点——瓶颈不在解题能力而在交互能力。
跨分词器OPD中严格1:1对齐已覆盖86-97%的学生token,把reverse KL限制在学生自选top-16共享词表上即可保留96%以上蒸馏收益,而补齐mismatch监督的span MSE反而全面掉点——梯度方向一致性诊断揭示了原因。
把生物医学句向量检索器转换为System One类型化决策模型:交叉头+交叉熵+温度缩放是最优选型,RLCD的策略梯度项因奖励归一化偏差而落后2.5-3分。
CLIFT用共形校准把昂贵LLM裁判的反馈蒸馏成可复用的认证问题库,训练时提供密集步级奖励,测试时做无裁判的轨迹选择,在WebArena Infinity等三个基准上达到开源SOTA。
TaSQ通过查询引导加权、跨头归一化和协方差感知分组三步变换量化空间,让1-bit KV缓存VQ在推理和长上下文任务上显著超越现有基线。
一条确定性检索链在LongMemEval-S上逼近SOTA,LLM只做最后的读出器,且全部证据可复算。
把越狱式提示变换反过来用在良性问题上,恢复被RL对齐压制的输出多样性,让黑盒推理模型的置信度校准显著改善。
把论文证据编译成带所有权和禁止项的仓库级规格,Paper2CodeBench 忠实度相对提升13.8%,高严重性错误减半。
ShieldCLIP用逐模态安全标签替代整对标注,只重定向真正不安全的分支,有害输出更少且良性表征几乎零损伤。