每日论文精读 #037:点积相似度为何总跑输余弦?PACE用渐进式训练解放嵌入范数
PACE诊断出点积训练失败的两大病灶——角度-范数纠缠与方向各向异性,用两阶段课程(余弦+LoRA → 点积+全参微调)加Focal Embedding Loss,让嵌入范数真正参与语义编码。
PACE诊断出点积训练失败的两大病灶——角度-范数纠缠与方向各向异性,用两阶段课程(余弦+LoRA → 点积+全参微调)加Focal Embedding Loss,让嵌入范数真正参与语义编码。
EMNLP 2026论文揭示自动化ICD编码的两种正交失败模式:神经分类器败于罕见码,固定工作流败于多步指南跟随;工具增强Agent可部分恢复性能,但瓶颈在候选发现而非验证。
Osprey把现成小LM剪枝后做目标无关预训练,一个骨干经词表对齐+零初始化QKV扩展+EAGLE-3蒸馏适配Qwen3-8B/Llama-3.3-70B/MiniMax-M2.5,平均接受长度+16.1%~22.7%,域外与多语增益最大。
哈工大等提出MaP-WAM(Memory as Plans),把情景记忆在规划时编译为段级『语言计划+视觉引导』,执行器上下文O(1),RMBench成功率83.3%登顶,真机78.0%。
华东师大提出SRD-Guard:语义改写+多模型联合评分+相对风险路由的免参数黑盒防御,对UNIATTACK/CIPHER/DeepInception三类伪装越狱平均检出率91.4%/100%,过拒率仅8%/12%。
NTU提出PaperCompiler,将论文证据编译为仓库级实现规格(含证据溯源、非降级约束、所有权图),在Paper2CodeBench上参考忠实度从3.64提升至4.15,高危缺陷率从13.2%降至6.1%。
字节Seed提出Vision-of-Thought,在VLM与扩散解码器之间插入离散视觉思维层,GenEval达0.91超越Mogao与FLUX。
ViSAR完全在ColPali/ColQwen2.5的嵌入空间内操作,构建查询条件化的页级相似度矩阵动态决定检索页数:平均只取4.7页(固定top-10、启发式方法取15-18页),端到端延迟最高降58.7%,精度还略有提升,且相似度矩阵稀疏度与答案对错正相关——一个免费的检索质量监控信号。
EMNLP 2026系统演示论文:固定环境单变量对照100个多文件重构任务,AST感知分块检索比朴素token窗口分块高25-30pp,精简检索单Agent(86%)完胜子Agent委派(66%),且检索带来的精度增益恰好抵消其token开销——单次成功成本不变。
仅重复一遍过程指令这一零成本黑盒干预,让7个模型的协议完整率从90.22%升至93.17%,但最终答案准确率纹丝不动——控制面与答案面的分离值得工程侧深思。
美团+北航提出Behavior2Trip基准与B2T-Agent:从用户历史行为轨迹推断偏好生成旅行计划,GPT-4.1最难任务全约束通过率仅0.5%,而GRPO强化学习训练的Qwen3-8B反超至4.7,还泛化赢下TravelPlanner。
IIT Jodhpur等提出IndicSafeEval:7,200条说服式越狱提示覆盖4种印度语言,实测5个开源模型攻击成功率最高81.7%;「权威背书」和「逻辑感召」平均越狱率超70%,且强制英文回复后ASR从68.9%升至82.2%——安全对齐的短板在多语言场景暴露无遗。
NTU提出PaperCompiler:论文转代码的中间产物从自由格式的计划摘要改为显式的仓库级规约(需求规约+所有权图+文件契约),在Paper2CodeBench上参考保真度相对提升13.8%,高危缺陷率从13.2%降至6.1%。
不配对数据、不从零训练,仅用LLM把元数据翻译成临床报告做对比对齐,就给呼吸音编码器装上零样本诊断能力
仓库级代码生成中,错误的代价并不均等:少数关键token一旦生成错误,整段代码就滑向错误语义路径。ACToR在生成时识别这些关键token并按需触发针对性检索,在CoderEval上相对提升15.4%。