每日论文精读 #079:激活探针检测多智能体合谋,读的是指令而非决定
本文揭示多智能体合谋检测的激活探针主要读取"被指示合谋"而非"决定合谋",去掉指令后AUROC从1.00跌至0.61,并给出三 pitfalls 与检测协议。
本文揭示多智能体合谋检测的激活探针主要读取"被指示合谋"而非"决定合谋",去掉指令后AUROC从1.00跌至0.61,并给出三 pitfalls 与检测协议。
斯坦福团队把水印目标从『追踪单篇文本』改为『估计群体使用率』,用本地差分隐私构造序列级红绿水印RGS:单篇文本几乎无法被指认(ε=1),但2000条混合文本的AI占比估计误差仅0.4%。隐私与溯源可以两全。
编码器式上下文压缩在保留语义的同时系统性削弱拒答对齐,Mistral-7B拒答率从62.8%跌到10.9%——一种无需对抗攻击的结构性越狱。
让LLM只输出意图而非命令,配合NeMo-Guardrails代理双闸门,把提示注入的注入召回率从25%提到94.5%
Future of Life Institute等机构系统评估19项实证研究:AI失控风险的现有证据仅支持「弱可信」判断,外部效度缺口普遍存在。
用封闭意图词表和NeMo-Guardrails代理双层架构,把LLM安全运营的注入召回率从25%提升到94.5%,且任何命令都不会被模型直接合成执行。
用封闭意图词表+参数校验器把LLM的输出锁死在白名单动作里,再用NeMo Guardrails代理把注入召回率从25%拉到94.5%——LLM应待在确定性系统的边缘,而不是中心。
把越狱式提示变换反过来用在良性问题上,恢复被RL对齐压制的输出多样性,让黑盒推理模型的置信度校准显著改善。
ShieldCLIP用逐模态安全标签替代整对标注,只重定向真正不安全的分支,有害输出更少且良性表征几乎零损伤。
GRACE构建了1915条加拿大法律对抗推理数据集,微调后的4B小模型开卷表现大幅提升,但一旦不给法条原文,无依据引用率从19.5%暴涨至83.2%——流畅的法律腔反而更危险。
提出针对工具型LLM Agent四类攻击(直接/间接注入、记忆投毒、后门)的统一多层防御框架,工具过滤+工具集恢复+提示工程组合在多种模型上实现0%攻击成功率且不伤任务性能。
华东师大提出SRD-Guard:语义改写+多模型联合评分+相对风险路由的免参数黑盒防御,对UNIATTACK/CIPHER/DeepInception三类伪装越狱平均检出率91.4%/100%,过拒率仅8%/12%。
IIT Jodhpur等提出IndicSafeEval:7,200条说服式越狱提示覆盖4种印度语言,实测5个开源模型攻击成功率最高81.7%;「权威背书」和「逻辑感召」平均越狱率超70%,且强制英文回复后ASR从68.9%升至82.2%——安全对齐的短板在多语言场景暴露无遗。
防御栈本质是集成学习:15对防御的失效相关性全部为正(φ 0.30–0.75),乘法组合是永远达不到的下界;七层栈拒绝81%良性请求却与最强单层无统计差异——深度买了拒绝,没买安全。
蚂蚁集团开源Agent安全护栏框架:NSFA风险分类法+双模式推理,0.8B小模型即可实时拦截Agent运行威胁,F1超Llama Guard 3达30个点。