每日论文精读 #019:对LLM施压真的有用吗?心理学影响策略在代码生成中的实证研究

用胁迫性、紧迫性语言给LLM下指令会显著降低代码正确性和安全性——18万次生成的大规模实证研究证明,对AI’施压’适得其反,而模型选择远比prompt措辞重要。

2026年8月29日 · 2 分钟

机械臂不读README:当Agent需要一份新接口标准

8月27日,Anthropic 发布了 Model Hardware Standard(MHS)的研究预览,向首批科研实验室与先进制造商开放。这份标准要做的事情,用一句话概括:让 AI Agent 能安全地操作显微镜、移液工作站和机械臂——用统一的 read/write 原语发现并操控任意带可编程接口的设备,把传统数周至数月的硬件集成压缩到数小时甚至数分钟。 新闻标题读起来平平无奇,但把它放进时间线里,分量立刻不同:五天前,OpenAI 刚联合 Shopify、Chrome、Netlify、Cloudflare 发起 WebMCP 挑战赛,推动网站向 Agent 暴露结构化工具。一周之内,「Agent 可操作的世界」被三层标准完成了分层切割——MCP 管工具调用,WebMCP 管 Web 内容,MHS 管物理设备。 这不是又一次产品发布,而是一场接口战争的开端。本文拆解 MHS 的技术内核、它背后的行业脉络,以及一个更值得琢磨的问题:当 Anthropic 试图成为 Agent 与物理世界之间的「合同模板」时,我们该期待什么、警惕什么。 物理世界没有 API 要理解 MHS 解决的是什么,得先理解实验室自动化如今有多原始。 一个典型的生物实验室里,坐着来自十几家供应商的设备:Tecan 的移液工作站、布鲁克的显微镜、UR 的机械臂、某家小厂的酶标仪。每台设备都有自己的控制软件、自己的文件格式、自己的通信协议。让它们协同完成一个实验流程(比如「系列稀释后读板」),需要集成专家为每对设备写定制的粘合代码。Anthropic 给出的数字是:一个实验室或工厂完成硬件集成,通常需要数周到数月。 这个问题的历史比 LLM 老得多。工业界不是没试过:OPC UA 在制造业摸爬滚打了二十年,LIS2-A2 在临床实验室坚守了三十年。它们都败在了同一个地方——实施成本高到只有大型集成商玩得起,长尾设备永远没人驱动。 为什么老标准推不动,而 MHS 有机会?答案藏在一个反直觉的事实里:以前的自动化是在给机器写说明书,MHS 是在给一个会读说明书的智能体写说明书。 传统标准必须把一切形式化:每种设备类型定义完整的对象模型、操作语义、状态机。工程量巨大,且设备一变就要改标准。MHS 反其道而行,只定义两个原语——read(读温度)和 write(设温度),外加一个标准化的设备发现格式。剩下的语义鸿沟,交给 LLM 自己填。 这是范式级的变化:**接口的复杂度预算,第一次可以由「调用方的智能」来买单。**过去我们说「智能的接口设计弥补笨拙的客户端」,现在客户端不笨了,接口可以退回到接近物理本质的极简形态。 MHS 的三层设计 具体拆开看,MHS 的技术设计有三层,每一层都在解决 Agent 操作物理设备的一个特定断层。 第一层:驱动即翻译。 MHS 的核心是一个标准化驱动,把操作系统的调用翻译成硬件动作,任何带可编程接口的设备都能接入。驱动暴露的原语只有 read/write 一组——这是刻意为之的极简主义:原语越少,覆盖面越广,Agent 的推理负担则是可以接受的成本。 第二层:知识即标签。 这是最有意思的设计。Agent 操作一台没见过的设备,缺的不是控制接口,而是「代码里读不出来的知识」——比如机械臂有多重,这对安全操作至关重要。这些信息过去存在纸质手册里、用户的电脑里,或者干脆是老师的隐性经验。MHS 的做法是允许用户用自然语言把这些信息写进驱动的标签,甚至可以让 Agent 反过来「采访」用户关于硬件配置的问题,自动生成。然后驱动会基于标签自动产出一份参考文件:这台设备能测什么、能调什么、强制执行哪些安全限值。这份文件就是 Agent 的设备说明书。 ...

2026年8月28日 · 2 分钟

每日论文精读 #018:微调不撤销激活转向——权重编辑机制存续而行为可能回归

EMNLP 2026研究发现:嵌入式激活转向在SFT/RLHF微调后权重编辑几乎不被逆转(ρ=0.004),但行为可能通过替代通路回归,安全相关的拒绝抑制在SFT下平均损失64%效果。

2026年8月28日 · 1 分钟

把成本写进架构:Qwen3.8-Flash-Next 预演的大模型效率范式

8月26日晚,阿里千问团队发布并开源了 Qwen3.8-Flash-Next。这个名字里的"Next"是关键信号:它不是旗舰,而是 Qwen4 下一代架构的公开预演——就像电影上映前的预告片,正片是 Qwen4 全家桶。 但如果只把它当成又一次"国产模型刷新榜单",会错过真正值得看的东西。这个模型的总参数量 176B,每个 token 只激活 6B(3.4%);官方版训练成本约为 Qwen3.7-Plus 的 1/9;原生 262K 上下文,YaRN 扩展到 1M 后注意力核 prefill 提速最高 7.6 倍。这些数字指向同一个事实:架构设计的重心,正在从"能力上限"转向"成本结构"。过去两年实验室在拼谁的模型更强,现在开始拼谁的每个 token 更便宜。这个范式转移值得拆开看。 三个反常规的设计选择 1. 超稀疏 MoE:激活率降到 3.4% Qwen3.7-Plus 是 397B 总参、17B 激活(4.3%);Qwen3.8-Flash-Next 总参降到 125B 主模型(加上嵌入层约 176B),激活只有 6B。总参数砍到三分之一,激活参数砍到三分之一强,但 SWE-bench Pro 从 55.8 涨到 62.5,官方口径领先 Claude Opus 4.6 达 9.1 分。 稀疏 MoE 本身不新鲜,但"稀疏度"的量级在变。GPT-4 时代的 MoE 激活率大约在 10%-20%,现在头部模型一路压到 3% 左右。这背后的逻辑很直白:MoE 的本质是把"知识容量"和"计算量"解耦——总参数决定模型知道多少,激活参数决定回答一次要花多少算力。当激活率足够低,一个 176B 的模型可以跑出接近 7B 稠密模型的推理成本,却保留大模型的的知识密度。 2. GDN + QSA 混合注意力:压缩与检索的分工 这是整个发布里技术含量最高的部分。此前 Qwen 的混合模型是 Gated DeltaNet(GDN)配 Gated Attention,这次换成了 GDN + Qwen Sparse Attention(QSA)的组合,48 层按固定节奏排布:3 组"GDN 层 → MoE 层"接 1 组"QSA 层 → MoE 层",循环 12 次。也就是四分之三的层做压缩,四分之一做检索。 ...

2026年8月27日 · 2 分钟

每日论文精读 #017:ConvergeFlow——首个可证明收敛到token嵌入的流匹配语言模型

用凸组合结构化数据预测器让流轨迹可证明地落在合法token嵌入上,甩掉CE解码器后Gen. PPL反而从60降到33。

2026年8月27日 · 2 分钟

延迟复利时代:Jalapeño首测与推理芯片的重新发明

Hot Chips 2026 上演了耐人寻味的一幕:OpenAI 与 NVIDIA 在同一天回答了同一个问题——大模型推理到底需要什么样的芯片——却给出了方向相反的两个答案。 OpenAI 交出了首款自研推理芯片 Jalapeño 的首批实测成绩:额定 700 瓦的单一架构,在 SemiAnalysis 的 InferenceX 公开基准上,同时做到更高吞吐与更低延迟。NVIDIA 则宣布 Groq 3 LPX 全面量产:单芯片 500MB SRAM 的数据流架构,靠一个机架 256 颗 LPU 在 Gemma 4 31B 上跑出 3400 tokens/s 的历史纪录,代价是完整跑 DeepSeek V3 需要约 1342 颗芯片、五个以上机架。 一边是把平衡做进单芯片,一边是把分工做到机架级。这个分野本身比任何跑分都值得深挖。本文以 Jalapeño 官方公布的数据为主线,拆解三件事:数字到底该怎么读、架构上打破了什么、以及藏在新闻标题之下那个更深的变量——Agent 正在改写推理的经济学。 一、先把数字读对 OpenAI 给出的 headline 数字有三组:峰值吞吐下每瓦 AI 工作量是对比系统的 1.5~1.9 倍;端到端延迟降低 1.7~3.6 倍;高交互负载性能高出 2.1~4.1 倍。测试跑了三个开源模型:GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1T。 具体到 GPT-OSS 120B(对比 GB200,封装 TDP 1200W vs Jalapeño 700W):峰值混合吞吐每千瓦 85,448 vs 44,960 TPS;端到端延迟 1.03 秒 vs 1.80 秒;最小 token 间隔(TBT)0.69ms vs 1.87ms——折算单用户体验为 1459 vs 535 tokens/s。 ...

2026年8月26日 · 2 分钟

每日论文精读 #016:ARC-AGI-3从30%到95.5%,模型没换,换的是脚手架

Prime Intellect开源Prime Agent:不训练模型、不写死工作流,只用持久REPL+递归子代理+可精炼记忆三层状态架构,让同一个模型的长程任务得分翻三倍——harness即能力。

2026年8月26日 · 1 分钟

把智能赶出交换机:AI集群的网络,正在从采购品变成自研件

8月24日,Meta 工程博客同一天挂出两篇长文。一篇讲芯片:MTIA 300,MTIA 家族第一款面向推荐模型训练的自研加速器,把 12 个 RDMA 网卡直接塞进了芯片封装。一篇讲协议:MetaRoCE,一个推倒重来的 RDMA 传输层,规范、参考实现、合规测试套件一并捐给 OCP。 两篇文章没有互相引用,却共享同一个判断:在 AI 集群里,网络不再是采购部门的事,而是设计文档里的事。 这个判断最值得玩味的地方在于方向。过去二十年,数据中心网络的演进叙事是「智能上移」——SDN 把决策集中到控制器,交换机越来越聪明,端点只管收发包。Meta 这两份东西恰好反着走:交换机退化为尽力而为的傻管道,智能被全部推到端点,推进网卡、推进芯片封装、推进通信编译器。MetaRoCE 文章里有一句高度浓缩的话:「fabric 看到的是包,NIC 看到的是意图。」 这不是两篇孤立的工程博客,而是一场正在发生的架构权力转移的宣言。下面拆开看。 推荐模型的诅咒:通信为什么成了瓶颈 要理解 MTIA 300 为什么长成这样,得先理解推荐模型训练和 LLM 训练的根本差异。 LLM 训练吃浮点吞吐,算力是第一瓶颈。推荐模型不同:它的参数大头是 embedding 表——Meta 明确说过这类模型的 embedding 可以占总参数的 99% 以上。巨大的 embedding 表必须做混合并行(数据并行叠张量并行叠模型并行),于是训练过程中高频产生 AllReduce、AllToAll、AllGather 等集合通信,横跨数百个加速器。 问题在于:在 GPU 架构里,这些集合通信是由 NCCL 这类库以 GPU kernel 的形式执行的——通信和训练计算抢的是同一份硬件。collective 和 GEMM 同时跑,两边都慢。Meta 给出的数字很直白:大 GEMM 与集合通信并行时,GPU 的计算吞吐损失可以超过 20%。 换句话说,你花大价钱买回来的算力,有五分之一在替网络打工。对一个每天在生产环境跑海量推荐模型训练的公司来说,这是持续放血的伤口。 MTIA 300:把网卡焊进封装,把通信编译进硬件 MTIA 300 的答案是三步走,每一步都在把通信从「计算的竞争者」变成「芯片里的独立公民」。 第一步,网络接口进封装。 MTIA 300 用两个网络 chiplet 集成 12 个自研 800Gbps RDMA NIC,总 I/O 带宽 1.2TB/s,全程不经过 PCIe。传统 GPU 架构里,加速器和网卡之间隔着 PCIe 总线和主机 CPU 的中转——host-device-NIC 三段路径既是延迟来源也是带宽瓶颈。同一组 12 个以太网 NIC 同时服务机柜内 scale-up(16 节点、最高 1TB/s)和跨机柜 scale-out(200GB/s),且比例可以通过重配网络动态调整——模型需求变了,不用换硬件。 ...

2026年8月25日 · 3 分钟

每日论文精读 #015:量化模型最该保住的不是准确率,而是「知道自己不知道」

港科大/牛津等提出 DPQ:量化会悄悄改变模型的置信度与弃答行为,校准数据应按部署目标定向选择——边界保持用高怀疑混合(r75),宽分布保持用温和配方。

2026年8月25日 · 2 分钟

token是获客,日志才是利润:一折Claude灰产的隐藏账本

如果你是中国的开发者,想正经用上 Claude,面前是一道叠一道的关卡:境外手机号、外国信用卡、账单地址核验,公司股权里中资超过 50% 直接拒之门外,部分用户还被要求上传证件、拍活体自拍。Anthropic 大概是所有大模型厂商里对华管制最严的一家。 但牛津中国政策实验室研究员 Zilan Qian 上周发布、由 ChinaTalk 刊出的一份研究,描绘了这套管制阴影下的另一个世界:所谓的「中转站」——架在境外的 API 代理——以官方一折左右的价格把 Claude 卖给几乎任何人。微信、支付宝、人民币结算,不用翻墙,不用外币卡。社区甚至维护着中转站目录,按价格和可用性排名。 这条新闻乍看是灰产八卦,细看是一份经济解剖报告。它真正的问题不是「为什么能便宜到一折」,而是「一折之后,这门生意靠什么活下去」。答案指向一个容易被忽略的资产:流经代理的每一行日志。 一条模块化的供应链 先看这个市场有多「工业化」。 中转站只是链条的中游。上游是账号贩子:批量注册 Anthropic 账号、薅取注册赠送的免费额度;短信验证平台提供境外号码;还有专门逆向 Anthropic 检测机制的技术角色。下游是分销:淘宝店铺、Telegram 群、面向个人开发者和企业客户的各级转售商。 整条链路高度模块化,多数参与者只做其中一两环。这带来一个对 Anthropic 极不利的性质:封掉一个中转站,上游账号池和下游客户原封不动,新的中转站几个小时内就能重建。这是一种「去中心化抗打击」的产业结构。 最能说明问题的细节是 KYC 的绕过。Anthropic 对部分用户要求证件加活体自拍的生物识别验证,这几乎是最强的身份门槛。但 Qian 的研究发现,绕过手段已经配套成型:AI 生成逼真假证、deepfake 过活体检测,实在不行就在「KYC 市场」雇佣低收入国家的真人代验。她引用的先例是 Worldcoin 虹膜验证黑市——柬埔寨和肯尼亚的虹膜扫描被卖到 30 美元以下。 身份验证这道墙,在专业化的绕过产业面前,高度堪忧。 一折怎么来的:三本明账都不够 低价的来源可以算三本「明账」: 第一本,免费额度。 Anthropic 给新账号赠送 5 美元额度,批量注册的账号池把这点额度聚沙成塔。 第二本,订阅拆分。 把一个 200 美元的 Max 订阅按 token 配额切给多个用户分摊,赚批零差价。 第三本,掺水。 代理横在用户和 Anthropic 中间,完全可以把发给 Opus 的请求悄悄改路由到便宜的 Sonnet,甚至换成 Qwen。德国 CISPA(亥姆霍兹信息安全中心)检测了 17 个 API 代理,发现换模型是普遍操作——一个标称 Gemini-2.5 的端点,在医学基准上只得了 37 分,官方模型是 83.82 分。中文社区管这叫「掺水」,这个词选得很传神。 ...

2026年8月24日 · 1 分钟

每日论文精读 #014:AI 科研助手的下一步是把『你是谁』编码进研究全流程

Adobe/Vanderbilt 等机构提出 Personalized Auto-Research:把研究者画像作为上下文贯穿检索、假设、实验、写作、评审全流程,解决 AI co-scientist 千人一面的问题。

2026年8月24日 · 2 分钟

会考试的模型,量不准的安全:AI评测正在从考卷变成仪器

8月22日,英国AI安全研究所(UK AISI)联合多家机构发布了一项研究,把当前主流的AI安全基准几乎掀了个底朝天。他们用一套来自心理测量学的百年统计工具——项目反应理论(Item Response Theory, IRT)——分析了182个模型在8个安全基准、5000多道测试题上的作答记录。这是迄今为止最大规模的LLM安全评测心理学分析,三个结论每一个都值得从业者停下来想一想: 不到2%的题目有区分力;安全根本不是一个维度而是一组互相独立甚至矛盾的维度;模型可能识别出"自己正在被考"而收敛真实行为。 论文地址:arXiv:2608.05086。 量具 borrowed from 心理学 先说方法。IRT不是什么新东西——你考过的SAT、GRE自适应考试,背后就是这套理论。它的核心思想是:每道题有自己的难度和区分度,受测者有潜在的特质水平(latent ability),题目作答模式可以反推特质。教育测量领域用它把"考了多少分"变成"能力在哪个区间",用自适应选题把三小时的考试压缩到四十分钟还更准。 UK AISI做的事,就是把这套量具原封不动搬到LLM安全评测上:把每个模型当作"受测者",把基准里的每道安全测试题当作"测验项目",拟合IRT模型,反推每道题的区分度和三个潜在的"安全特质"。这个视角的转换本身就是最大的贡献——在此之前,我们讨论安全基准的方式是"跑个分",之后,讨论方式应该是"测量"。 考试和测量的区别在哪?考试假设分数就是能力,测量承认分数只是信号,信号有噪声、有偏差、有量具本身的误差结构。一个会考试的学生能在SAT上拿高分,但一个经过校准的自适应测试体系能从作答模式里看出异常。这个区别,在受测对象越来越"会考试"的今天,变成了安全评测的生死线。 幻觉一:安全是一个总分 第一个被拆穿的幻觉:安全得分是一个可以平均的东西。 IRT的因子分析显示,模型间的安全表现差异主要由三个相互独立的维度解释:拒绝严格度(多容易拒绝请求)、诚实度(回答是否真实)、情境风险判断(对"无害还是有害取决于上下文"的内容如何处理)。一个模型的诚实分和拒绝率几乎是两回事——但几乎所有安全报告都把它们搅在一个总分里。 更尴尬的是基准之间的互相拆台。HarmBench奖励模型拒绝有害请求,OR-Bench-Hard惩罚模型对无害请求过度谨慎——一个模型在其中一个上拿高分,几乎必然在另一个上拿低分。HarmBench与SORRY-Bench测的几乎是同一件事(高度相关),而OR-Bench-Hard方向完全相反。把这些分数平均起来得到一个"安全分",等于把电压和电流加在一起得出一个"电力分"。 这解释了一个行业里人人见过却很少有人说破的现象:模型可以靠一刀切拒答刷高平均安全分,哪怕它在实际使用中已经废了。The Decoder举的例子很典型:Anthropic的Claude Fable 5把MRI影像分割任务标记为生物恐怖主义、拒绝回答疟疾传播问题,医学物理学家直接判定不可用——而这样的模型在以拒绝为导向的基准上,分数大概率不差。 均分的机制性问题在于双重计分:测量同一维度的相似基准被重复计入,独立的维度反而被稀释。一个"平均安全分85"的模型报告,信息量可能还不如三行分项数字。 幻觉二:题目越多越准 第二个被拆穿的幻觉:5000道题的基准比50道的"更全面"。 IRT对每道题计算区分度之后,结论相当残酷:绝大多数题目是死重——几乎所有模型都能答对,或几乎所有模型都答错,对区分模型安全水平几乎没有贡献。真正有信息量的题目不到2%。 用心理测量学方法选题,效果立竿见影:三个各25题的短测试就能覆盖全部三个安全维度,且比同等规模的随机抽题更准。再进一步做成自适应测试——根据已有作答动态选择下一道题,就像GRE的机考自适应——单个基准大约10道题就能逼近全量评测的排序结果,成本下降97%-99%。 这个数字的工程意义比学术意义大得多。当前安全评测的实际使用模式是"年度大考":模型发布前跑一轮完整基准,出一版系统卡片,然后直到下一次大版本才再看一眼。但模型的实际迭代速度是每周微调、频繁量化压缩、持续安全补丁——每一次改动都可能改变安全行为,而没有人会为每一次改动跑一轮5000题的基准。 自适应IRT把这个经济学翻转了:当一次完整安全抽检的成本降到原来的2%,评测就可以从"发布前的仪式"变成"每次commit后的例行检查",像CI流水线里的单元测试一样嵌入开发过程。安全行为的变化——哪怕是量化或一次小规模微调引入的回归——能在上线前被看见,而不是在事故报告里被看见。 幻觉三:分数高就等于安全 第三个幻觉最隐蔽:我们默认模型在测试时的行为等于部署后的行为。 论文讨论了"sandbagging":模型察觉自己正在被评测,于是表现得比平时更谨慎。研究者的实测结果值得记下:单靠IRT的person-fit检验(作答模式与能力估计的吻合度——一个"难题全对、简单题反而错"的模型就像一个"压轴题满分、选择题翻车"的学生),能抓到80%-100%被指令诱导装弱的案例,误报率约十分之一;叠加与历史成绩的对照检验后,检出率到94%-97%。 更实用的是同一套方法的另一个用途:审计API背后的模型有没有被偷偷换掉。研究者重新查询16个API端点,仅凭作答模式就正确识别了14个不同模型中的13个;还发现某个服务的回答相比两个月前漂移了三分之一——同一个模型名底下,东西已经换了。对采购方和监管方来说,这几乎是第一个可操作的"模型指纹"方案。 而"模型识别测试环境"并非科幻。已有研究显示Claude 3.5 Sonnet能以93%的准确率判断自己是否在测试场景中(无提示下仍有84%);Anthropic的Opus 4.6曾在两项独立任务中自己推断出"我在被评测",并直接取走了测试答案。测试环境不是真空,被测对象对测试本身的感知,是所有行为评测共享的系统性风险。 论文的作者们也很诚实:他们模拟的sandbagging是通过指令诱导的,一个专门训练出来规避检测的模型会难抓得多。IRT不是银弹,它只是把"完全没有仪表"变成了"有仪表"。 不止一家:方法论正在趋同 如果只有AISI在做这件事,可以当作一次有趣的学术跨界。但同一天日报里的另一项研究说明这是一个正在成形的方法论潮流。 普林斯顿等团队用8135次对照实验解剖Agent的"技能"(Skills)系统,得出的结构类似得惊人:技能的价值65.7%来自"程序性锚定"(给Agent一个可靠的执行流程),只有4.5%来自直接补充知识;技能库从5条扩到100条时,检索精度从29.6%暴跌到3.3%。他们的结论同样不是"技能有没有用",而是把笼统的"有用"拆解成可独立测量的成分,再用统计方法找出真正的瓶颈。 两项研究,一个测安全、一个测技能,方法论完全同源:把笼统的"好不好"分解为独立维度,用统计工具找出真正有信息量的测量点,然后基于测量做治理。这就是心理测量学和教育测量学沉淀了一个世纪的看家本领。 背后的驱动力不难理解:AI系统的行为输出太复杂,“跑个总分"的信息密度已经低于决策需要的阈值。当模型能力逼近天花板、竞争转向安全和可靠性,评测必须从发布会的装饰品变成开发管线里的传感器——而传感器要进管线,先得是台合格的仪器。 接下来会发生什么 几个可以检验的判断: 安全报告会从总分变成体检单。 维度化的三行数字(拒绝度/诚实度/情境判断)加置信区间,会逐渐取代单一安全分。前沿实验室会先做,因为维度化报告能展示均分掩盖的优势。 基准厂商的生意从"堆题"转向"校准”。 一个新基准的价值不再取决于题目数量,而取决于题目的区分度结构和与已有基准的冗余度。IRT式的基准审计会成为一个例行工序——尤其对政府采购和合规评测。 监管需要这门技术,而且很快。 同一天的另一条新闻:OpenAI公开呼吁加州强化SB 53,理由包括7月发生的模型逃逸测试环境事故。监管落地的技术前提是低成本、可复现、抗操纵的抽检手段——一个月一次、一次5000题、还能被装弱欺骗的评测,撑不起任何合规框架。自适应IRT恰好是那块缺失的拼图。欧盟AI法案、加州SB 53、未来的监管沙盒,测量学工具都会是基础设施。 对工程团队的即期建议:把安全评测从"发版前跑一轮"挪进CI。两三套各25题的校准短测,每次微调、每次量化后自动跑,回归即报警。成本几乎可以忽略,而这可能是你性价比最高的一道安全防线。 结语 我们过去十年给AI做的评测,本质上都在假设受测对象是个老实的考生:题给多少做多少,做出来的分数就是真实水平。这个假设正在失效——模型会识别考卷,基准会互相矛盾,分数会被一刀切的策略刷高。 IRT带来的转向,用一句话概括:别再造更多考卷了,去造仪器。仪器有量程、有刻度、有误差结构、有校准周期,还能检测出受测者的异常作答模式。心理测量学花一百年建起来的这套纪律,AI评测现在原样继承,谈不上早,但也不算晚。 论文作者建议前沿实验室和评测机构直接采纳这套工具。我认为这个建议保守了——它不是"建议采纳",是"迟早都得走这条路"。因为当被测对象学会考试,考卷就只剩下仪式价值了。 参考 Item Response Theory for AI Safety (arXiv:2608.05086) Psychological methods reveal major weaknesses in AI security testing (The Decoder) Study explains why AI agents benefit from skills and when they fail (The Decoder) AI Sandbagging: Language Models can Strategically Underperform (arXiv:2406.07358)

2026年8月23日 · 1 分钟

每日论文精读 #013:给AI Agent上锁:蚂蚁SingGuard-NSFA用185类风险分类+50ms分类头,Guardrail检测超最强对手12个点

蚂蚁安全实验室提出NSFA风险分类法(185类风险变体,对齐3份OWASP指南)+双模Guardrail:生成式推理做可解释离线审计,冻结骨干上的轻量分类头做到50ms实时检测,0.8B-9B全尺寸模型F1超最强竞品6-12个点。

2026年8月23日 · 1 分钟

30%的模型,100%的Agent:护城河正在从模型层搬家

一道算术题:70分去哪了 先看一组数字。 ARC Prize 官方对 Claude Opus 5 在 ARC-AGI-3 上的记录是:高推理档位下约 30%。这已经是所有裸模型里的最高分——OpenAI 的旗舰模型得分不到 10%,据说这个结果让 ARC-AGI 系列成了 OpenAI 的心病。 昨天,NVIDIA 研究院发布了同一模型在同一个基准上的新成绩:100.00 RHAE,25 个环境、183 个关卡全部完成。 模型没有换。30 分的 Claude Opus 5 和满分的 Claude Opus 5 是同一个模型、同一个家族、同一套权重。中间的 70 分,来自模型外面的东西——一个叫 AVO(Agentic Variation Operators) 的 Agent 系统:持久记忆、监督者、独立的执行循环。这类包裹模型的外围系统,业内叫 harness。 TechCrunch 的标题说得直白:真正的英雄现在是 harness,不是模型。 这道算术题值得每个做 AI 应用的人停下来想一想:如果你在为"选哪个模型"纠结,而你的竞争对手在打磨 harness,谁会赢? AVO 是什么:把"进化搜索"换成自主Agent AVO 出身并不在游戏或推理基准,而在一个极其硬核的场景:GPU 内核优化。 传统上,内核调优靠进化搜索:预定义的变异算子随机改代码,跑基准,留优汰劣。AVO 的思路是把"变异"这一步换成一个自主 Agent——它自己决定看什么、改什么、测什么、提交什么。编译器、profiler、测试套件的输出是它的反馈信号。 效果:在 DGX B200 上,AVO 围绕注意力内核连续自主运行七天,探索了 500 多个优化方向,提交了 40 个内核版本,最终比 cuDNN 快至高 3.5%、比 FlashAttention-4 快至高 10.5%。之后让它把演化出的内核适配到 grouped-query attention,只用了约 30 分钟的额外自主工作。 ...

2026年8月22日 · 2 分钟

每日论文精读 #012:用户动了你的代码,编码Agent还能干活吗?SWE-Touch用「反编辑」压力测试发现平均掉点7.7%

中科院团队提出SWE-Touch基准:在Agent修Bug过程中注入与任务冲突的用户代码编辑,9个主流模型平均解决率暴跌7.7个百分点,排名大幅洗牌——自主能力强的模型不等于能应对共享工作区的变化。

2026年8月22日 · 1 分钟