每日论文精读 #083:EfficientSkill——先学会再瘦身,Agent技能的双重优化

两阶段优化框架让Agent技能token开销降低最多80%,同时准确率不降反升

2026年11月18日 · 1 分钟

每日论文精读 #006:模型生成的文本可能正在偷偷出卖你

恶意LLM可从日常对话推断你的性别年龄,并隐写编码进看似正常的回复中,用户分享文本即无意泄露隐私。

2026年11月17日 · 1 分钟

Agent记忆的悖论:忘不掉的AI,走不远

一场荒诞的对照实验 把一个AI Agent放进Game Boy游戏《宝可梦:红》里,让它自己玩,会发生什么? Anthropic的研究团队给出的答案有些黑色幽默。他们用Pokémon Red作为测试环境,比较了不同模型与不同记忆策略下的Agent表现。结果发现:Claude Sonnet 3.7在一万步左右的游戏过程中,疯狂地为环境建立档案——生成225个文件夹、413个文件,把遇到的每只宝可梦、每个NPC、每条对话都事无巨细地记下来。它像一个强迫症的档案管理员,忙于整理笔记,结果只拿到1枚徽章。 而新一代的Claude Fable 5采用了完全相反的策略:只记录策略与已验证的规则,忽略海量的环境细节。它拿到了4枚徽章——是前者的四倍。 这个实验是Anthropic最新发布的Agent记忆组件研究的核心案例。它揭示了一个反直觉的结论:Agent记忆系统的关键不是存多少,而是忘什么。 记忆的存储悖论 过去两年,Agent记忆是整个行业投入最密集的方向之一。从MemGPT到Letta,从向量数据库到知识图谱,从上下文工程到KV Cache复用——所有人的直觉都是:记忆越多越好,检索越快越好。工程上的默认动作是"存":把对话历史塞进向量库,把工具调用结果写进文件,把每一步推理都留档。 但Pokémon实验戳破了这个幻觉。原因其实很朴素: **第一,记忆是有维护成本的。**当Agent积累了几百个文件后,它每次决策前都需要决定"查什么、不查什么"。检索本身消耗注意力(在模型层面就是上下文窗口和算力)。存得越多,检索空间越大,单步决策的"思考税"越高。Sonnet 3.7的1万步里,大量算力花在了"整理笔记"这个元任务上,而不是游戏本身。 **第二,噪音记忆会污染决策。**早期探索阶段形成的错误印象——比如某个技能没用、某条路走不通——如果被原样保留,会在后续几百步里持续误导Agent。人类玩家也有类似体验:对一张地图的过时认知会让人反复走进死胡同。区别在于,人类会自然遗忘,Agent不会。 **第三,刚性指令救不了弱策略。**研究中有一个重要发现:给模型下达"只记录错误"这类刚性指令,会让强模型的性能优势大部分消失。因为"什么算错误"本身需要判断力。记忆筛选是一种需要智能的元认知活动,把它降级成机械规则,等于禁用了模型最擅长的部分。 Dreaming:让Agent在空闲时"做梦" 研究中最有意思的机制叫Dreaming(做梦)。这个名字来自认知科学的类比:人类睡眠时,大脑会重放白天的经历,巩固有用的记忆、清理无用的连接。 Dreaming的工作方式是:在Agent空闲期(没有新任务进来的间隙),让它回放自己的历史transcript,逐条核查现有笔记——这条记录还成立吗?有没有和后来经验矛盾的地方?然后主动修正错误记忆。 这解决了一个传统记忆系统无解的问题:记忆的时效性。传统RAG架构假设"存进去的东西是对的",检索时按相似度召回,从不质疑条目本身是否过时。但在长程任务里,环境在变、Agent的能力在变、早期结论天然不可靠。一个不会做梦的Agent,等于背着一本只增不删、从不勘误的百科全书走路。 从工程视角看,Dreaming本质上是一种离线自检机制——类似数据库的compaction、缓存的一致性校验,只不过校验的对象是语义内容,校验者必须具备足够的推理能力。这暗示了一个架构趋势:记忆质量保障会从"写时验证"扩展到"闲时维护",Agent基础设施需要一个类似cron的后台任务层。 Wiki + 检索:结构化的价值 研究的另一个发现关于记忆的组织形式。团队基于Stainless约35万份内部文档构建了关联wiki,实验结论是:wiki与检索结合的效果最佳——单独用wiki或单独用检索,都不如两者叠加。 这个结果对做企业Agent的团队有直接指导意义。当前行业里"RAG派"和"知识图谱派"争论不休,前者认为向量检索足够通用,后者认为结构化才是正道。Anthropic的数据说明这是一个假对立:wiki提供的是经过整理的结构性先验——哪些概念相关、因果链是什么、哪些结论被哪些文档支撑;检索提供的是面向具体查询的动态召回。结构决定上限,检索决定命中率,缺一不可。 而且wiki的构建本身可以是Agent的工作产物。35万份散乱文档变成关联wiki的过程,正是"记忆整理"的规模化版本——这与Pokémon实验里"选择性记录"是同一个原则在不同尺度上的体现。 记忆筛选是新的智能高地 把这份研究放到更大的坐标系里看,它标记了Agent记忆研究重心的迁移:从"怎么存"转向"怎么删"。 存储层的问题在过去两年里已经被解决得七七八八——向量库、文件系统、数据库、缓存,都是成熟技术。真正没有解决的是筛选策略层:什么值得记?什么该在何时重核?如何识别并清理过期条目?这些问题的答案不依赖基础设施,而依赖模型自身的元认知能力。这也是为什么同一套记忆框架,换个更强的模型效果就完全不同——筛选记忆本身就是一种需要智能的任务。 这和人类认知的规律惊人地一致。神经科学早就知道,遗忘不是记忆的失败,而是记忆的功能——海马体在睡眠中主动修剪突触连接,睡眠不足的人记不住新东西,恰恰因为没忘掉旧噪音。科普作家Joshua Foer在《与爱因斯坦月球漫步》里的说法可以原样搬给Agent:“记忆的艺术,是注意力的艺术。” 对工程团队的启示 如果你正在构建长程Agent系统,这份研究给出几条可以立即落地的原则: **给记忆做减法而不是加法。**审计你的Agent记忆写入路径,问一个问题:这条信息六小时后还有价值吗?如果答案是否定的,不要写。每个低价值条目都在为未来的每次检索增加成本。 **建立记忆的置信度与时间戳。**记忆条目应该携带"这是什么时候、基于什么证据形成的"元数据。下游决策时可以据此降权,Dreaming式的自检也才有抓手。 **把空闲期用起来。**Agent不该只在有任务时工作。闲时重放、笔记勘误、过期清理——这些后台维护任务的成本远低于让错误记忆污染后续几百步决策的代价。 不要用刚性规则替代判断。“只记录X类信息"这类硬约束会封死模型的元认知能力。更好的做法是给出目标和原则(记策略,不记事实流水),让模型自己判断。 结语 Agent技术的发展有一条清晰的暗线:先学会做事,再学会记住做过的事,最后学会忘掉不值得记的事。Anthropic的Pokémon实验用4枚徽章对1枚徽章的悬殊比分提醒我们:无限记忆不是超能力,而是慢性病。 下一个阶段的Agent竞争,拼的可能不是谁的上下文更长、谁的向量库更大,而是谁的遗忘曲线设计得更像生命。毕竟,地球上没有任何一种智能是靠记住一切来生存的——除了硬盘。

2026年11月17日 · 1 分钟

当机器人学不再是独立学科:通用模型正在吃掉专用控制器的最后阵地

一个解散,一个开源 上周 AI 圈出了两条看似无关、实则同构的新闻。 第一条:OpenAI 第二次解散了机器人团队。研究人员并入 Mark Chen 领导的主研究团队,应用机器人和硬件团队归入 Brockman 的应用组织。注意,这不是收缩,是吸收——机器人研究不再是独立部门,因为它要解的问题,通用模型团队顺手就解了。内部判断的依据很硬:在 Nvidia 的模拟机器人任务测试中,GPT-6 Astra 智能体成功率 74.8%,超过最优专用模型的 51%。Altman 据报道把首次公开机器人 demo 的目标定在 2027 年。 第二条:Runway 以 Apache 2.0 开源了机器人控制模型 Praxis-1。一家视频生成公司,做出来的机器人控制器,在 Nvidia RoboLab-120 榜单上以 46.2% 的成功率拿下 World Action Model 类第一;真实 Franka 机械臂 10 项任务 100 次尝试成功 88 次,超过 FLUX 3 Action 的 80 次;迁移到从未见过的 RT-1 移动平台,仅用 95 小时机器人数据微调就达到 80% 成功率。 两条新闻放在一起读,指向同一个趋势:**机器人学作为一门依赖专用模型、专用数据、专用团队的技术路线,正在被通用模型范式收编。**这不是渐进改良,是学科边界的溶解。 为什么通用模型突然能控制机器人了 要理解这件事的分量,得先回答:为什么过去十年通用模型搞不定机器人? 传统机器人学习是典型的"小数据、强先验"路线:针对特定机械臂采集数千小时遥操作数据,训练一个策略网络,泛化能力约等于零。换一个夹爪、换一张桌子、换一次光照,成功率断崖下跌。RT-1 采集了 13 个月、70 万条真实轨迹,也只在自己熟悉的任务分布内好用。根本瓶颈在于:机器人缺的不是控制算法,是对物理世界的常识。 而物理世界常识,恰恰是视频生成模型和大语言模型在过去几年疯狂积累的东西。GPT-6 Astra 这类模型见过海量的视频、图文、交互轨迹,它"知道"杯子从桌上掉下去会发生什么、抽屉要拉开才能放进东西、鸡蛋不能用手腕压。这些常识曾经是机器人学要靠数据采集一砖一瓦搭建的,现在直接从预训练里继承。 Praxis-1 把这条逻辑演示得更彻底。它的技术路线是:**用视频生成模型做预训练,把"预测下一帧画面"的能力迁移为"预测环境如何变化",再从环境变化反推动作。**输入是摄像头图像、文本指令和机器人本体状态,输出是动作序列。这个范式有个漂亮的名字——World Action Model。视频模型学的是"世界如何演化",机器人控制需要的是"我的动作如何改变世界",两者在表征层面几乎同构。所以 Runway 拿视频模型改机器人控制器,不是跨界炫技,是顺流而下。 ...

2026年11月16日 · 1 分钟

每日论文精读 #082:让记忆为下一个未知任务省钱——CoReMem 用「锚点」重建 Coding Agent 记忆

Yale 团队提出 CoReMem:以「前瞻性分段估值」指导记忆设计、以「来源门控价值信用」训练 actor 使用记忆,在 ChainSWE 上同时降低步数与 token,并提升解决率。

2026年11月16日 · 1 分钟

71.9分与零突破:TCSExam在AI最自信的地方划出的断层线

一个耐人寻味的分数结构 11月初,arXiv 上出现了一篇 52 页的论文:TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research。作者列表里有两个人值得放在一起看——图灵奖得主姚期智(Andrew Chi-Chih Yao)和月之暗面创始人杨植麟(Zhilin Yang)。一位是理论计算机科学(TCS)的奠基级人物,一位是前沿大模型公司的掌舵者,这是两人首度在同一篇论文上联合署名。 TCSExam 做的事情很简单,也很狠:用 100 道专家审校的理论计算机科学任务,把前沿模型拉到 AI 最"自信"的赛场——数学与形式化推理——上做了一次全谱系体检。所有提交都由 Lean 4 内核或可执行检查器验证,不靠人类评审的主观打分,不存在 benchmark 污染式的"背题"空间。 结果的结构比总分更有信息量: 定理证明(20 题):要求用 Lean 证明已发表的研究级定理。GPT-6 Astra 在这条赛道通过率达 70%——意味着"把已知证明路子走通"这件事,前沿模型已经相当熟练。 求解器工程(30 题):实现算法并在隐藏实例上评测,这是最接近工程能力的部分,各家模型都有可观产出。 构造题(20 题):给出可验证的数学构造或界。GPT-6 Astra 构造出一个 [[25,7,6]] 量子纠错码,把 7 逻辑比特/25 物理比特配置下的码距从参考值 5 提升到 6;Kimi K3 在极值图论上把 124 顶点、禁三角形和四边形的图的边数下界从 629 推到 630——两者都刷新了已知的最好结果。 开放猜想(30 题):接受对公开猜想的完整 Lean 证明或证伪。30 道题,无一被模型独立攻克。 综合下来,GPT-6 Astra 以 71.9 分领跑 Full 榜,Opus 5.5 以 72.3 分领跑 Lite 榜。但那个 71.9 与那个 0 之间的断层,才是这份基准真正划出的东西。 ...

2026年11月15日 · 2 分钟

每日论文精读 #081:LVLM个性化隐私保护能力全线不及格,o4-mini也只拿到24分

清华与微软亚研提出ITP³任务与SPY-Bench:让用户用自然语言自定义隐私边界,21个SOTA视觉模型最高合规率仅23.74%,而新提出的NCA-P对齐方法将其拉升至96.88%。

2026年11月15日 · 1 分钟

权重即物证:当模型文件本身会『供出』训练芯片

一份让模型「自证出身」的分析 今天最值得深挖的新闻不是某家大厂的新产品,而是一份看起来很学术的分析。前 OpenAI 研究员 Will DePue 发布了一项研究:从公开的模型权重(weights)中,可以反推出训练这个模型用的究竟是什么芯片。 结论部分相当炸裂:他分析了 Hopper 架构核心数为 132、Blackwell 架构为 148(B200/B300)或 152(GB200/GB300)这一硬件差异在权重初始化分布上留下的统计痕迹,声称在 2026 年 4 月之后发布的六个中国模型——包括 DeepSeek-V4-Flash、Kimi K3、MiniMax-M3 等——中检出了 Blackwell 特征。他据此估算,五次训练共动用了约 1.2 万块 Blackwell GPU,总成本超过 5 亿美元。验证代码已开源,并且在 24 个已知训练硬件的对照模型上全部识别正确。 这件事的新闻价值远不止「中国实验室用了英伟达最新芯片」。它意味着一个此前只存在于理论中的可能性正在变成现实:模型权重本身就是训练基础设施的物证。 发布到 Hugging Face 上的那几百 GB 文件,不再只是能力的载体,也可能是一份无法销毁的「出生证明」。 指纹是怎么留下的:随机数不是真的随机 要理解这件事,得先回到大模型训练的第一步:参数初始化。 神经网络的权重在训练开始前需要赋初值,通常是某个分布(正态分布、均匀分布,或专门设计的缩放方案)中采样出来的「随机数」。但计算机里没有真正的随机——这些数来自伪随机数生成器(PRNG),而 PRNG 的输出由算法结构和状态决定。不同的 GPU 架构、不同的 CUDA 内核实现、不同的并行切分策略(一个张量怎么分到几百块卡上、每块卡的随机数子流从哪里开始、用 counter-based RNG 还是传统 Philox/curand),都会在「每个参数实际拿到哪个数」上留下系统性的差异。 更关键的是,训练并不会把这些痕迹完全洗掉。深度学习理论早就知道,网络的早期层在训练结束后仍与初始化保持强相关(NTK 视角下,很多网络的行为相当接近其初始化的线性化);矩阵乘法和大数平均会让单个参数的偏差互相抵消,但数十亿参数层面的统计分布特征——高阶矩、分位数结构、块与块之间的相关性模式——足够稳健,足以在训练后依然可测。 这和密码学里的「随机数指纹」是同一个思路:早在 2008 年,研究者就证明可以通过 SSH 会话中收集的素数反推 Linux 内核的 PID 计数和熵池状态;2008 年的 Apache 时光攻击、2012 年对 Android 上 Java SecureRandom 的分析,都是「伪随机数携带设备状态」的经典案例。DePue 做的事情本质上是把这个攻击面从通信协议搬到了模型文件上:Hopper 与 Blackwell 在 SM(流式多处理器)核心数、curand 内核的线程映射、张量并行时的 RNG 子流切分上都有差异,这些差异决定了初始化采样的微观结构。 ...

2026年11月14日 · 1 分钟

当上下文成为攻击面:LLMON 与提示注入的「格式层」突围

从一个老问题说起 提示注入(Prompt Injection)是大模型时代最古老的漏洞,也是最没有答案的一个。2023年至今,OWASP 的 LLM 风险清单每年都把它排在第一位,而防御方几乎一无所获:加过滤词会被绕过,加「忽略任何指令」的系统提示会被更强的注入覆盖,把用户数据转义编码只是提高了攻击成本。安全圈一度形成共识——只要指令和数据共享同一个上下文窗口、由同一个因果模型处理,提示注入在原理上就不可根除。 今天 IBM 发布的 LLMON(LLM Object Notation)给这个僵局提供了一个新的解法方向:不是在提示词层面修补,而是换掉上下文的编码格式本身。官方数据显示,在部分基准上,间接提示注入的攻击成功率从常规指令模型的高概率被劫持降到了接近零。 这个数字本身值得冷静看待(基准的选择、攻击者的适应性都待验证),但这个思路的转向值得所有做 LLM 应用的人认真理解——因为它指向一个更大的命题:上下文的格式不是外挂的序列化方案,而是模型能力的一部分。 LLMON 到底做了什么 先拆技术。LLMON 的核心设计可以概括为三件事: 保留特殊 token 作结构分隔符。 它使用一组模型词表中保留的、普通文本几乎不可能产生的特殊 token,扮演类似 XML 标签的角色,显式划分上下文中的结构边界——哪里是指令、哪里是数据、哪里是工具定义。与手写 XML 标签不同,这些 token 在模型训练时就被赋予结构语义,而不是靠模型「猜」标签的含义。 指令与数据通过唯一 ID 绑定。 每条指令通过唯一标识符引用它所操作的数据块,模型要执行某条指令,必须先解析引用关系。这相当于给上下文加了类型系统——攻击者即使在数据块里塞入「请执行以下命令」,这段文本也因为没有合法的指令 ID 而无法进入执行路径。 模型原生训练支持。 IBM 基于 Granite 4.1 发布了 3B 和 8B 两个预览模型,这些模型在训练时就以 LLMON 格式组织上下文。官方称通用能力与 Granite 4.1 Instruct 持平——也就是说格式约束没有以牺牲能力为代价。同时开源了 GitHub 工具包和 JSON↔LLMON 转换器。 第三点是最容易被忽视、也最关键的一点。此前业界不是没试过用标记做隔离——研究者早就提出过「spotlighting」(给不可信数据加标记)、各家 prompt 框架也普遍推荐用 XML 标签包裹用户输入。但效果有限,原因恰恰在于:那些标签对模型而言只是普通文本中的统计模式。模型见过大量包含 <data> 字样的训练语料,其中不乏讨论标签、伪造标签的内容,标签因此不具备可靠的语义边界作用。LLMON 的差异在于把分隔符做进 tokenizer 和训练数据,让结构感知成为模型的先验,而不是 prompt 里的一厢情愿。 为什么说这是「格式层」的突围 把 LLMON 放回防御提示注入的历史脉络里,能看到一条清晰的失败史和它所处的位置: ...

2026年11月13日 · 1 分钟

每日论文精读 #080:把地理可达性写进Token——淘宝闪购生成式广告检索TS-GEAR

淘宝闪购把商家ID拆成地理前缀+语义后缀,让配送可达性从后置过滤变成生成目标,0.1B小模型扛住日均1.5亿次检索,广告收入+4.2%。

2026年11月12日 · 1 分钟

当AI开始证明你的加密软件没有漏洞:AlphaProof Code与形式化验证的「下沉时刻」

一个值得停下来想一想的消息 今天日报的头条值得单独展开讲讲:Google DeepMind发布了多LLM智能体框架AlphaProof Code,用AI智能体在Lean定理证明器中生成了超过600万行证明代码,对Signal加密协议的实际部署实现完成了形式化验证。 几个关键事实先摆出来: 这是AI首次在这个深度上验证一个广泛部署的密码协议; 也是Signal这类协议的实现首次被任何方法完整验证——注意,是被AI做到的,而不是被人类专家团队; 整个过程只用了4周; 人类专家只需要复审约1%的代码,其余部分由Lean的内核自动检查。 如果你不熟悉形式化验证,可能感受不到这几个数字的分量。我们来拆一拆。 为什么「验证实现」比「验证设计」难得多 密码学界有一个长期存在的尴尬:协议的数学设计和协议的软件实现,是两个几乎不同的世界。 Signal协议的数学设计(X3DH密钥协商、双棘轮Double Ratchet前向保密机制)早在多年前就被学术界用形式化工具(如Tamarin证明器)分析过,结论是设计层面站得住脚。业界也有过HACL*、Everest等项目,验证过密码学原语的参考实现。 但真正跑在你手机上的libsignal——那个由Rust、C、Java、Swift等多种语言写成、要适配各种平台怪癖、经过无数次重构和性能优化的生产代码——从来没有被完整验证过。原因很简单:**验证实现代码的成本是天文数字。**一个协议的设计可以用几十页数学符号描述,而它的实现是几十万行工程代码,每一条语句、每一次内存操作、每一个边界条件都需要在形式化系统中重建并证明。人类专家做这件事的代价,让「完整验证一个工业级协议实现」长期停留在论文的"future work"里。 而真实世界的漏洞恰恰就藏在这条缝里。历史上大量高危密码漏洞——Heartbleed、各种时序侧信道、状态机混乱导致的密钥泄露——都不是设计缺陷,而是实现缺陷。设计是完美的,代码是有洞的。**用户信任的是代码,学术界证明的却是设计。**这个错位存在了几十年。 AlphaProof Code填的就是这个缝。 AlphaProof的进化线:从IMO到生产代码 理解这件事的意义,需要看到AlphaProof这一年的轨迹。 2024年7月,AlphaProof在 IMO(国际数学奥林匹克)拿到银牌水平成绩;2025年,它达到金牌水平并登上《Nature》,论文披露其训练用了约3000亿token的数学与代码语料,团队构建了约8000万条形式化数学命题的「题库」。当时的叙事是:形式化推理是通往可验证AI的关键路径。 但IMO金牌本质上还是「玩具问题」——题目封闭、边界清晰、证明长度有限。今天这个发布则完成了从竞赛到工程的跨越:**被验证的对象从数学竞赛题换成了数十亿人每天使用的加密软件的部署代码。**这不是难度增加了一档,而是换了赛道——生产代码里充满工程妥协、平台特化、历史包袱,把它「翻译」进Lean并证明等价性,是形式化方法领域公认的最苦最脏的活。 框架层面的信息同样重要:AlphaProof Code是一个多LLM智能体框架,不是一个单一模型。这符合当下最清晰的一条工程趋势——前沿能力越来越不来自单个模型的规模,而来自模型编排:不同智能体分工处理代码理解、证明策略搜索、证明修补,Lean内核则扮演那个永远不会说谎的裁判。600万行证明、4周、人类只审1%,这三个数字合在一起描述的是一种新的人机分工:AI负责在巨大的搜索空间里生成证明,机器检查器负责百分之百的可靠性背书,人类专家只处理机器无法裁决的语义问题(比如「形式化规格本身是否写对了」)。 为什么这件事可能是个拐点 **第一,它把「安全」从概率问题变成确定性问题。**Fuzzing、渗透测试、代码审计,本质上都是抽样——测过的不代表安全,只代表没测出问题。形式化验证是穷举——证明通过意味着在这套规格下不存在某一类错误。AI把它从「奢侈到不可能」变成「4周、1%人工」。如果这个成本曲线继续往下走,未来安全关键的库(密码学、内核、金融清算、医疗设备固件)不做形式化验证,可能就像今天不做单元测试一样不可接受。 **第二,它给「AI写代码」提供了信任锚。**大家都在担心AI生成代码的可靠性,但这里有个有趣的反转:AI恰恰是让形式化验证变得经济可行的力量。AI生成代码 + AI生成证明 + 机器检查证明,构成一个闭环——**AI可以犯错,但证明检查器不会。**这可能是AI编程真正进入安全关键领域的唯一路径:不是让AI变得永远正确,而是让AI的输出变得可验证。 **第三,信号意义大于单一成果。**DeepMind选Signal不是偶然——它是端到端加密的旗帜,被Signal、WhatsApp、Messenger等数十亿用户依赖,是「值得验证」的最高象征物。第一个完整验证的果实摘在这里,等于向整个行业宣告:**没有哪个部署中的协议实现,从今天起在原则上不可验证了。**剩下的只是成本问题,而AI能力的成本曲线,没人敢赌它不下降。 冷静的一面 当然,也要看清边界。形式化验证证明的是「实现符合规格」,它不能证明「规格本身覆盖了所有安全属性」——那1%需要人类复审的部分,正是这个体系里最微妙的地方。侧信道攻击(时序、功耗、电磁泄漏)也很难被纯逻辑层面的验证捕获。而且Lean生态对主流工业语言(C++、Rust之外的多数语言)的形式化支持仍然薄弱,「任何代码都能验证」还有很长的路。 但方向已经清楚了。日报的趋势观察里说「形式化验证从设计层下沉到实现层」,我愿意更进一步:**这是软件可信性的一次范式转移的开端——从「测试到有信心」走向「证明到确定」。**十年后回头看,2026年11月可能就是那条曲线的起点。 本文基于2026-11-12 AI洞察日报头条撰写,相关信息来源:Google DeepMind官方发布、AlphaProof《Nature》论文(2025年11月)。

2026年11月12日 · 1 分钟

当机器人开始"看视频自学":GR00T 2 与具身智能数据墙的倒塌

一段视频,换一个技能 昨天 NVIDIA 发布了机器人基础模型 GR00T 2。新闻稿里的说法是"看人类操作视频即可迁移技能",这种表述在机器人领域已经被喊了好几年,容易让人以为是又一次营销包装。但翻完技术报告之后,我认为这次不太一样——它不是把老思路做得更好,而是换了一条路线。 先看数字。GR00T 2 的训练数据包括约 40 万小时人类佩戴头戴相机拍摄的第一视角操作视频,训练用了超过 1000 颗 GB300 GPU。学会新任务的方式是:一个人戴上数据手套或手指外骨骼,把操作过程演示一遍,系统把这段人类手部运动"翻译"成机器人本体的执行轨迹。实验室里,一只五指手机器人靠这种方式学会了划火柴、切香蕉、把包裹抛上传送带——全程没有针对这些任务做过任何遥操作数据采集。 任务成功率在 10%–80% 之间浮动,说实话不算漂亮。但对 50 个模型已经初步掌握的任务,不到 3 分钟的常规微调就能把成功率从 40% 拉到 95%。这个数字才是关键:数据采集成本不再以"小时计的遥操作"为单位,而是以"分钟计的微调"为单位。 从 VLA 到 WAM:一次范式级别的换道 要理解 GR00T 2 为什么重要,得先看它推翻了什么。 过去三年,机器人学习的主流范式是 VLA(Vision-Language-Action):输入相机图像和语言指令,直接输出电机指令。GR00T 1 也是这条路。VLA 的问题在于它是一个黑箱映射——图像进去、动作出来,中间没有对物理世界的显式建模。这导致两个后果:一是跨本体迁移极其困难,为 Franka 机械臂训练的模型搬到人形机器人上基本作废;二是模型无法"想象"动作的后果,只能靠大量数据暴力覆盖各种情况。 GR00T 2 放弃了 VLA,NVIDIA 给新架构起了个名字:世界-动作模型(World-Action Model, WAM)。它的核心机制是:在计算下一个动作的同时,用扩散模型生成一段"即将看到的未来"的短视频——机械臂抓起一个物体时,相机画面应该怎么变化。动作和视觉预测被绑在同一个模型里训练。 这个设计解决了一个根本问题:**当模型必须预测"我做了这个动作之后世界会变成什么样",它就被迫学习物理常识,而不只是学习"图像到动作"的统计相关性。**这和大语言模型通过预测下一个 token 被迫学会语法和事实,是同一种逻辑。 而视频预测正是 EgoTransfer 方法成立的技术前提。把人类操作视频迁移给机器人,难点从来不是"手怎么动",而是人手和机械爪的形态差异——人手五指灵活,机械爪可能是两指夹爪,动作根本不是一一对应。GR00T 2 的做法是用视频扩散模型把人类手部运动"重新想象"成机器人本体的执行画面,再从想象出的画面中解出控制指令。迁移不是在动作空间里硬翻译,而是在视觉表象空间里做归一化——人怎么做,机器人就"想象自己怎么做"。这就是为什么模型能跨本体工作:只要给足目标机器人的常规运动数据,任何形态的机器人都套得进这套想象框架。 数据墙:具身智能真正的瓶颈 具身智能行业有个公开的秘密:模型架构不是瓶颈,数据才是。 对比一下数字世界和物理世界的差距。GPT 系列的训练语料是数万亿 token 的互联网文本,LLM 的发展本质上是在"吃"人类几十年积累的数字化产出。而机器人呢?真实机器人操作数据的采集成本极高——一条遥操作轨迹需要一个熟练操作员几分钟到几十分钟,采集一个像样的任务数据集要数千条轨迹。Open X-Embodiment 数据集汇聚了全球几十家机构的努力,总时长不过百万级 episodes,和互联网文本的规模差着五六个数量级。 这就是具身智能的"数据墙":互联网上有无穷多的文本和图片,但没有无穷多的机器人操作视频——直到你意识到,有海量的"人类操作视频"。YouTube 上的教程视频、工厂的监控录像、VR 头显的第一视角记录,这些数据的总量是遥操作数据的几个数量级之上。GR00T 2 的 40 万小时头戴相机视频只是这个宝库的第一铲。 ...

2026年11月11日 · 1 分钟

每日论文精读 #079:激活探针检测多智能体合谋,读的是指令而非决定

本文揭示多智能体合谋检测的激活探针主要读取"被指示合谋"而非"决定合谋",去掉指令后AUROC从1.00跌至0.61,并给出三 pitfalls 与检测协议。

2026年11月11日 · 1 分钟

当AI开始优化自己:RSI落地生产,模型迭代的速度上限正在改写

11月9日,百度文心首次公开披露了其RSI(Recursive Self-Improvement,递归自我改进)系统的进展:一个名为ERNIE Evolve的自动研究系统,已经实际参与了即将发布的文心5.5 Flash的研发,负责三项推理性能优化任务——并且全部通过了生产级验证。 这条新闻在国内媒体的报道里不算显眼,但它可能是本周最值得深思的一条行业信号。原因很简单:RSI第一次以"已用于生产研发"而非"论文/demo"的姿态,出现在一家主流大厂的官方路线图里。 RSI到底是什么,为什么它重要 递归自我改进的核心思想一句话就能说清:让AI直接参与自身的研发流程,自主提出方向、跑实验、验证结果、积累经验,用这些改进后的能力再去改进自己,形成闭环。 这个概念在AI安全文献里被讨论了十几年,长期以来它更多是一个理论恐吓——“奇点"叙事的标配元素。但2026年的进展让它迅速实体化:OpenAI、Anthropic、腾讯、智谱等多家厂商都在探索将RSI引入模型研发;创业公司Recursive干脆以"Eureka Machine"为主业,号称自动化整套科学方法,其发布的40B参数MoE模型Flint宣称"每一个构建环节都由自动研究系统塑造”。 百度这次披露的价值在于细节的颗粒度。它不是愿景宣言,而是一份带工程数字的落地报告——这让我们第一次能拆开看,RSI在真实生产环境里到底长什么样。 拆解ERNIE Evolve:一个"AI研究团队"的组织架构 ERNIE Evolve采用双层循环组织研究: 外层循环:结合历史实验结果和已有知识,提出新的研究方向,并安排多条研究线并行探索; 内层循环:针对具体方向持续进行代码修改、效果评测和经验沉淀。 系统内部由多个智能体分工协作,角色划分清晰得像一份创业公司组织架构图: Director负责选择研究方向; Selector确定每轮实验的目标和代码起点; Executor修改代码并生成新版本; Evaluator(独立评测程序)负责评测性能和结果; Reviewer检查研究是否偏离目标、是否存在评测漏洞。 注意最后两个角色。只有通过评测和复核的改进才能保留——这是整个系统里最关键的设计。每轮实验的代码改动、结果和经验都会被记录,供后续研究参考。 这个架构揭示了当前RSI的真实形态:它不是科幻意义上的"AI重写自己的权重",而是AI Agent接管研发工作流中可形式化的那部分——推理优化、算子调度、参数搜索这类目标明确、反馈即时、结果可客观验证的工程任务。 三个生产案例里的数字 ERNIE Evolve在文心5.5 Flash上的三项任务,成绩单如下: 昆仑芯P800低时延优化:历时约168小时,4轮方向探索,先后接入原生融合算子、启用投机解码,再优化主机调度与同步机制、通信路径,最优版本生成速度提升至基线的623.6%。 确定性推理吞吐优化:3天时间,围绕确定性采样、确定性开关及算子并行策略探索3个方向,吞吐提升至基线的133.7%,平均每token生成时间缩短26%,首token延迟降低12%——且严格保持确定性。 极致解码速度优化:累计探索7个研究方向,其中3个方向(MoE与mHC算子、矩阵乘与调度策略、草稿模型关键路径)带来有效提升,推理性能累计提升至基线的114.9%,精度与基线一致。 这些数字值得放在行业坐标系里看。推理基础设施优化,历来是依赖顶级系统工程师经验的"手艺活"——一个资深团队做出10%-30%的性能提升,通常以周为单位计。而ERNIE Evolve在几天到一周的时间里,并行探索多条路径,拿到了从14.9%到523.6%幅度不等的提升,并且全部通过人类团队的压测与正确性检查。 换句话说:在目标明确、评测客观的工程领域,AI研究系统的探索带宽已经可以和人类专家团队掰手腕,而且它不知疲倦、不休假、可以无限并行。 为什么第一落点是推理优化,而不是"更聪明的模型" 一个耐人寻味的细节:百度明确说"推理基础设施优化是RSI在真实研发中的第一个落点",未来才逐步延伸至训练系统优化、模型能力研究和评测体系迭代。 这个顺序不是随意的,它揭示了RSI落地的真实约束条件: **第一,反馈信号必须客观、即时、廉价。**推理优化有现成的基准(吞吐、延迟、精度),评测可以自动化,一次实验的验证成本是分钟级。相比之下,“模型能力研究"的反馈信号模糊、评测昂贵、结果方差大,AI自主探索的信号噪声比差得多。 **第二,失败必须廉价。**推理优化的实验失败,损失的是算力和时间;训练实验失败可能烧掉几十万且一无所得。RSI系统的探索是高并行的试错,只有失败成本低,试错的数学期望才为正。 **第三,改进必须可验证、可回滚。**Evaluator和Reviewer的双重复核机制之所以有效,是因为代码性能的提升是可精确度量的。如果扩展到模型能力研究,“这个改动让模型变好了吗"本身就成为一个难以自动判定的问题。 这意味着RSI的扩展路径会遵循一条清晰的规律:**从反馈明确的工程优化,逐步走向反馈模糊的研究任务,每一步的推进速度取决于该领域能否建立可靠的自动化评测。**评测体系的含金量,决定了RSI能走多远。这也是为什么百度把"评测体系迭代"列为未来方向之一——先造尺子,再让AI用尺子探索。 速度上限的改写:从人类带宽到机器带宽 理解了RSI的工作形态,就能看清它真正改变的是什么。 传统上,模型迭代的瓶颈是人类研究者的带宽:一个实验室能同时探索的研究方向数,受限于有多少个能独立带方向的研究员。方向A和B之间的人力争夺,决定了技术路线收敛的速度。 RSI把探索的边际成本压到了算力价格。当方向探索可以无限并行,模型迭代的速度上限就不再受限于人类研究者的数量和精力,而是取决于算力预算和评测体系的可靠性。 这对行业竞争格局的含义是深远的: **其一,研发效率的军备竞赛有了新的维度。**过去比拼的是"能雇到多少顶尖研究员”,未来比拼的是"自动研究系统的探索效率×算力投入×评测可靠性”。ERNIE Evolve在NanoChat AutoResearch和NanoGPT Speedrun两项任务上拿到公开验证的SOTA——注意,这类基准本身就在快速涌现,说明"自动研究能力"正在成为一个独立的、可评测、可竞争的能力层。 **其二,基准与能力的差距周期会缩短。**人类研究者对新基准的"攻克"以月计;自动研究系统以天计。当各家评测体系都在被RSI加速冲刷,我们熟悉的"基准发布→刷榜→饱和"周期会被压缩,基准设计将不得不更多转向对抗性、开放性和真实任务。 **其三,小团队的机会窗口在收窄的同时也在变形。**RSI需要算力、需要成熟的评测基础设施、需要生产环境验证——这些都是巨头优势。但反过来看,推理优化这类"苦活"被AI接管后,人类工程师的价值会更集中在定义问题、设计评测、审查方向这些上游环节。工程师的稀缺能力从"做优化"变成"判断什么值得优化"。 必须回答的两个问题 百度在披露中强调,RSI的扩展"将在明确的目标、权限和资源边界内进行,并接受持续的安全评估与人工监督"。这句话不该被当作例行公文的免责声明,因为RSI确实带来两个尚未有行业共识的问题: **一是可审计性问题。**当一条技术路线是AI自主探索出来的——Director选择了方向A而不是B,理由可能埋在数万条实验记录里——人类团队如何复核这个决策的合理性?如果ERNIE Evolve式系统在几个月内积累了人类永远读不完的实验历史,“人工监督"在实践上意味着什么?监督者监督的是结果,还是过程?目前的Reviewer机制解决了单轮实验的质检,但没有回答系统层面的方向合理性审查。 **二是能力分布的不对称。**RSI在推理优化上验证有效的逻辑,同样适用于漏洞挖掘、攻击工具开发等"目标明确、反馈客观"的恶意方向。安全侧的RSI研究与能力侧的RSI研究,目前明显不在一个投入量级上。当能力迭代被机器加速,安全评估如果还停留在人类速度,差距会指数级拉开。 这两个问题没有现成答案,但它们应该在RSI扩展到训练优化、能力研究之前被回答,而不是之后。 结语 RSI从论文概念走到生产研发,最值得记住的不是623.6%这个数字,而是一个更朴素的事实:AI研发这个职业本身,正在成为第一批被AI显著改造的知识工作之一。 这不是"AI取代研究员"的陈旧叙事。恰恰相反——定义问题、设计评测、审查方向、守住边界,这些人类研究者的核心职能,价值正在被放大;被自动化吞掉的,是那些本就机械重复的试错环节。 真正的分水岭在于:当探索的带宽不再稀缺,判断力会成为整个AI产业链上最稀缺的资源。而判断力如何培养、如何传承、如何不被海量机器生成的实验记录淹没,是留给人类研究者的新作业。 参考:百度文心技术博客(ERNIE Evolve)、雷峰网、Recursive (recursive.com)、Latent.Space

2026年11月10日 · 1 分钟

每日论文精读 #078:FP4原生KV Cache解码,吞吐提升2.4-3.0倍且精度几乎无损

BitDecoding-FP4通过算法-系统协同设计实现原生FP4 KV Cache解码,在B300上吞吐提升2.4-3.0倍,精度损失控制在0.5点以内。

2026年11月10日 · 1 分钟