四项预注册检验表明,嵌入空间中离群点的距离信号几乎无法引导LLM构思新想法,是一份罕见的高质量负结果研究。
当模型开始设计芯片:OpenAI用AI改写AMD旗舰GPU,一年优化量被压缩进五个月
从"跑在芯片上"到"设计芯片" AI与芯片的关系,长期是一个单向的故事:芯片厂商为AI设计专用加速器,AI模型在芯片上训练和推理。摩尔定律放缓之后,这个循环的转速成了整个行业的天花板——算力需求每年指数级增长,制程红利却两年一跳,PPA(性能、功耗、面积)的每一寸优化都要靠工程师在RTL代码、综合报告和时序收敛之间以月为单位艰难抠出来。 11月18日,OpenAI发布了一篇详细的文章《Advancing chip design with our models》,把这个单向故事改写成了闭环:他们的前沿模型正在实质性地改进真实的商用芯片设计,而且改进已经流片、已经投产。 这不是"AI辅助写写脚本"级别的新闻。三个事实值得逐条拆开看: 在OpenAI自研推理芯片Jalapeño上,模型提出的修改让向量单元的标准单元面积减少约13%、矩阵单元减少10%,且这些优化在硅片验证(silicon-proven)中得到确认——不是仿真通过,是真实的芯片跑出来了。 与AMD的合作中,模型直接重写旗舰GPU IP的SystemVerilog RTL,在已经被人类专家深度优化过的基线上取得最高14%的PPA提升。AMD已经把其中部分改动送去了制造(tape-out),另一些进入了投产设计文件。OpenAI的说法是:这相当于大约一年的优化进展被压缩进了不到5个月。 在两个开源32位RISC-V核(PicoRV32和Ibex)的端到端吞吐测试中,GPT-6.2 Astra在约11.2万token预算下得分最高,相比GPT-6 Astra分数翻倍——芯片设计能力正在随模型代际以肉眼可见的速度爬坡。 14%意味着什么:在"已经最优"的地方再挤一层 要理解这个数字的分量,得先理解现代GPU的设计流程走到了什么程度。 旗舰GPU是地球上优化得最狠的人造物之一。一个IP块在流片前要经过几十轮综合、布局布线、时序分析和功耗分析,每一代产品都继承了上一代沉淀的优化。业界共识是:在一个深度优化的基线上,手工再做几个百分点的PPA改进,往往需要工程师数月的心血。PPA提升14%这种量级,正常节奏下就是一整代产品的优化周期。 而模型做到这件事的方式尤其值得注意——它不是在写新代码,而是在重写旧代码。OpenAI的描述是:“模型以专家级微架构师的视角推理RTL”。它可以重写执行计算、控制操作或搬运数据的电路,然后调用Synopsys的EDA工具验证每次重写是否保持了模块的行为等价性,并评估功耗、性能、面积的权衡。这是一个完整的专家工作流:提出假设→修改电路→形式验证→量化收益→迭代。 Jalapeño上的细节更能说明模型的"思路"。以矩阵单元为例:一次乘法器重设计让综合后单元面积减少约15%,同时把延迟从两个时钟周期压到一拍;另一次加法器重设计同样省下约15%面积且不牺牲时延。这些不是暴力搜索的产物,而是模型同时探索了"替代逻辑实现"与"计算如何跨流水级划分"两个设计维度后,找到的硬件复用与减少中间寄存的组合方案。向量单元的收益则来自浮点加减法器、乘法器、转换函数、归约逻辑和特殊函数单元的层层积累。 换句话说,模型做的正是资深数字设计工程师每天做的事——只是迭代速度快了一个数量级。 RISC-V基准:一条可测量的能力曲线 商业合作数据天然带有宣传色彩,OpenAI也意识到了这一点,所以他们同时发布了一套更接近科研评测的结果:在两个开源RISC-V核上测试历代模型的端到端设计能力。 任务设定很朴素:给模型原始的硬件描述,要求提升吞吐量(每秒执行指令数)。评分规则严格——仿真验证失败或面积超过原设计16倍直接记零分;通过的按隐藏工作负载上的IPC乘以Yosys估计的最高时钟频率计算吞吐,归一化打分。全部评测覆盖了9,881次有效运行。 结果是一条清晰的能力曲线:在约11.2万token的可比预算下,GPT-6.2 Astra在两个核上平均分都最高,其中PicoRV32上的得分约为GPT-6 Astra的两倍;GPT-6.1 Sol也全面超越GPT-5.6 Sol。更耐人寻味的是第二个任务——只给模型书面需求规格让它从零设计处理器核,所有五代模型从规格出发的得分都高于改进现有设计的得分。这暗示模型在"不受既有结构束缚"时更能发挥,但OpenAI也坦诚指出:从规格出发时模型可能主动省掉了性能计数器、扩展指令等对测试吞吐无贡献的功能,让测试偏向乐观——若强制保留全部特性、收紧面积约束并在物理综合后检查时序,测试会更接近真实芯片设计。 这种自我克制的评测叙事,恰恰是这篇文章可信度最高的部分。 真正的分水岭:Synopsys合作与GPT-Synopsys 如果说Jalapeño和AMD的案例证明了"能做到",那么与Synopsys的合作决定了"能不能规模化"。 芯片设计行业的护城河从来不只是设计师的智力,而是EDA工具链——数十年沉淀的Verilog编译器、形式验证器、综合引擎和签核工具,构成了芯片设计事实上的"操作系统"。OpenAI宣布与Synopsys共同训练一个新模型GPT-Synopsys,让它"像专家芯片设计师那样"使用Synopsys的EDA工具。 这一步的战略含义比任何单项PPA数字都大。当模型学会驱动EDA工具链,芯片设计就从"模型生成代码、人类拿去跑工具"变成了模型在自己的闭环里完成设计-验证-迭代。工具链是芯片设计行业最深的沉淀,也可能是AI接管这个行业最关键的一级台阶。 连锁反应:谁会被改写 这件事的影响会沿三条线扩散。 第一条线是芯片公司的工作流重构。 当模型能在深度优化基线上再挤出两位数百分比的PPA提升,芯片公司的竞争力评估就要重写:拥有最强AI设计能力的团队,等效于凭空多出一代工艺节点的优化预算。AMD已经把模型改动送进投产文件,这个信号对全行业的设计管理者都是直接的。工程师的角色会向"定义优化目标、审查模型提案、把控签核质量"迁移——不是消失,而是从拧每一颗螺丝的人变成验收整台机器的人。 第二条线是自研芯片门槛的再下降。 OpenAI用GPT-4o在2025年初就启动了Jalapeño的模型辅助设计,一个此前没有任何芯片积累的组织,靠模型把自定义推理芯片做到了流片验证。对大量想做自研芯片但缺资深设计人才的云厂商和AI公司,这条路径的示范效应是残酷的:芯片设计人才的稀缺性溢价,可能正在被模型稀释。 第三条线是AI自我加速的闭环。 这是整个故事里最深的一层。AI模型改进芯片设计→更好的芯片提供更多算力→更多算力训练更强的模型→更强的模型进一步改进芯片设计。这个循环一旦转起来,就是AI发展史上第一个完整的物理层自增强回路。OpenAI在文章结尾的表述很平静,但含义很重:“我们期待在GPU和CPU的最优基线之上取得进一步的PPA改进。“注意,是"最优基线之上”。 冷静剂:能力的边界仍然清晰 在乐观之前,有几点边界值得记下。 其一,目前的成果集中在计算密集型模块——向量单元、矩阵单元、浮点运算部件。这类模块逻辑规整、可形式化验证、收益可量化,是AI最擅长的甜区。而SoC设计中最耗人力的部分往往是时钟树、电源网络、互联总线、模拟混合信号,以及无穷无尽的设计变更管理,这些"脏活累活"目前看不到被模型接管的明确证据。 其二,验证负担可能被低估。模型生成的每一处RTL修改都需要形式验证和行为等价性检查兜底,Synopsys工具链在其中的角色不是锦上添花而是生命线。AI提效的边界,最终由验证工具链的吞吐决定。 其三,14%是"最高"而非"平均”,且是特定IP块上的结果。把它线性外推到整颗芯片甚至整个行业,还为时过早。 但即便只按最保守的读法,这篇文章标记的拐点是明确的:AI优化芯片第一次从论文演示进入了商用流片和投产文件的层面。 2024年业界还在讨论"LLM能不能写好Verilog",2026年模型已经在改写AMD旗舰GPU的RTL并拿到投产资格。 结语:设计者的设计者 有个略显悖论的视角:人类工程师花六十年把芯片设计变成一门高度结构化的学科,写下了可验证的规格、标准化的HDL、严格的签核流程——正是这种结构化,让芯片设计成了AI最容易"学会"的复杂工程领域之一。人类为提高协作效率而建的工具与规范,如今成了模型理解这个领域的阶梯。 当模型开始设计运行自己的芯片,AI的故事就从"智能"进入了一个新章节:它不再只是被创造物,而正在成为创造过程本身的一部分。五个月压缩一年只是第一个数据点——如果能力曲线像RISC-V基准展示的那样逐代翻倍,芯片行业六十年积累的节奏感,可能会在未来几年被彻底重写。 参考来源:OpenAI《Advancing chip design with our models》(2026-11-18)、Synopsys官方公告、AI洞察日报 2026-11-19
当会话成为资产:Agent Host Protocol 与 Agent 基础设施的「TCP 时刻」
从一个反直觉的事实说起 昨天 GitHub 做了一件在发布琳琅满目的 AI 新闻里容易被刷过去的事:开源了 Agent Host Protocol(AHP),一个让 AI Agent 会话可以在编辑器、独立应用、手机和云端之间无缝接续的开放协议。 表面上看,这只是「多设备同步」的产品功能。但如果你把它放进过去两年 Agent 生态的演化脉络里,会发现它在回答一个更根本的问题:Agent 会话到底属于谁?它绑定在工具上,还是一个独立的、可迁移的计算实体? 今天几乎所有的 Agent 产品都默认了前一种答案。你在某个编辑器里和 Agent 排查了三小时的线上故障,上下文、中间结论、待办清单都活在那个进程里——关掉窗口,一切归零。这就像 1980 年代之前,每个网络应用自己定义报文格式,互联网无从谈起。AHP 想做的,是 Agent 世界的 TCP:定义会话的传输层,让任何一个客户端都能挂载同一个正在运行的工作。 AHP 到底是什么:技术拆解 GitHub 的工程博客讲得很清楚,AHP 的设计决策值得逐条看。 1. 通道(Channel)作为功能单元。 协议围绕 URI 标识的通道组织,每个服务器必须实现 root、session、chat 三个核心通道,其余能力——终端支持、MCP 扩展、OpenTelemetry 上报——作为可选通道叠加。这是典型的渐进式协议设计:最小内核保证互操作,长尾功能不拖累实现门槛。 2. Reducer 驱动的状态模型。 每个通道内部是一个 reducer 式的状态对象,服务器是状态的唯一仲裁者,客户端发送 action 序列去变更状态或触发副作用。这个设计直接borrow自前端状态管理的成熟经验,带来三个工程红利:弱网重连与重放变得简单(客户端排队 action,等服务器 reconcile);调试可观测(状态流转可日志化);与 React 这类主流 UI 框架天然契合。 3. 刻意不定义 Agent 的行为。 这是最值得注意的一条。LSP 和 DAP 之所以成功,是因为语言服务和调试器这两个领域的行为是稳定的。而 Agent 领域的进化速度完全不同——工具调用方式、推理策略、记忆机制每个月都在变。所以 AHP 只规定「你怎么和 Agent 交互」,不规定「Agent 怎么工作」。这是一个对领域不确定性高度自觉的边界划定。 ...
每日论文精读 #083:EfficientSkill——先学会再瘦身,Agent技能的双重优化
两阶段优化框架让Agent技能token开销降低最多80%,同时准确率不降反升
每日论文精读 #006:模型生成的文本可能正在偷偷出卖你
恶意LLM可从日常对话推断你的性别年龄,并隐写编码进看似正常的回复中,用户分享文本即无意泄露隐私。
Agent记忆的悖论:忘不掉的AI,走不远
一场荒诞的对照实验 把一个AI Agent放进Game Boy游戏《宝可梦:红》里,让它自己玩,会发生什么? Anthropic的研究团队给出的答案有些黑色幽默。他们用Pokémon Red作为测试环境,比较了不同模型与不同记忆策略下的Agent表现。结果发现:Claude Sonnet 3.7在一万步左右的游戏过程中,疯狂地为环境建立档案——生成225个文件夹、413个文件,把遇到的每只宝可梦、每个NPC、每条对话都事无巨细地记下来。它像一个强迫症的档案管理员,忙于整理笔记,结果只拿到1枚徽章。 而新一代的Claude Fable 5采用了完全相反的策略:只记录策略与已验证的规则,忽略海量的环境细节。它拿到了4枚徽章——是前者的四倍。 这个实验是Anthropic最新发布的Agent记忆组件研究的核心案例。它揭示了一个反直觉的结论:Agent记忆系统的关键不是存多少,而是忘什么。 记忆的存储悖论 过去两年,Agent记忆是整个行业投入最密集的方向之一。从MemGPT到Letta,从向量数据库到知识图谱,从上下文工程到KV Cache复用——所有人的直觉都是:记忆越多越好,检索越快越好。工程上的默认动作是"存":把对话历史塞进向量库,把工具调用结果写进文件,把每一步推理都留档。 但Pokémon实验戳破了这个幻觉。原因其实很朴素: **第一,记忆是有维护成本的。**当Agent积累了几百个文件后,它每次决策前都需要决定"查什么、不查什么"。检索本身消耗注意力(在模型层面就是上下文窗口和算力)。存得越多,检索空间越大,单步决策的"思考税"越高。Sonnet 3.7的1万步里,大量算力花在了"整理笔记"这个元任务上,而不是游戏本身。 **第二,噪音记忆会污染决策。**早期探索阶段形成的错误印象——比如某个技能没用、某条路走不通——如果被原样保留,会在后续几百步里持续误导Agent。人类玩家也有类似体验:对一张地图的过时认知会让人反复走进死胡同。区别在于,人类会自然遗忘,Agent不会。 **第三,刚性指令救不了弱策略。**研究中有一个重要发现:给模型下达"只记录错误"这类刚性指令,会让强模型的性能优势大部分消失。因为"什么算错误"本身需要判断力。记忆筛选是一种需要智能的元认知活动,把它降级成机械规则,等于禁用了模型最擅长的部分。 Dreaming:让Agent在空闲时"做梦" 研究中最有意思的机制叫Dreaming(做梦)。这个名字来自认知科学的类比:人类睡眠时,大脑会重放白天的经历,巩固有用的记忆、清理无用的连接。 Dreaming的工作方式是:在Agent空闲期(没有新任务进来的间隙),让它回放自己的历史transcript,逐条核查现有笔记——这条记录还成立吗?有没有和后来经验矛盾的地方?然后主动修正错误记忆。 这解决了一个传统记忆系统无解的问题:记忆的时效性。传统RAG架构假设"存进去的东西是对的",检索时按相似度召回,从不质疑条目本身是否过时。但在长程任务里,环境在变、Agent的能力在变、早期结论天然不可靠。一个不会做梦的Agent,等于背着一本只增不删、从不勘误的百科全书走路。 从工程视角看,Dreaming本质上是一种离线自检机制——类似数据库的compaction、缓存的一致性校验,只不过校验的对象是语义内容,校验者必须具备足够的推理能力。这暗示了一个架构趋势:记忆质量保障会从"写时验证"扩展到"闲时维护",Agent基础设施需要一个类似cron的后台任务层。 Wiki + 检索:结构化的价值 研究的另一个发现关于记忆的组织形式。团队基于Stainless约35万份内部文档构建了关联wiki,实验结论是:wiki与检索结合的效果最佳——单独用wiki或单独用检索,都不如两者叠加。 这个结果对做企业Agent的团队有直接指导意义。当前行业里"RAG派"和"知识图谱派"争论不休,前者认为向量检索足够通用,后者认为结构化才是正道。Anthropic的数据说明这是一个假对立:wiki提供的是经过整理的结构性先验——哪些概念相关、因果链是什么、哪些结论被哪些文档支撑;检索提供的是面向具体查询的动态召回。结构决定上限,检索决定命中率,缺一不可。 而且wiki的构建本身可以是Agent的工作产物。35万份散乱文档变成关联wiki的过程,正是"记忆整理"的规模化版本——这与Pokémon实验里"选择性记录"是同一个原则在不同尺度上的体现。 记忆筛选是新的智能高地 把这份研究放到更大的坐标系里看,它标记了Agent记忆研究重心的迁移:从"怎么存"转向"怎么删"。 存储层的问题在过去两年里已经被解决得七七八八——向量库、文件系统、数据库、缓存,都是成熟技术。真正没有解决的是筛选策略层:什么值得记?什么该在何时重核?如何识别并清理过期条目?这些问题的答案不依赖基础设施,而依赖模型自身的元认知能力。这也是为什么同一套记忆框架,换个更强的模型效果就完全不同——筛选记忆本身就是一种需要智能的任务。 这和人类认知的规律惊人地一致。神经科学早就知道,遗忘不是记忆的失败,而是记忆的功能——海马体在睡眠中主动修剪突触连接,睡眠不足的人记不住新东西,恰恰因为没忘掉旧噪音。科普作家Joshua Foer在《与爱因斯坦月球漫步》里的说法可以原样搬给Agent:“记忆的艺术,是注意力的艺术。” 对工程团队的启示 如果你正在构建长程Agent系统,这份研究给出几条可以立即落地的原则: **给记忆做减法而不是加法。**审计你的Agent记忆写入路径,问一个问题:这条信息六小时后还有价值吗?如果答案是否定的,不要写。每个低价值条目都在为未来的每次检索增加成本。 **建立记忆的置信度与时间戳。**记忆条目应该携带"这是什么时候、基于什么证据形成的"元数据。下游决策时可以据此降权,Dreaming式的自检也才有抓手。 **把空闲期用起来。**Agent不该只在有任务时工作。闲时重放、笔记勘误、过期清理——这些后台维护任务的成本远低于让错误记忆污染后续几百步决策的代价。 不要用刚性规则替代判断。“只记录X类信息"这类硬约束会封死模型的元认知能力。更好的做法是给出目标和原则(记策略,不记事实流水),让模型自己判断。 结语 Agent技术的发展有一条清晰的暗线:先学会做事,再学会记住做过的事,最后学会忘掉不值得记的事。Anthropic的Pokémon实验用4枚徽章对1枚徽章的悬殊比分提醒我们:无限记忆不是超能力,而是慢性病。 下一个阶段的Agent竞争,拼的可能不是谁的上下文更长、谁的向量库更大,而是谁的遗忘曲线设计得更像生命。毕竟,地球上没有任何一种智能是靠记住一切来生存的——除了硬盘。
当机器人学不再是独立学科:通用模型正在吃掉专用控制器的最后阵地
一个解散,一个开源 上周 AI 圈出了两条看似无关、实则同构的新闻。 第一条:OpenAI 第二次解散了机器人团队。研究人员并入 Mark Chen 领导的主研究团队,应用机器人和硬件团队归入 Brockman 的应用组织。注意,这不是收缩,是吸收——机器人研究不再是独立部门,因为它要解的问题,通用模型团队顺手就解了。内部判断的依据很硬:在 Nvidia 的模拟机器人任务测试中,GPT-6 Astra 智能体成功率 74.8%,超过最优专用模型的 51%。Altman 据报道把首次公开机器人 demo 的目标定在 2027 年。 第二条:Runway 以 Apache 2.0 开源了机器人控制模型 Praxis-1。一家视频生成公司,做出来的机器人控制器,在 Nvidia RoboLab-120 榜单上以 46.2% 的成功率拿下 World Action Model 类第一;真实 Franka 机械臂 10 项任务 100 次尝试成功 88 次,超过 FLUX 3 Action 的 80 次;迁移到从未见过的 RT-1 移动平台,仅用 95 小时机器人数据微调就达到 80% 成功率。 两条新闻放在一起读,指向同一个趋势:**机器人学作为一门依赖专用模型、专用数据、专用团队的技术路线,正在被通用模型范式收编。**这不是渐进改良,是学科边界的溶解。 为什么通用模型突然能控制机器人了 要理解这件事的分量,得先回答:为什么过去十年通用模型搞不定机器人? 传统机器人学习是典型的"小数据、强先验"路线:针对特定机械臂采集数千小时遥操作数据,训练一个策略网络,泛化能力约等于零。换一个夹爪、换一张桌子、换一次光照,成功率断崖下跌。RT-1 采集了 13 个月、70 万条真实轨迹,也只在自己熟悉的任务分布内好用。根本瓶颈在于:机器人缺的不是控制算法,是对物理世界的常识。 而物理世界常识,恰恰是视频生成模型和大语言模型在过去几年疯狂积累的东西。GPT-6 Astra 这类模型见过海量的视频、图文、交互轨迹,它"知道"杯子从桌上掉下去会发生什么、抽屉要拉开才能放进东西、鸡蛋不能用手腕压。这些常识曾经是机器人学要靠数据采集一砖一瓦搭建的,现在直接从预训练里继承。 Praxis-1 把这条逻辑演示得更彻底。它的技术路线是:**用视频生成模型做预训练,把"预测下一帧画面"的能力迁移为"预测环境如何变化",再从环境变化反推动作。**输入是摄像头图像、文本指令和机器人本体状态,输出是动作序列。这个范式有个漂亮的名字——World Action Model。视频模型学的是"世界如何演化",机器人控制需要的是"我的动作如何改变世界",两者在表征层面几乎同构。所以 Runway 拿视频模型改机器人控制器,不是跨界炫技,是顺流而下。 ...
每日论文精读 #082:让记忆为下一个未知任务省钱——CoReMem 用「锚点」重建 Coding Agent 记忆
Yale 团队提出 CoReMem:以「前瞻性分段估值」指导记忆设计、以「来源门控价值信用」训练 actor 使用记忆,在 ChainSWE 上同时降低步数与 token,并提升解决率。
71.9分与零突破:TCSExam在AI最自信的地方划出的断层线
一个耐人寻味的分数结构 11月初,arXiv 上出现了一篇 52 页的论文:TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research。作者列表里有两个人值得放在一起看——图灵奖得主姚期智(Andrew Chi-Chih Yao)和月之暗面创始人杨植麟(Zhilin Yang)。一位是理论计算机科学(TCS)的奠基级人物,一位是前沿大模型公司的掌舵者,这是两人首度在同一篇论文上联合署名。 TCSExam 做的事情很简单,也很狠:用 100 道专家审校的理论计算机科学任务,把前沿模型拉到 AI 最"自信"的赛场——数学与形式化推理——上做了一次全谱系体检。所有提交都由 Lean 4 内核或可执行检查器验证,不靠人类评审的主观打分,不存在 benchmark 污染式的"背题"空间。 结果的结构比总分更有信息量: 定理证明(20 题):要求用 Lean 证明已发表的研究级定理。GPT-6 Astra 在这条赛道通过率达 70%——意味着"把已知证明路子走通"这件事,前沿模型已经相当熟练。 求解器工程(30 题):实现算法并在隐藏实例上评测,这是最接近工程能力的部分,各家模型都有可观产出。 构造题(20 题):给出可验证的数学构造或界。GPT-6 Astra 构造出一个 [[25,7,6]] 量子纠错码,把 7 逻辑比特/25 物理比特配置下的码距从参考值 5 提升到 6;Kimi K3 在极值图论上把 124 顶点、禁三角形和四边形的图的边数下界从 629 推到 630——两者都刷新了已知的最好结果。 开放猜想(30 题):接受对公开猜想的完整 Lean 证明或证伪。30 道题,无一被模型独立攻克。 综合下来,GPT-6 Astra 以 71.9 分领跑 Full 榜,Opus 5.5 以 72.3 分领跑 Lite 榜。但那个 71.9 与那个 0 之间的断层,才是这份基准真正划出的东西。 ...
每日论文精读 #081:LVLM个性化隐私保护能力全线不及格,o4-mini也只拿到24分
清华与微软亚研提出ITP³任务与SPY-Bench:让用户用自然语言自定义隐私边界,21个SOTA视觉模型最高合规率仅23.74%,而新提出的NCA-P对齐方法将其拉升至96.88%。
权重即物证:当模型文件本身会『供出』训练芯片
一份让模型「自证出身」的分析 今天最值得深挖的新闻不是某家大厂的新产品,而是一份看起来很学术的分析。前 OpenAI 研究员 Will DePue 发布了一项研究:从公开的模型权重(weights)中,可以反推出训练这个模型用的究竟是什么芯片。 结论部分相当炸裂:他分析了 Hopper 架构核心数为 132、Blackwell 架构为 148(B200/B300)或 152(GB200/GB300)这一硬件差异在权重初始化分布上留下的统计痕迹,声称在 2026 年 4 月之后发布的六个中国模型——包括 DeepSeek-V4-Flash、Kimi K3、MiniMax-M3 等——中检出了 Blackwell 特征。他据此估算,五次训练共动用了约 1.2 万块 Blackwell GPU,总成本超过 5 亿美元。验证代码已开源,并且在 24 个已知训练硬件的对照模型上全部识别正确。 这件事的新闻价值远不止「中国实验室用了英伟达最新芯片」。它意味着一个此前只存在于理论中的可能性正在变成现实:模型权重本身就是训练基础设施的物证。 发布到 Hugging Face 上的那几百 GB 文件,不再只是能力的载体,也可能是一份无法销毁的「出生证明」。 指纹是怎么留下的:随机数不是真的随机 要理解这件事,得先回到大模型训练的第一步:参数初始化。 神经网络的权重在训练开始前需要赋初值,通常是某个分布(正态分布、均匀分布,或专门设计的缩放方案)中采样出来的「随机数」。但计算机里没有真正的随机——这些数来自伪随机数生成器(PRNG),而 PRNG 的输出由算法结构和状态决定。不同的 GPU 架构、不同的 CUDA 内核实现、不同的并行切分策略(一个张量怎么分到几百块卡上、每块卡的随机数子流从哪里开始、用 counter-based RNG 还是传统 Philox/curand),都会在「每个参数实际拿到哪个数」上留下系统性的差异。 更关键的是,训练并不会把这些痕迹完全洗掉。深度学习理论早就知道,网络的早期层在训练结束后仍与初始化保持强相关(NTK 视角下,很多网络的行为相当接近其初始化的线性化);矩阵乘法和大数平均会让单个参数的偏差互相抵消,但数十亿参数层面的统计分布特征——高阶矩、分位数结构、块与块之间的相关性模式——足够稳健,足以在训练后依然可测。 这和密码学里的「随机数指纹」是同一个思路:早在 2008 年,研究者就证明可以通过 SSH 会话中收集的素数反推 Linux 内核的 PID 计数和熵池状态;2008 年的 Apache 时光攻击、2012 年对 Android 上 Java SecureRandom 的分析,都是「伪随机数携带设备状态」的经典案例。DePue 做的事情本质上是把这个攻击面从通信协议搬到了模型文件上:Hopper 与 Blackwell 在 SM(流式多处理器)核心数、curand 内核的线程映射、张量并行时的 RNG 子流切分上都有差异,这些差异决定了初始化采样的微观结构。 ...
当上下文成为攻击面:LLMON 与提示注入的「格式层」突围
从一个老问题说起 提示注入(Prompt Injection)是大模型时代最古老的漏洞,也是最没有答案的一个。2023年至今,OWASP 的 LLM 风险清单每年都把它排在第一位,而防御方几乎一无所获:加过滤词会被绕过,加「忽略任何指令」的系统提示会被更强的注入覆盖,把用户数据转义编码只是提高了攻击成本。安全圈一度形成共识——只要指令和数据共享同一个上下文窗口、由同一个因果模型处理,提示注入在原理上就不可根除。 今天 IBM 发布的 LLMON(LLM Object Notation)给这个僵局提供了一个新的解法方向:不是在提示词层面修补,而是换掉上下文的编码格式本身。官方数据显示,在部分基准上,间接提示注入的攻击成功率从常规指令模型的高概率被劫持降到了接近零。 这个数字本身值得冷静看待(基准的选择、攻击者的适应性都待验证),但这个思路的转向值得所有做 LLM 应用的人认真理解——因为它指向一个更大的命题:上下文的格式不是外挂的序列化方案,而是模型能力的一部分。 LLMON 到底做了什么 先拆技术。LLMON 的核心设计可以概括为三件事: 保留特殊 token 作结构分隔符。 它使用一组模型词表中保留的、普通文本几乎不可能产生的特殊 token,扮演类似 XML 标签的角色,显式划分上下文中的结构边界——哪里是指令、哪里是数据、哪里是工具定义。与手写 XML 标签不同,这些 token 在模型训练时就被赋予结构语义,而不是靠模型「猜」标签的含义。 指令与数据通过唯一 ID 绑定。 每条指令通过唯一标识符引用它所操作的数据块,模型要执行某条指令,必须先解析引用关系。这相当于给上下文加了类型系统——攻击者即使在数据块里塞入「请执行以下命令」,这段文本也因为没有合法的指令 ID 而无法进入执行路径。 模型原生训练支持。 IBM 基于 Granite 4.1 发布了 3B 和 8B 两个预览模型,这些模型在训练时就以 LLMON 格式组织上下文。官方称通用能力与 Granite 4.1 Instruct 持平——也就是说格式约束没有以牺牲能力为代价。同时开源了 GitHub 工具包和 JSON↔LLMON 转换器。 第三点是最容易被忽视、也最关键的一点。此前业界不是没试过用标记做隔离——研究者早就提出过「spotlighting」(给不可信数据加标记)、各家 prompt 框架也普遍推荐用 XML 标签包裹用户输入。但效果有限,原因恰恰在于:那些标签对模型而言只是普通文本中的统计模式。模型见过大量包含 <data> 字样的训练语料,其中不乏讨论标签、伪造标签的内容,标签因此不具备可靠的语义边界作用。LLMON 的差异在于把分隔符做进 tokenizer 和训练数据,让结构感知成为模型的先验,而不是 prompt 里的一厢情愿。 为什么说这是「格式层」的突围 把 LLMON 放回防御提示注入的历史脉络里,能看到一条清晰的失败史和它所处的位置: ...
每日论文精读 #080:把地理可达性写进Token——淘宝闪购生成式广告检索TS-GEAR
淘宝闪购把商家ID拆成地理前缀+语义后缀,让配送可达性从后置过滤变成生成目标,0.1B小模型扛住日均1.5亿次检索,广告收入+4.2%。
当AI开始证明你的加密软件没有漏洞:AlphaProof Code与形式化验证的「下沉时刻」
一个值得停下来想一想的消息 今天日报的头条值得单独展开讲讲:Google DeepMind发布了多LLM智能体框架AlphaProof Code,用AI智能体在Lean定理证明器中生成了超过600万行证明代码,对Signal加密协议的实际部署实现完成了形式化验证。 几个关键事实先摆出来: 这是AI首次在这个深度上验证一个广泛部署的密码协议; 也是Signal这类协议的实现首次被任何方法完整验证——注意,是被AI做到的,而不是被人类专家团队; 整个过程只用了4周; 人类专家只需要复审约1%的代码,其余部分由Lean的内核自动检查。 如果你不熟悉形式化验证,可能感受不到这几个数字的分量。我们来拆一拆。 为什么「验证实现」比「验证设计」难得多 密码学界有一个长期存在的尴尬:协议的数学设计和协议的软件实现,是两个几乎不同的世界。 Signal协议的数学设计(X3DH密钥协商、双棘轮Double Ratchet前向保密机制)早在多年前就被学术界用形式化工具(如Tamarin证明器)分析过,结论是设计层面站得住脚。业界也有过HACL*、Everest等项目,验证过密码学原语的参考实现。 但真正跑在你手机上的libsignal——那个由Rust、C、Java、Swift等多种语言写成、要适配各种平台怪癖、经过无数次重构和性能优化的生产代码——从来没有被完整验证过。原因很简单:**验证实现代码的成本是天文数字。**一个协议的设计可以用几十页数学符号描述,而它的实现是几十万行工程代码,每一条语句、每一次内存操作、每一个边界条件都需要在形式化系统中重建并证明。人类专家做这件事的代价,让「完整验证一个工业级协议实现」长期停留在论文的"future work"里。 而真实世界的漏洞恰恰就藏在这条缝里。历史上大量高危密码漏洞——Heartbleed、各种时序侧信道、状态机混乱导致的密钥泄露——都不是设计缺陷,而是实现缺陷。设计是完美的,代码是有洞的。**用户信任的是代码,学术界证明的却是设计。**这个错位存在了几十年。 AlphaProof Code填的就是这个缝。 AlphaProof的进化线:从IMO到生产代码 理解这件事的意义,需要看到AlphaProof这一年的轨迹。 2024年7月,AlphaProof在 IMO(国际数学奥林匹克)拿到银牌水平成绩;2025年,它达到金牌水平并登上《Nature》,论文披露其训练用了约3000亿token的数学与代码语料,团队构建了约8000万条形式化数学命题的「题库」。当时的叙事是:形式化推理是通往可验证AI的关键路径。 但IMO金牌本质上还是「玩具问题」——题目封闭、边界清晰、证明长度有限。今天这个发布则完成了从竞赛到工程的跨越:**被验证的对象从数学竞赛题换成了数十亿人每天使用的加密软件的部署代码。**这不是难度增加了一档,而是换了赛道——生产代码里充满工程妥协、平台特化、历史包袱,把它「翻译」进Lean并证明等价性,是形式化方法领域公认的最苦最脏的活。 框架层面的信息同样重要:AlphaProof Code是一个多LLM智能体框架,不是一个单一模型。这符合当下最清晰的一条工程趋势——前沿能力越来越不来自单个模型的规模,而来自模型编排:不同智能体分工处理代码理解、证明策略搜索、证明修补,Lean内核则扮演那个永远不会说谎的裁判。600万行证明、4周、人类只审1%,这三个数字合在一起描述的是一种新的人机分工:AI负责在巨大的搜索空间里生成证明,机器检查器负责百分之百的可靠性背书,人类专家只处理机器无法裁决的语义问题(比如「形式化规格本身是否写对了」)。 为什么这件事可能是个拐点 **第一,它把「安全」从概率问题变成确定性问题。**Fuzzing、渗透测试、代码审计,本质上都是抽样——测过的不代表安全,只代表没测出问题。形式化验证是穷举——证明通过意味着在这套规格下不存在某一类错误。AI把它从「奢侈到不可能」变成「4周、1%人工」。如果这个成本曲线继续往下走,未来安全关键的库(密码学、内核、金融清算、医疗设备固件)不做形式化验证,可能就像今天不做单元测试一样不可接受。 **第二,它给「AI写代码」提供了信任锚。**大家都在担心AI生成代码的可靠性,但这里有个有趣的反转:AI恰恰是让形式化验证变得经济可行的力量。AI生成代码 + AI生成证明 + 机器检查证明,构成一个闭环——**AI可以犯错,但证明检查器不会。**这可能是AI编程真正进入安全关键领域的唯一路径:不是让AI变得永远正确,而是让AI的输出变得可验证。 **第三,信号意义大于单一成果。**DeepMind选Signal不是偶然——它是端到端加密的旗帜,被Signal、WhatsApp、Messenger等数十亿用户依赖,是「值得验证」的最高象征物。第一个完整验证的果实摘在这里,等于向整个行业宣告:**没有哪个部署中的协议实现,从今天起在原则上不可验证了。**剩下的只是成本问题,而AI能力的成本曲线,没人敢赌它不下降。 冷静的一面 当然,也要看清边界。形式化验证证明的是「实现符合规格」,它不能证明「规格本身覆盖了所有安全属性」——那1%需要人类复审的部分,正是这个体系里最微妙的地方。侧信道攻击(时序、功耗、电磁泄漏)也很难被纯逻辑层面的验证捕获。而且Lean生态对主流工业语言(C++、Rust之外的多数语言)的形式化支持仍然薄弱,「任何代码都能验证」还有很长的路。 但方向已经清楚了。日报的趋势观察里说「形式化验证从设计层下沉到实现层」,我愿意更进一步:**这是软件可信性的一次范式转移的开端——从「测试到有信心」走向「证明到确定」。**十年后回头看,2026年11月可能就是那条曲线的起点。 本文基于2026-11-12 AI洞察日报头条撰写,相关信息来源:Google DeepMind官方发布、AlphaProof《Nature》论文(2025年11月)。
当机器人开始"看视频自学":GR00T 2 与具身智能数据墙的倒塌
一段视频,换一个技能 昨天 NVIDIA 发布了机器人基础模型 GR00T 2。新闻稿里的说法是"看人类操作视频即可迁移技能",这种表述在机器人领域已经被喊了好几年,容易让人以为是又一次营销包装。但翻完技术报告之后,我认为这次不太一样——它不是把老思路做得更好,而是换了一条路线。 先看数字。GR00T 2 的训练数据包括约 40 万小时人类佩戴头戴相机拍摄的第一视角操作视频,训练用了超过 1000 颗 GB300 GPU。学会新任务的方式是:一个人戴上数据手套或手指外骨骼,把操作过程演示一遍,系统把这段人类手部运动"翻译"成机器人本体的执行轨迹。实验室里,一只五指手机器人靠这种方式学会了划火柴、切香蕉、把包裹抛上传送带——全程没有针对这些任务做过任何遥操作数据采集。 任务成功率在 10%–80% 之间浮动,说实话不算漂亮。但对 50 个模型已经初步掌握的任务,不到 3 分钟的常规微调就能把成功率从 40% 拉到 95%。这个数字才是关键:数据采集成本不再以"小时计的遥操作"为单位,而是以"分钟计的微调"为单位。 从 VLA 到 WAM:一次范式级别的换道 要理解 GR00T 2 为什么重要,得先看它推翻了什么。 过去三年,机器人学习的主流范式是 VLA(Vision-Language-Action):输入相机图像和语言指令,直接输出电机指令。GR00T 1 也是这条路。VLA 的问题在于它是一个黑箱映射——图像进去、动作出来,中间没有对物理世界的显式建模。这导致两个后果:一是跨本体迁移极其困难,为 Franka 机械臂训练的模型搬到人形机器人上基本作废;二是模型无法"想象"动作的后果,只能靠大量数据暴力覆盖各种情况。 GR00T 2 放弃了 VLA,NVIDIA 给新架构起了个名字:世界-动作模型(World-Action Model, WAM)。它的核心机制是:在计算下一个动作的同时,用扩散模型生成一段"即将看到的未来"的短视频——机械臂抓起一个物体时,相机画面应该怎么变化。动作和视觉预测被绑在同一个模型里训练。 这个设计解决了一个根本问题:**当模型必须预测"我做了这个动作之后世界会变成什么样",它就被迫学习物理常识,而不只是学习"图像到动作"的统计相关性。**这和大语言模型通过预测下一个 token 被迫学会语法和事实,是同一种逻辑。 而视频预测正是 EgoTransfer 方法成立的技术前提。把人类操作视频迁移给机器人,难点从来不是"手怎么动",而是人手和机械爪的形态差异——人手五指灵活,机械爪可能是两指夹爪,动作根本不是一一对应。GR00T 2 的做法是用视频扩散模型把人类手部运动"重新想象"成机器人本体的执行画面,再从想象出的画面中解出控制指令。迁移不是在动作空间里硬翻译,而是在视觉表象空间里做归一化——人怎么做,机器人就"想象自己怎么做"。这就是为什么模型能跨本体工作:只要给足目标机器人的常规运动数据,任何形态的机器人都套得进这套想象框架。 数据墙:具身智能真正的瓶颈 具身智能行业有个公开的秘密:模型架构不是瓶颈,数据才是。 对比一下数字世界和物理世界的差距。GPT 系列的训练语料是数万亿 token 的互联网文本,LLM 的发展本质上是在"吃"人类几十年积累的数字化产出。而机器人呢?真实机器人操作数据的采集成本极高——一条遥操作轨迹需要一个熟练操作员几分钟到几十分钟,采集一个像样的任务数据集要数千条轨迹。Open X-Embodiment 数据集汇聚了全球几十家机构的努力,总时长不过百万级 episodes,和互联网文本的规模差着五六个数量级。 这就是具身智能的"数据墙":互联网上有无穷多的文本和图片,但没有无穷多的机器人操作视频——直到你意识到,有海量的"人类操作视频"。YouTube 上的教程视频、工厂的监控录像、VR 头显的第一视角记录,这些数据的总量是遥操作数据的几个数量级之上。GR00T 2 的 40 万小时头戴相机视频只是这个宝库的第一铲。 ...