一份让模型「自证出身」的分析

今天最值得深挖的新闻不是某家大厂的新产品,而是一份看起来很学术的分析。前 OpenAI 研究员 Will DePue 发布了一项研究:从公开的模型权重(weights)中,可以反推出训练这个模型用的究竟是什么芯片。

结论部分相当炸裂:他分析了 Hopper 架构核心数为 132、Blackwell 架构为 148(B200/B300)或 152(GB200/GB300)这一硬件差异在权重初始化分布上留下的统计痕迹,声称在 2026 年 4 月之后发布的六个中国模型——包括 DeepSeek-V4-Flash、Kimi K3、MiniMax-M3 等——中检出了 Blackwell 特征。他据此估算,五次训练共动用了约 1.2 万块 Blackwell GPU,总成本超过 5 亿美元。验证代码已开源,并且在 24 个已知训练硬件的对照模型上全部识别正确。

这件事的新闻价值远不止「中国实验室用了英伟达最新芯片」。它意味着一个此前只存在于理论中的可能性正在变成现实:模型权重本身就是训练基础设施的物证。 发布到 Hugging Face 上的那几百 GB 文件,不再只是能力的载体,也可能是一份无法销毁的「出生证明」。

指纹是怎么留下的:随机数不是真的随机

要理解这件事,得先回到大模型训练的第一步:参数初始化。

神经网络的权重在训练开始前需要赋初值,通常是某个分布(正态分布、均匀分布,或专门设计的缩放方案)中采样出来的「随机数」。但计算机里没有真正的随机——这些数来自伪随机数生成器(PRNG),而 PRNG 的输出由算法结构和状态决定。不同的 GPU 架构、不同的 CUDA 内核实现、不同的并行切分策略(一个张量怎么分到几百块卡上、每块卡的随机数子流从哪里开始、用 counter-based RNG 还是传统 Philox/curand),都会在「每个参数实际拿到哪个数」上留下系统性的差异。

更关键的是,训练并不会把这些痕迹完全洗掉。深度学习理论早就知道,网络的早期层在训练结束后仍与初始化保持强相关(NTK 视角下,很多网络的行为相当接近其初始化的线性化);矩阵乘法和大数平均会让单个参数的偏差互相抵消,但数十亿参数层面的统计分布特征——高阶矩、分位数结构、块与块之间的相关性模式——足够稳健,足以在训练后依然可测。

这和密码学里的「随机数指纹」是同一个思路:早在 2008 年,研究者就证明可以通过 SSH 会话中收集的素数反推 Linux 内核的 PID 计数和熵池状态;2008 年的 Apache 时光攻击、2012 年对 Android 上 Java SecureRandom 的分析,都是「伪随机数携带设备状态」的经典案例。DePue 做的事情本质上是把这个攻击面从通信协议搬到了模型文件上:Hopper 与 Blackwell 在 SM(流式多处理器)核心数、curand 内核的线程映射、张量并行时的 RNG 子流切分上都有差异,这些差异决定了初始化采样的微观结构。

132 对 148/152 这个数字选得很聪明——SM 核心数直接决定了 CUDA kernel 的线程块调度网格,也决定了随机数流被切分和分配的方式,属于极难在软件层伪造、又必然在统计上显形的底层参数。24 个已知硬件对照模型全部识别正确,说明这个信号至少在当前一代硬件上有相当好的区分度。

为什么这件事的重量在新闻之外

如果只是「识别芯片型号」,这是篇有趣的技术博客。真正让它变得沉重的是三个背景。

第一,Blackwell 恰好站在出口管制的刀刃上。 美国对华先进 AI 芯片管制已经运行了几年,从 A100/H100 到 H800,再到管制规则按性能密度和互连带宽逐代收紧。Blackwell 一代(B200/B300/GB200/GB300)属于明确受管制的级别。此前核查管制的手段基本停留在供应链层:海关稽查、分销商审计、许可记录比对。这些手段的盲区显而易见——芯片一旦进入灰色渠道,从纸面上就消失了。而权重指纹把核查边界直接推到了模型文件本身:任何公开发布权重的实验室,都等于交出了一份可供检验的样本。1.2 万块 Blackwell、5 亿美元成本这些估算数字无论精确与否,都演示了一种全新的「合规取证」能力——不需要审计供应链,下载模型就能开工。

第二,责任主体从「卖芯片的」扩展到「发模型的」。 如果这套方法成熟并被监管采纳,一个直接的推论是:跨境发布模型可能需要附带硬件合规证明,就像食品需要原产地证明、加密产品曾经需要出口许可一样。这对所有跨境发布模型的实验室——不只是中国的——都是新的合规负担。反过来,它也会刺激「反取证」技术:故意在初始化时重排随机数流、混用多代硬件、或者干脆只发布蒸馏/量化后的衍生权重。攻防的下一层对抗已经可以预见。

第三,它把「训练透明度」从一个自愿的伦理议题变成了可核查的技术议题。 过去谈训练透明,靠的是模型卡、技术报告里的自愿披露,谁也没法验证。权重指纹第一次提供了独立可复核的物理证据链:训练数据规模可以编,算力投入可以模糊,但初始化留下的统计痕迹不会说谎。审慎地说,目前的统计方法仍然可被对抗性手段干扰,「全部识别正确」是在无对抗条件下测的——但这正像是早期水印技术:第一代不完美,但方向一旦确立,只会越来越强。

冷静的另一面:这项分析能被推翻吗

作为深度分析,也要给这个方法应有的怀疑。

对照集的规模与选择偏差。 24 个对照模型全对,听起来漂亮,但公开且已知训练硬件的模型本来就少,且大多来自愿意披露的大实验室,架构、规模、框架高度同质(PyTorch + Megatron/DeepSpeed 那几套初始化代码)。当训练框架多样化、初始化方案被定制化改造后,识别准确率会怎样衰减,目前没有数据。

「指纹」与「指纹来源」的混淆。 DePue 检测到的是统计特征与某类硬件的相关性,而硬件特征是通过框架的 RNG 实现间接传导的。如果某家实验室深度修改了初始化内核(这在追求训练效率的前沿团队并不罕见),其随机数流模式可能与任何公开硬件模板都不匹配——此时把它归类为「无 Blackwell 特征」是安全结论,但反过来,检测出类似特征也不等于排除「模仿了 Blackwell RNG 模式」的可能,尽管这种伪造的动机目前很难成立。

多代混合训练的现实。 前沿模型往往经历多阶段训练(预训练、继续预训练、微调),不同阶段可能在不同集群上完成。MoE 模型的专家分组、数据并行的副本初始化,都会让「单一硬件指纹」变成多个信号的叠加。分析如何解混叠,原文细节尚待同行检验。

但这些怀疑都指向「方法的成熟度」,而不是「方法的可行性」。24/24 的对照正确率至少证明了一件事:在无对抗的当前生态里,这个信号是真实存在且可检测的。

更长的战线:算力透明化的终局

把镜头拉远,这件事其实是 AI 治理一条暗线的显影:算力正在成为新的可核查对象。

过去两年,监管者一直在寻找「算力审计」的抓手。芯片侧的方案是物理的——远程核查、位置追踪固件、甚至剪断某些高级型号的加密授权;云端侧的方案是合同性的——要求云厂商报告受管制算力的租用方。两者都成本高昂且漏洞不少。权重指纹提供了第三条路径:事后、被动、零合作成本——你不需要芯片厂商配合,不需要实验室自证,只需要公开的模型文件。监管者可以坐在家里完成取证。

对行业而言,这意味着三件事正在发生:

  1. 「发布模型」与「披露算力」开始绑定。 无论实验室愿不愿意,发布权重就是交出算力证据。闭源 API 模型不受此影响——这也可能反向推动前沿能力进一步向闭源集中。
  2. 开源权重生态多了一层地缘属性。 Hugging Face 上的下载、镜像、二次分发,本质上都是这份「物证」的复制。平台层面的合规审查压力会随之上升。
  3. 硬件定制与初始化改造获得新动机。 以前改初始化是为了训练稳定性和效率,以后可能还要加上「隐私」——就像人们曾经为 IP 隐私开发代理一样,会有团队为算力隐私开发随机数流的混淆方案。英伟达每代硬件架构差异越大,指纹特征反而越鲜明,这给硬件设计出了一道此前不存在的考题。

结语

长期以来,「模型权重」被默认看作纯粹的软件产物——是数据、算法与调参技巧的结晶。DePue 的分析提醒我们一个被忽视的事实:模型也是物理过程的产物,它在特定硬件上、以特定的并行拓扑被制造出来,而这个制造过程在产品内部留下了不可磨灭的工艺痕迹,就像瓷器釉色里的窑变、枪管膛线留在弹头上的划痕。

法医学花了上百年学会从弹道痕迹追溯到具体枪支。AI 法医学的这门手艺,看起来才刚刚开始——而它要核查的对象,恰好是这个时代地缘政治最敏感的战略物资。当模型文件本身会「供出」训练芯片的那一刻起,开源与管制、透明与隐私的博弈,就多了一个谁也无法假装看不见的裁判。


本文基于 2026-11-14 AI洞察日报及公开信息分析撰写,观点仅代表作者。