一个反常的举动

上周最值得琢磨的新闻,不是某家又发了新模型,而是 OpenAI 发布了一份名为《Perplexity and Intelligence》的报告,做了一件行业内多年没人愿意做的事:公开自家模型的预训练损耗(pretraining loss)数据——GPT-3.5 在其主评估集上的 log-perplexity 约为 0.99,GPT-4 约为 0.91——并正式提议把困惑度(perplexity,等价于交叉熵损失的指数形式)作为比较各模型厂商预训练进度的统一指标。

OpenAI 给出的理由是推动行业建立"共享的安全节奏标准",并附带了一个相当有分量的观察:当损失降到 0.8 以下时,网络安全与数学领域出现了变革性能力。

这件事的反常之处在于:预训练损耗历来是各实验室最核心的内部数据之一。它直接反映模型对世界的压缩效率,是 Scaling Laws 曲线上的纵轴。公开它,相当于把自己练功的进度表贴在了墙上。一家商业公司主动这么做,背后一定有更深层的算计。本文尝试拆解这件事的技术本质、行业动因和可能后果。

损耗是什么:一条最诚实的曲线

先讲清楚概念。语言模型训练的目标函数就是交叉熵损失:模型每预测下一个 token,都会得到一个概率分布,损失衡量这个分布与真实结果的偏差。log-perplexity 就是这个损失的对数形式,困惑度则是其指数——可以粗略理解为"模型每次猜测时等效的候选词数量"。

为什么说损耗是最诚实的指标?因为 benchmark 会说谎,损耗很难。

过去两年,行业评估模型的方式陷入了一场公地悲剧:MMLU、SWE-bench、各类"人类最后考试"式的基准,全部面临三个结构性问题:

  1. 数据污染。评测集本身就在训练语料里,分数虚高无法排除。
  2. 针对性优化。各家对着榜单微调、构造相似训练数据,benchmark 刷分已经是公开的产业。
  3. 不可比性。不同模型在不同的私有评测协议、不同的 prompt 模板、不同的采样温度下得出的分数,严格说互相之间没有可比性。

而预训练损耗不同。它是在固定的评估语料上测量的单一数字,数学定义清晰、无优化空间(预训练阶段不存在"针对评测集刷分",因为损耗本身就是训练目标)、跨模型严格单调可比。GPT-3 时代 Kaplan 的 Scaling Laws 和后来 Chinchilla 的修正,用的都是这条曲线。它是过去十年大模型科学的地基——只不过这块地基一直埋在各家的服务器里。

OpenAI 现在提议的,就是把这个地基搬到地面上来,变成公共基础设施。

0.8 以下的暗区:为什么这事关安全

报告中那句"损失降到 0.8 以下时,网络安全与数学领域出现变革性能力",是全文最值得停下来想一想的一行字。

Scaling 研究中一直有个悬而未决的问题:能力涌现与损耗之间到底是什么关系? 2022 年"涌现能力"论文引爆讨论后,反对者指出所谓的涌现可能只是非线性指标造成的测量假象——如果改用连续指标(比如交叉熵损失),能力提升往往是平滑的。OpenAI 这次给出的说法,等于站到了"损耗是能力的通用底层变量"这一边:把损耗压到某个区间,特定领域能力会随之解锁,而且这个阈值似乎与具体模型架构无关。

如果这个判断成立,含义是巨大的:

  • 能力预测有了物理学的样子。 不再看"某模型在 CTF 比赛里排名第几",而是看"损耗曲线还有多远到 0.75"。安全团队可以按损耗区间提前部署防线,而不是等能力出现在自己面前再打补丁。
  • 安全节奏谈判有了客观参照。 目前各国算力管制、出口分级都是按算力规模(FLOPs)划线的,但算力只是投入,损耗才是产出。一个投入十倍算力但数据配方糟糕的模型,能力可能不如高效训练的对手。若行业接受损耗作为公共标尺,监管者就可以从"管输入"部分转向"看输出",谈判桌上的扯皮空间会小很多。

这正是 OpenAI 说"共享的安全节奏标准"的用意——但注意,它同时也是在给监管体系递一把尺子,尺子的刻度由自己参与定义。这个双面性后面再谈。

各家的账本:为什么现在公开

OpenAI 不是慈善机构。这次公开至少有三层战略收益。

第一,定义规则者的先发优势。 回看技术史,谁定义了度量衡,谁就掌握了行业的话语坐标。OpenAI 在被追赶最紧的时点抛出统一标尺,潜台词是:在这把尺子上,我是领先者。公开 GPT-4 损耗 0.91,等于向全行业喊话"把你们的数字拿出来对一对"——如果 Anthropic、Google、DeepSeek 跟进,比较就在 OpenAI 主导的框架内进行;如果不跟进,就显得有所隐瞒。这是一个无论对手怎么应对都有利可图的局面。

第二,损耗指标对头部相对有利。 困惑度高度依赖训练数据分布与评估语料的匹配度,而 OpenAI 的主评估集是自家定义的。用"我的主场评测集"做公共标尺,天然存在有利于自家数据配方的嫌疑——这一点报告里当然不会提,但任何要采纳该标准的实验室都必须先问一句:评估语料谁定?可复现吗?

第三,把竞争拉回自己擅长的战场。 过去一年,各家在产品化和 Agent 生态上的差异越来越难拉开,反倒是 benchmark 营销越来越卷。损耗是一个纯研究指标,把它立为标尺,等于宣告"真正的分水岭还在底层压缩效率",而这恰是 OpenAI 报告里另一个判断的方向:AI 参与预训练算法研究可能带来下一个阶跃。注意这句话——用 AI 改进训练 AI 的算法,意味着 Scaling 曲线本身的斜率可能被改写。如果下一步阶跃来自这里,那么今天在损耗上的微小领先会被指数放大。

冷静的三点怀疑

独立看,这件事有三处需要保持警惕。

其一,损耗 ≠ 智能。 损耗衡量的是对语料的拟合与压缩,而智能的一个重要成分是"在分布外的行为"。一个在训练分布上损耗极低的模型,可能在推理、长程规划、价值对齐上表现平平。把损耗立为"intelligence"的代理变量,名字就叫《Perplexity and Intelligence》,本质上是一次概念收编:把复杂的智能问题约化为单变量曲线问题。科学史上这类约化常常有效,也常常误导。

其二,公开数据 ≠ 可验证。 自报数字没有第三方审计就只是声明。真正有意义的公共标尺,需要冻结的评估语料、开放的测量协议、可复现的计算流程——类似 MLPerf 那样有基准委员会背书的机制。目前报告提供的是姿态,不是制度。

其三,单一标尺的政治风险。 一旦损耗成为监管与融资共同引用的数字,就会催生"损耗内卷":过拟合评估语料、数据配方向评测集倾斜、甚至直接在评估集上训练。损耗今天很难作弊,是因为没人盯着它;当它变成通货,它就会继承 benchmark 的所有疾病。任何指标一旦成为目标,就不再是好指标——古德哈特定律在这里同样适用。

我的判断:方向正确,制度决定成败

尽管有这些怀疑,我仍然认为这是近年评估体系最有价值的一次提案。

行业的评估危机已经实质性伤害了技术进步的可信度:厂商发布会在念一串无法验证的分数,用户在换模型时依赖的是体感和小道消息,监管者在用算力这个粗糙代理变量做决策。所有人都知道现状不行,但谁先动谁吃亏。OpenAI 这次用自己最敏感的数据打了样,打破了这个囚徒困境的第一块冰。

接下来值得盯的三个信号:

  1. 是否有第二家实验室跟进公开同协议数据。 Anthropic 或 DeepSeek 的响应最有指标意义;DeepSeek 一向以技术透明著称,如果它公布了可比数据,这个标准就活了。
  2. 评估语料是否走向开源或第三方托管。 这决定了它是科学标尺还是营销新阵地。
  3. 监管文件是否开始引用损耗区间。 一旦出现,AI 治理就从"管住显卡"进化到"盯住曲线",那是真正的范式转移。

更长期看,如果"损耗—能力"关系被验证为跨架构稳定,AI 安全就从经验学科走向工程学科:能力上线时间可以被外推,防御措施可以按损耗阈值排期。而 OpenAI 提到的"AI 参与预训练算法研究",则是这条曲线上唯一可能出现的断裂点——算法自身的改进会让所有基于历史数据的预测失效。

一条单一的数字曲线当然装不下智能的全部。但在一个充斥着营销噪音的行业里,一个难以作假的数字,本身就是稀缺品。OpenAI 把它拿了出来,各家的账本要不要摊开,未来一年会见分晓。