8月19日和20日,两条消息相隔不到一天抵达。

智谱创始人唐杰在 X 上发布长文,系统阐述他对 Scaling Law 的最新理解:参数从来不是模型能力的唯一刻度,GLM-5.3 是一次严格的控制变量实验——与 GLM-5.2 相同的基座、相同的架构、相同的总参数与激活参数,仅靠一个月的长时间范围环境训练与强化学习,就在 Artificial Analysis 指数上拿到 60 分、跻身国产 SOTA。他的结论是:「Scaling 不止一个旋钮,这一次我们转动了后训练旋钮,因为它剩下的 slack 最大。」

几乎同一时间,图灵奖得主、强化学习奠基人 Richard Sutton 在介绍新公司 Oak Lab 时,把当今各大实验室的核心策略——用合成数据扩展大模型——直接判为「一个大错误」(a big mistake)。世界无限复杂,任何模拟都只是微观近似;判断合成数据的好坏仍需人类专家把关,这条路最终受限于人类。

一边说:扩展还有巨大空间,换个旋钮就行。另一边说:你们的燃料本身就是错的。

这不是巧合。当参数规模这条曲线变得昂贵而平缓,整个行业都在问同一个问题:下一步靠什么扩展?唐杰和 Sutton 给出了两种方向一致、内核冲突的回答。把这场隔空交锋拆开看,能看清大模型竞争下半场的真实地形。

一、唐杰到底说了什么:Scaling 从单变量变成多旋钮系统

先别急着把唐杰的长文当成新模型的公关稿。它真正有价值的地方,是把 Scaling Law 从一条曲线还原成了一个多变量系统。

参数数量只有与另外三个因素放在一起才有意义:你拥有多少数据、计算资源如何分配、模型在什么条件下被推理调用。这个认知是行业用惨痛代价换来的。Kaplan 等人 2020 年的 Scaling Law 主张参数增长快于数据增长(约 2.7:1),GPT-3、Gopher、MT-NLG 照方抓药;2022 年 Hoffmann 等人在四百个模型上重做实验(即 Chinchilla),发现最优分配约为每参数 20 个 token——回头看,那批万亿参数级模型是整个领域共同走过的弯路。

但 Chinchilla 也不是终点。它优化的是「训练一次就评估」的计算分配,而今天的模型每天被调用数十亿次,推理成本在模型全生命周期中占主导。把推理纳入目标函数,最优解就转向更小的模型、训练更久——Llama-2-7B 和 Gemma-2-9B 的 tokens-per-parameter 分别达到约 290 和 889,远超 Chinchilla 时代的 20。这是「有意识的过度训练」,旋钮转动的方向完全变了。

MoE 又改写了一次规则:总参数大致决定模型能「持有」多少——知识、事实、长尾;激活参数与有效深度决定它能「思考」多远——因果链上能走多少步而不散架。唐杰举的例子很具体:找漏洞不是检索问题,不取决于记住多少 CVE 列表,而取决于能否把二十步推理链坚持到底。这种能力不吃参数总数。2025 年的研究也显示,最优 tokens-per-parameter 是任务相关的:记忆任务偏好更多参数,推理任务偏好更多数据。

在这个框架下,GLM-5.3 的实验设计才显出分量:所有预训练变量冻结,只转动后训练这一个旋钮——长时间范围环境加上强化学习,一个月,提升「并不微小」。这是一次干净的归因:能力增益确凿地来自后训练,而不是基座规模。

注意唐杰的原话措辞:转后训练旋钮,「是因为它剩下的 slack 最大,不是因为其他旋钮已经到头」,而且「下一个需要调整的参数很少是上一个调整过的参数」。这不是「预训练已死」的宣言,而是一份扩展路线的优先级排序。这份排序恰恰回答了外界对智谱「为什么不训新基座」的质疑:在边际收益的意义上,后训练现在是全场性价比最高的旋钮。

二、Sutton 在反对什么:不是后训练,是燃料

Sutton 的批评需要更精确地转述,因为大部分二手传播把它简化成了「老学者看不上新东西」。

他的论据来自其学生 Khurram Javeed 提出的「大世界假说」(Big World Hypothesis),Alberta 学派已耕耘多年。核心假设:世界无限复杂,远超任何 agent 心智的表征能力,因此任何对世界的模拟都只是「微观的」近似——一个仿真器里的摩擦系数是错的,机器人电机的模型是不精确的,用它训出来的能力天然带着系统性的偏差。

第二个论据更锋利:「我们无法为其他人的心智生成合成数据。」 世界里最重要的部分是其他 agent,而他人的内在运作无法被合成。

第三个论据是瓶颈转移:就算你能生成合成数据,谁来判断好坏?Javeed 的回答是仍然需要人类专家。想训练一架像蝙蝠一样用回声定位飞行的无人机?先雇领域专家。Sutton 举例说,连自动驾驶的仿真训练,最后都是人在手工修补 sim-to-real 的鸿沟。一个以「摆脱人类知识」为目标的路线,验证环节却焊死了人类瓶颈——在写下《The Bitter Lesson》的 Sutton 看来,这不可扩展。

他的替代方案:让 agent 从自身经验中学习,自建并持续修正世界模型——「模拟器由它们自己制造」。顺带地,他还批评了今天的语言模型训练完成后权重永远冻结、真正的学习应当是持续的(他的团队在 Nature 上发表过 Continual Backprop 来对抗灾难性遗忘),并把 LLM 评价为「惊艳的科学突破,但只占智能的 20% 到四分之一」。

关键在于:Sutton 反对的对象不是「后训练」这个动作,而是后训练烧的燃料——由人类预制的环境、由模型批量生成、由专家把关的数据。如果你的后训练 RL 是在人类写死的模拟器和人工设计的任务里进行的,那在 Sutton 的框架里,这只是把人类知识回填进模型的更昂贵的方式。

三、真正的分歧:验证信号从哪来

把两人的论述叠在一起,会发现一个有趣的结构:他们并不像表面上那样针锋相对。

唐杰说后训练的 slack 最大——这是工程判断,回答「转哪个旋钮」。Sutton 说合成数据是死路——这是科学判断,回答「旋钮里烧什么燃料」。旋钮可以照转,燃料之争才是要害。

而后训练 RL 的燃料问题,可以精确地拆解为一个问题:验证信号从哪来?

代码和数学是幸运的特例。代码能编译、测试能通过、证明能验证——验证器本身就是世界的客观组成部分,不需要人类逐条把关。这就是为什么可验证奖励的强化学习(RLVR)在编码与推理上效果惊人,也是为什么 GLM-5.3 的能力跃升在 Coding 上「体感很顶」。但开放世界的任务没有客观验证器:一份市场分析写得好不好、一次谈判应对得体与否,目前仍需人类(或被人类校准的模型)来打分——人类瓶颈在这里原封不动地回来了。

值得注意的是,唐杰在长文里提到 GLM-5.3 的后训练使用了「长时间范围环境」(long-horizon environments)。这个词离 Sutton 的「从经验中学习」只有一步之遥:当后训练从「喂数据」转向「泡环境」,模型获得的不再是静态样本,而是任务序列中的交互轨迹。两者的方法论正在悄悄趋同——分歧只剩下环境的真实性与验证的自主性:环境是人生成的还是模型自建的?验证是专家打分还是环境反馈?

在这个坐标系里,「谁先跑通无需人类逐条把关的数据飞轮」就不再是修辞,而是可操作的工程目标:可验证的环境、自生成的任务、自动化的评估。谁先把它规模化,谁就拿到下一张门票。

四、Bitter Lesson 的自我缠绕

不过,Sutton 的判词也别照单全收。这里有一层他很少明说的自我缠绕。

合成数据阵营完全可以援引《The Bitter Lesson》反将一军:生成合成数据的模型,本身就是「算力 + 学习」的产物;用模型生成数据再训练模型,本质上也是让方法随算力扩展,人类知识并未重新进入回路。Sutton 说模拟器是「人类写死的」,但今天的趋势恰恰是模拟器本身由模型生成——从世界模型到 Agent 环境的自合成,正是各大实验室在赶的方向。

反过来,Sutton 自己的方案也逃不开算力:经验也是一种数据,只是采集方式从「爬取互联网」换成了「在环境中交互」。交互要规模,就得有环境;环境要多样,最终还是得生成。他的批判真正立得住的部分,是验证环节的人类瓶颈,而不是「合成」这个动作本身。

所以更准确的结论是:分界线不在「合成数据 vs 真实数据」,而在「验证信号是否可扩展」。 人类专家逐条把关的数据,无论真假都不可扩展;由环境客观反馈验证的数据,无论真假都可扩展。Sutton 判了前者的死刑,唐杰证明了后者当下最便宜——这两件事同时为真,下半场的竞争由此展开。

顺带说,Latent Space 用「参数之死」来解读唐杰的表态,并把 Kimi K3 与 GLM-5.3 距美国最佳模型「仅一步之遥」归功于后训练追赶,而西方实验室则归因于蒸馏并称有实证支持。无论哪种归因正确,一个事实已经确立:开源阵营在最前沿的差距,已经小到需要用「归因之争」来解释了——这本身就是追赶发生在后训练而非预训练的证据,因为后训练所需的算力与工程门槛,远低于重训一个前沿基座。

五、对谁意味着什么

对开源阵营:唐杰的实验等于公开了一份路线图——基座可以沿用(甚至可以租),后训练可以自建,追赶的最短路径在后训练。这解释了过去一年开源模型的跃迁节奏,也预示下一阶段开源与闭源的差距将主要取决于谁的后训练数据与环境工程更体系化。

对企业选型者:参数规模作为选型指标可以正式废弃了。同样的基座 + 不同的后训练 = 实质上不同的模型。选型时该看的是「这个模型版本的后训练配方与你的任务分布的匹配度」,公开榜单只能当初筛,真实任务上的小规模自建评测的权重应该提高——同一个基座的不同后训练版本,榜单排名可能相差十几名。

三个判断

其一,后训练 RL 的边际收益会在一两年内开始递减——slack 最大的旋钮转起来最爽,但也消耗最快。唐杰自己预告了下一步:「或许可以在训练过程中,甚至在训练之前就进行这样的操作。」中训练(mid-training)与预训练数据工程将成为下一个转动的旋钮,而那个旋钮又会把竞争拉回算力与数据规模的腹地。

其二,「环境的规模化生产」将成为新的稀缺能力。当数据红利耗尽、参数不再增长,能决定模型上限的是高质量任务环境的生成与验证能力。可验证环境会成为战略资产,Agent 在真实环境中积累的经验数据会变成新型数据资产——那些拥有大量真实交互场景的产品公司,手里握着实验室造不出来的燃料。

其三,continual learning 会从学术议题变成工程必需。Sutton 批评的「权重永远冻结」在当前范式下是商业理性(冻结保证服务稳定),但当从经验学习成为主要提升手段,持续更新权重就不再是可选项。工业界的过渡形态是外挂记忆与检索,但如果 Sutton 方向正确,最终绕不开对灾难性遗忘的工程化解决。

至于两位当事人各自可能的盲点:Sutton 的「世界无限」在哲学上无懈可击,但商业 AI 不需要无限世界,只需要覆盖高价值任务分布——世界无限,市场有限,这为合成路线留出了巨大的合法生存空间。唐杰的表述则回避了一个事实:目前后训练的增益仍高度集中在可验证域(代码、数学、推理),通用任务的后训练环境仍然主要是人类设计的——按 Sutton 的标准,这一段 slack 的「可转总量」可能比看上去要小。

结语

Scaling Law 没有死,它只是从一条人人会背的曲线,变成了一张多旋钮的控制面板。转哪个旋钮,是工程问题,唐杰给出了当下最优解;燃料从哪来,是科学问题,Sutton 给出了最苛刻的约束条件。

后训练的胜利是真实的,它让开源阵营第一次站到了距前沿一步之遥的位置。但这场胜利目前烧的是「可验证域」的专项燃料,通用智能的燃料问题一寸都没有被解决。2026 年夏天,工程暂时领先于科学——历史上,这种局面通常持续不了太久。


参考:唐杰 X 长文(智猩猩整理)The Decoder: Sutton calls synthetic data a “big mistake”Latent Space: Death of Params