蒸馏

同一天，两个时代的缩影 2026年8月9日，两条新闻同日刊发。 第一条：Google正在拆解DeepMind的独立地位。创始人Demis Hassabis将被"荣升"为董事长——一个没有日常运营权的虚职。据Pathfounders报道，他原计划与Jeff Dean同时离开，但Google担心股价暴跌而挽留了他。接管日常运营的Koray Kavukcuoglu不携带CEO头衔，DeepMind历史上首次没有自己的首席执行官。所有Gemini开发迁回旧金山湾区，联合创始人Sergey Brin重新走上前台。 第二条：The Information曝光，张一鸣在Seed全员会上明确拒绝以蒸馏追赶前沿模型。Artificial Analysis全球排行榜上，字节Seed 2.1 Pro仅排第21位，而中国同行Kimi K3 Max（第2）、Qwen 3.8 Max（第4）占据全球前十近半席位。内部至少三次围绕蒸馏的路线之争，张一鸣每次都说不。 两件事看似毫无关联——一个是组织变动，一个是技术路线选择。但如果把它们放在一起读，会浮现出一个共同的主题：AI产业的竞争核心，正在从"谁的模型最强"转向"谁拥有模型的主权"。 这不是一个语义游戏的标题。这里的"主权"有精确的含义：你对模型的训练数据、Token体系、奖励函数和推理基础设施，到底有没有最终控制权？ DeepMind的终结：当一个前沿实验室变成"又一个部门" DeepMind失去独立地位，不是突然发生的。 2023年，Google Brain和DeepMind合并为"Google DeepMind"。当时官方说法是"双胞胎团队协同作战"，Gemini这个名字本身就来自Gemini（双子）。但据多方报道，Hassabis从一开始就对此深感不满。合并后的文化冲突、资源争夺和决策链条拉长，使得DeepMind引以为傲的长期研究文化逐渐被Google的短期产品节奏吞噬。 真正的裂痕出现在算力分配上。SemiAnalysis在"Gemini is Cooked but GCP is Cooking"一文中给出了精确的诊断：Google拥有世界级的AI技术和人才，但多年执行过于谨慎的算力分配策略，把本该给自己团队的GPU和TPU拿去卖给云客户。结果是： Gemini年化收入：120亿美元 Google Cloud AI基础设施收入（预计2027年）：730亿美元 TPU销售额（预计2027年）：1200亿美元 Google不是做不出最好的模型，而是选择把算力变成云收入，而不是模型能力。这是一个完全理性的商业决策——但它意味着，在Google内部，“卖铲子"赢了"挖金子”。 Hassabis的不满正是源于此。他是一个科学家和竞技者，他想要的是模型领先，而不是云收入增长。当Sundar Pichai需要在模型团队和云业务之间分配算力时，云业务每年带来数百亿美元收入，模型团队带来的是论文和排行榜分数。 SemiAnalysis把Google比作IBM——拥有技术却未能商业化，最终退出PC市场转向咨询。但Tim O’Reilly提出了另一种解读：Google可能是在走Westinghouse路线。 Westinghouse赌注：不做发明者，做普及者 电力史上有一个经典故事。托马斯·爱迪生发明了灯泡和第一座发电厂，但他坚持用直流电（DC），只能给发电厂附近一英里的用户供电。乔治·威斯汀豪斯选择了交流电（AC），可以远距离传输，把电力送到千家万户。 爱迪生是发明者，威斯汀豪斯是普及者。最后赢的是普及者。 O’Reilly认为Google正在做同样的事。它可能不再追求做出"最强模型"，而是把赌注押在AI基础设施上——TPU芯片、云算力、分布式训练框架。让别人的模型跑在Google的硬件上，就像所有的电器都跑在威斯汀豪斯的电网上。 这个逻辑有一定说服力。但问题在于：AI不是电力。电力是商品化的能源，用户不关心电是怎么发出来的。而AI模型不是商品——模型能力的差距，直接影响应用层的可能性空间。如果一个在Google基础设施上跑的创业公司，能用Anthropic或OpenAI的模型做出Google自己做不出的产品，那么Google就会沦为纯粹的管道商——就像电信运营商在移动互联网时代的命运。 Google的困境是真实的：它想要兼顾模型领先和基础设施垄断，但资源有限时，内部博弈的天平倒向了短期收入更高的一侧。Hassabis的离场，是这场博弈的终局——模型派的溃败。 字节的"不蒸馏"：用短期落后换长期主权 如果把视角转向字节跳动，你会发现张一鸣面对的是一个完全相同的问题，但他做出了相反的选择。 字节的处境看起来比Google更差。Seed 2.1 Pro在全球只排第21位，远落后于中国同行。GPU供应受美国出口管制限制，只能用H20苦撑。论钱、论人、论算力，字节样样不缺，但在大模型排行榜上就是追不上。 最简单的解法就是蒸馏——拿GPT或Claude的输出训练自己的模型。行业早期几乎所有人都这么做过。几百万条高质量指令数据灌进去，几周内分数暴涨。Kimi、DeepSeek、甚至Anthropic自身（被曝蒸馏OpenAI模型、使用盗版书籍），都在不同程度上走过这条路。 但张一鸣三次否决了蒸馏提案。 这不是道德洁癖。反对蒸馏的技术逻辑是清晰的： 第一，模型坍缩。 牛津和剑桥2024年发表在Nature上的研究证实，用AI生成的数据反复训练会导致不可逆的能力退化。ICLR 2025的后续研究进一步发现，训练数据中掺入千分之一的合成数据就足以触发坍缩。蒸馏相当于让你的模型"近亲繁殖"——第一代看起来健康，但基因多样性在快速流失。 第二，Token主权。 用别人的模型蒸馏，就继承了别人的词表和语义编码。这对纯文本也许可以容忍，但对要做原生多模态的字节是致命的。Seedance 2.0已经实现原生音画同步的视频生成，这要求模型从底层就对齐文本、视频帧和音频信号。如果你蒸馏了GPT，你怎么切分视频Token就永远受限于别人怎么切。 第三，奖励模型的"灵魂"。 蒸馏学的是"答案"，不是"思维"。模型的偏好——什么该说、什么该拒、什么风格回答——在蒸馏过程中被一并继承。字节需要的是完全对齐自身商业逻辑的奖励模型：抖音讲完播率，电商讲转化率，短视频讲节奏感。蒸馏来的模型灵魂里刻着别人的DNA。 张一鸣的选择本质上是：宁愿短期在排行榜上落后，也要保住模型的全链路主权。 因为排行榜是短期博弈，主权是长期博弈。 DiffusionGemma：主权价值的最佳证明 巧的是，同一天Google发布了DiffusionGemma，它恰好是"模型主权"价值的最佳证明。 DiffusionGemma做了一件非常了不起的事：把一个已经训练好的自回归模型（Gemma-4-26B），用不到原始训练预算10%的算力，转化成了扩散模型。推理速度达到1500 tokens/s，数独求解85%准确率（基础模型为0%），而且模型还能在自回归和扩散两种模式间切换。 这个成果只有在拥有完整模型主权的前提下才能实现。你必须： 拥有原始模型的完整权重和架构——不是API调用，不是蒸馏来的近似 理解模型的内部表征空间——才能设计从自回归到扩散的转换路径 控制训练流程——才能用SD·RL（强化学习+采样器蒸馏）这种自定义训练阶段 换句话说，DiffusionGemma证明了一件事：当你拥有模型的完整主权时，你可以做以前不可能做的事情——把一个范式转化为另一个范式，而不必从零开始。这是"租用"别人模型（通过API或蒸馏）永远无法企及的创新空间。 ...