11月20日,Google发布了Gemini Decision 1——一个不生成文本、只输出候选项概率与置信度的模型。单看新闻,这只是巨头又发了一款新品;但把它放进过去两个月的行业脉络里,会发现一件更有意思的事:「判断」正在从「生成」中分离出来,成为一个独立的模型层。两个月前TypeSafe Jev引爆了这个品类,如今Google跟进正面竞争——这个时间点和竞争姿态,像极了当年推理模型从通用对话模型中独立出来的前夜。

这篇文章想讨论三个问题:决策模型到底是什么、它为什么值得独立成层、以及这对工程团队意味着什么。

决策模型到底解决了什么问题

先看Gemini Decision 1的基本形态:支持文本、图像、音频、视频、PDF混合输入,256K上下文,单次请求可在共享输入上并行处理至多1000项独立判断,中位计算延迟50-100ms,没有输出Token费用——因为它根本不生成Token,只返回候选空间的概率分布。

这个设计直指当前Agent架构里一个被长期忍受的浪费。

今天绝大多数Agent系统的判断环节,是用生成模型「绕远路」实现的:你要判断一个工单该路由到哪个组,就让LLM生成一段文字说「应该路由到A组」;你要对1000条内容做风险分级,就让LLM逐条写一段分析再解析出结论。这条路径有三个系统性问题:

第一,成本结构错配。 生成模型按输出Token收费,而判断任务的答案往往只有一个词。你为「分析过程」付了钱,但下游系统只需要那个概率值。1000项判断乘以每项几百Token的分析,这是真实的账单。而决策模型单次前向计算直接吐出概率分布,无输出Token费用——同样的判断批量,计费逻辑完全不同。

第二,速度天花板。 生成模型输出一个判断至少要经过采样和解码,Agent循环里每一次「要不要继续」「走哪个分支」的决策都要等一次生成。50-100ms的中位延迟意味着判断可以嵌入到原本不敢嵌入AI判断的环节里——实时风控、推荐重排、交互式路由。速度改变的不只是体验,而是判断可以被放在系统架构的哪个位置。

第三,也是被讨论得最少的:校准。 用生成模型做判断时,你得到的是一个字符串,模型「有多确定」只能靠措辞去猜——「很可能是A」和「可能是A」的置信度差异无法进入任何下游计算。而决策模型直接给出概率,且这个概率的质量可以用Expected Calibration Error(ECE)严格度量。Gemini Decision 1公布的ECE是0.0250,优于Jev的0.0494。这个数字的意义在于:概率终于变成了可以被工程化信任的接口。你可以设一个置信度门槛,低于门槛的判断走人工或走更贵的模型——这是概率校准从学术论文走进API参数表的标志。

为什么说这是「独立成层」而不是又一个小模型品类

我的判断依据不是产品形态,而是接口契约的变化。

回顾LLM应用架构的演化,每一次「成层」都伴随一个稳定契约的出现:Embedding模型把「语义」契约化为向量,Reranker把「相关性排序」契约化为分数,去年到现在推理模型把「思考深度」契约化为力度档位。这些层的共同点是:输入输出空间封闭、可评测、可替换、可组合。

决策模型正在满足同样的条件。「给定共享上下文和候选空间,返回概率分布与置信度」——这是一个封闭、可评测(ECE、AUC、分项准确率)、可替换(Jev和Gemini Decision 1共享7项基准中的多数)的契约。一旦契约稳定,上层Agent框架就会开始针对它编程,就像今天没人会自己写embedding,大家直接调接口一样。

还有一个常被忽略的技术细节支持这个判断:单次请求支持1000项独立判断、共享同一份输入上下文。这说明决策模型在架构上就是为「批量判断」设计的——一次编码、多次判别,而不是把生成模型塞进循环。这是接口设计者已经想清楚了「这个层是干什么的」的证据。

Google入场意味着什么:商品化的钟声

竞争格局的数据值得细看。7项共享基准中Gemini Decision 1赢下5项,ECE校准明显更好;但价格0.10美元/百万输入Token约为Jev的2.38倍,Artificial Analysis综合分65.98仍略低于Jev的66.23。

这是一幅典型的「巨头首秀」图景:单点能力领先、综合还有差距、定价主动偏高试水。但对从业者来说,比分不重要,重要的是品类被巨头确认了。历史规律很一致:一个品类一旦被Google、微软级别的玩家正面跟进,12-18个月内就会完成商品化——价格腰斩、能力趋同、差异化转移到企业级特性(审计、私有化、SLA)上。

这带来一个现实的时间窗口问题:自建决策微调的窗口正在收窄。过去两个月,不少团队基于开源模型自己做判断头微调,因为Jev太贵或不可控。当通用决策API的价格压到自建方案的边际成本之下时(参考embedding价格战的历史),自建的理由会从「成本」退守到「数据不出域」和「领域特化」。如果你的自建方案的核心卖点是省钱,现在就是重新评估的时候。

Agent架构的下一张图:生成、判断、路由的显式分工

如果决策模型层成立,Agent架构会发生一次不那么显眼但影响深久的重构:从「一个生成模型包打天下」转向生成、判断、路由的显式分工。

想象一个典型的Agent工作流:规划(生成)、每步后的自检(判断)、工具选择(判断/路由)、最终产出(生成)。今天的实现里,这四类环节全部调用同一个生成模型,用prompt工程区分行为——这就像用一辆重卡既跑货运又接送孩子还下赛道。分层之后:

  • 生成模型只负责真正需要开放空间产出的环节;
  • 判断模型负责所有「候选空间可预定义」的环节,批量、低价、带校准置信度;
  • 上层用置信度做路由:高置信走自动化,低置信升级到人或更强的模型。

这最后一环尤其关键。置信度门槛 + 分级升级可能是未来两年Agent工程的标准模式——它把「AI什么时候该谦虚」从一个对齐问题变成了一个工程参数。而配套的新工程必修课也随之出现:候选空间设计(要不要留Other兜底、候选项之间的互斥性)、概率校准的持续监控(部署后ECE漂移)、以及判断任务的抽象(哪些环节值得下沉到决策模型,哪些看似判断实则需要开放推理)。

最后这一条是最大的坑。不是所有看起来像判断的任务都适合决策模型。「这条评论是否违规」是封闭判断,适合;「这个方案是否可行」是开放评估,强行塞进决策模型只会得到自信的胡说。识别二者的分界线——任务的真实候选空间是否可枚举、是否有可验证的ground truth——会成为一种新的架构品味。

结语

TypeSafe Jev两个月前引爆品类时,还可以争论这是不是昙花一现的niche;Google的入场让这个问题有了答案。决策模型的独立,本质上是LLM应用栈继续垂直分化的又一步:语义、排序、思考深度之后,「判断」也被契约化了。

对工程团队,我的建议浓缩成三句话:盘点你Agent系统里所有「让生成模型选一个答案」的环节,那是成本和延迟的洼地;认真对待概率校准,从今天起把ECE当作用服务质量指标而不只是论文指标;以及,别在自建通用决策模型上投入太重——这层很快会便宜到不值得自己养。

生成负责想象,判断负责收敛。让它们各司其职,这才是Agent架构走向成熟的样子。


参考:Google Blog《Introducing Gemini Decision 1》、雷峰网相关报道、Artificial Analysis评测数据。