一个 ChatGPT 造反者的提问

9 月 15 日，一家叫 TypeSafe AI 的公司结束了两年隐匿期，发布了首个「System One 模型」Jev。创始人 Diogo Almeida 这个名字可能陌生，但他做过的事你一定知道：他是 InstructGPT 论文的作者之一，RLHF 方法论的核心贡献者——那套让语言模型学会听话的技术，正是 ChatGPT 的研究基础。

这样一个人，出来创业后做的第一件事不是造一个更好的聊天模型，而是造一个不生成任何文本的模型。

Jev 的工作方式很反直觉：开发者定义问题和候选答案，模型只输出标签和概率。输入是 70-500 毫秒内返回的类型安全结构化结果，输出 token 免费，输入价格 0.042 美元/百万 token。官方宣称比同等智能水平的前沿 LLM 快 40-200 倍、便宜最多 444 倍。

Almeida 在发布博客里写的第一句话，值得我们停下来想一想：

Models have been superhuman at chat for years, so where is all the automation? （模型在聊天上超人已经好几年了，那自动化在哪里？）

这句话是整个产品的题眼，也是这篇文章想讨论的核心：LLM 火了四年，为什么真正的业务自动化依然稀少？

问题的根源：生成式模型和软件的接口错配

要理解 Jev 为什么值得认真对待，得先看清现有 LLM 在生产系统里的真实处境。

LLM 的输出是字符串。字符串是万能的——它可以是一段精彩的回答、一段可运行的代码，也可以是一次幻觉、一个格式错误的 JSON、一个不存在的函数调用。为了把这种「自由」塞进软件，工程师们做了大量补丁式的工程：结构化输出约束、JSON schema 校验、重试逻辑、输出解析器、护栏模型……在真实的生产 Agent 里，这些补丁的代码量往往远超业务逻辑本身。

更麻烦的是三个无法绕开的属性：

延迟。 前沿模型的端到端响应时间在 3 到 329 秒之间（取决于推理预算）。这个速度对「面向人的对话」没问题——人不在乎等 5 秒——但当它作为软件流水线的一环时就是灾难。一个 Agent 工作流如果有 20 步，每步平均 10 秒，用户面对的就是一个三分钟才回话的黑盒。

置信度缺失。 LLM 被要求给出置信度时往往过度自信且不一致。一个任务 95% 能做对、但不告诉你哪 5% 会失败的模型，在自动化场景里等于不可用——因为你没法设计降级路径。TypeSafe 把这一点讲得很透：If a model can do a task 95% of the time but doesn’t say when it’s in the 5%, it can’t automate that task.

自回归采样。 生成式模型逐 token 输出，天然是串行的。即使你只要一个分类标签，它也得一个字一个字地「说」出来。你在为生成过程付费，却只消费最后的那个词。

Jev 的做法是把这三个问题连根拔：放弃字符串生成，直接输出类型安全的结构化决策。输出空间预先定义，类型错误在数学上不可能发生；所有输出附带校准过的概率，高置信度对应高准确率；采样是并行的，一次查询同时计算所有问题的答案——这也是为什么加问题几乎不增加延迟。

System One：名字本身就是论点

这套设计的命名暴露了它的理论野心。「System One Models」取自卡尼曼的《思考，快与慢》：System 1 是快速、直觉、无意识的判断；System 2 是缓慢、刻意的推理。大语言模型一直被类比为 System 2——深思熟虑、逐词推演。而 TypeSafe 想造的，是机器的 System 1：不解释、不推理、直接给出校准过的判断。

训练方法是另一块拼图。他们提出 RLCD（Reinforcement Learning for Calibrated Decisions，校准决策强化学习），优化目标不是人类偏好（RLHF），也不是可验证的正确答案（RLVR），而是「认知上诚实的概率」——模型不仅要判断对，还要知道自己什么时候不确定。这个目标直击自动化系统最需要的性质：可预测的失败模式。传统 LLM 的失败是「一本正经地胡说」，而校准模型的失败是「我只有 40% 把握，交给人类吧」。后者可以被编程处理，前者不能。

名字 Jev 则来自经济学家 William Stanley Jevons——杰文斯悖论的主角：蒸汽机效率提升导致煤的消耗不降反增。这个隐喻非常直白：智能成本每下降一个数量级，就会解锁数量级更多的新用例。当判断的价格降到 0.042 美元/百万 token，「在每一封邮件、每一次点击、每一个 Agent 步骤上跑一次模型检查」就从奢望变成了默认设计。

Agent 架构的分层时刻：生成交给大模型，判断交给小模型

跳出产品本身，Jev 代表的趋势更值得关注。回看过去一年的 Agent 工程实践，一个清晰的分层正在浮现：

  • 生成层：需要产出新内容——写代码、起草文档、多步推理——这是前沿 LLM 的领地，慢和贵是可以接受的代价。
  • 判断层：分类、路由、打分、校验、护栏——这些只需要在预定义选项中做选择。用生成式 LLM 做这些事，就像用跑车送外卖：能送到，但你为引擎付了钱。

今天的 Agent 系统里，判断层的调用量通常是生成层的十倍到百倍：每一步工具调用前要判断该不该调，每次生成后要校验有没有跑偏，每个用户输入要路由到正确的分支。这些微观决策目前大多由同一个大模型承担，按同样的 token 单价计费。这就是为什么很多 Agent demo 惊艳、上生产却烧钱烧到无法承受——成本结构里最大的部分，恰恰是那些本不需要「生成」的环节。

判断模型的介入会重写这个成本函数。拿 Jev 的定价粗算：如果 Agent 的中间判断环节迁移到 0.042 美元/百万 token 的输入价格加免费输出，相比 0.20-10 美元/百万 token（且输出约五倍于输入价格）的前沿 LLM，仅判断环节的成本就有 1-2 个数量级的下降空间——这还没算上速度提升带来的吞吐量收益和校准概率带来的可靠性收益。

这与数据库领域的历史有微妙的相似。早年所有数据操作都跑在 OLTP 数据库上，后来分析负载被剥离到专门的 OLAP 引擎、列式存储、向量化执行——不是通用数据库做不了分析，而是专用架构在特定负载形态下有一个数量级的效率差。判断模型就是 Agent 栈里的 OLAP：负载形态（结构化状态进、类型化决策出）足够独特和普遍，值得一个专门的架构。

冷静的另一面：三个必须追问的问题

作为一篇深度文章，不能只复述官方叙事。Jev 至少有三个软肋值得警惕。

第一，「不会幻觉」是偷换概念。 Jev 的零幻觉仅指输出结构——它不可能生成 schema 之外的值，不可能类型错误。但它完全可能在选项内判断错：把「退款请求」误判为「投诉建议」的概率依然是概率。官方也承认这一点。自动化系统的可靠性上限依然受限于模型的判别准确率，只是失败被约束在了可枚举的空间内。这已经是巨大进步，但不等于「可靠」。

第二，评测是自建工作流，且无第三方验证。 那个惊人的「193.6 倍快、444.6 倍便宜」来自 TypeSafe 自建的 workflow evals，参考答案取 GPT-6 Astra 与 Fable 5.1 的平均——官方自己也承认这偏向 OpenAI/Anthropic 系模型，且工作流由自家能力团队构建，可能存在偏差。早期访问阶段，没有任何独立基准背书。历史上，「快 100 倍还便宜 200 倍」的宣言大多倒在了规模化之后的真实分布数据面前。

第三，通用判别智能尚未被证明。 Jev 的演示集中在客服分类、购买意向、AI 输出自检这类边界清晰的场景。但真实的业务判断往往边界模糊、上下文深长、需要跨域知识。一个放弃了生成（也就放弃了显式推理链）的模型，在困难判断上的上限在哪里，目前没有公开证据。卡尼曼的 System 1 本来就以「出错的方式不可预测」著称——TypeSafe 相信 RLCD 能驯服这一点，这目前是信念，不是结论。

更大的图景：推理市场的分化已经开始

把视线再拉远一层。判断模型的出现，是 LLM 推理市场走向分化的最新信号，而这个分化沿着两条轴同时进行：

延迟轴：实时判断（Jev 的 70ms）、边缘推理（NVIDIA TensorRT Edge-LLM 在 Jetson 上跑 MLPerf Agentic 基准快 6.4 倍）、云端推理（3-329 秒）正在形成三个不同的技术栈，服务完全不同的场景。实时和端侧栈的成熟，意味着 AI 从「回答问题」进入「参与控制流」——Jev 团队用它在游戏 Doom 里跑实时决策、每秒 10 次查询成本约 7 美元/小时，这个 demo 的意义不在游戏本身，而在于证明毫秒级智能可以嵌入程序的感知-决策回路。

确定性轴：从「输出大概是对的」（原始 LLM），到「结构一定正确」（Structured Outputs），再到「概率是校准过的」（RLCD），市场正在为「确定性」支付溢价。这条演进路线的终点，是 AI 输出成为软件可以依赖的合约——Almeida 说他们创业的出发点就是「AI needs an interface software could depend on」。

对从业者的启示是具体的：评估你的 Agent 成本时，把「必须生成的环节」和「只需判断的环节」分开计算。后者——路由、分类、打分、护栏、意图识别——几乎存在于每一个生产 Agent 中，且大概率占用了大头 token 开销。这是当前性价比最高的一块优化空间，无论最终的供应商是 TypeSafe、微调的小模型，还是量化后的本地 LLM。

结语：ChatGPT 的共同发明人，押注「对话之外」

Almeida 的转身本身就是行业的一个注脚。RLHF 让模型学会了与人对话，ChatGPT 因此诞生；但它的共同缔造者之一在两年前就认定，对话不会通向自动化——软件需要的是一个能直接依赖的决策接口，而不是一个需要被哄着输出合法 JSON 的聊天伙伴。

Jev 能否兑现它的宣言，要交给时间和第三方评测。但它指出的方向几乎必然成立：当 Agent 从 demo 走向生产，架构一定会分层——就像 Web 服务不会用一套代码同时扛 CDN 边缘和离线批处理一样，Agent 的感知、判断、生成、校验也不会永远挤在一个按 token 计费的通用模型里。

生成式 LLM 是 AI 的 System 2，判断模型想做 AI 的 System 1。人脑的效率恰恰来自两套系统的廉价协作，而非 System 2 事必躬亲。机器智能大概也不会例外。

参考来源：