上周五，阿里联合多家亚洲高校发布了 Co-Design Bench（arXiv:2610.35138）。这个基准没有制造任何新模型、没有刷新任何榜单，却可能是近期对工程团队最有价值的一份研究——因为它量化了一个所有人都隐约感觉到了、却没人精确测量过的东西：编码Agent在真实改需求任务上的完全正确率，只有26.4%。

而这个数字的另一面是：在旧的编码基准上，同代模型能跑出99%以上的近满分。

35个百分点的落差，不是模型退步了，是考题终于换成了真题。

这个基准有什么不一样

Co-Design Bench 的任务来源值得细看：37,463条去重后的真实用户查询、26,314个真实编码会话，最终筛选出273个任务。筛选标准很刁钻——研究者专门挑那些让用户反复改口、甚至回滚重来的请求。换句话说，这个基准的题目天然就是「Agent曾经搞砸过的那类事」。

任务分两条赛道：多模态编辑（ME）和仓库级编辑（RE）。前者要求Agent从收据、表格、视频里提取数值，并同步更新所有依赖视图；后者要求对整个仓库做协同式修改。每条赛道覆盖三个能力维度：Grounded Understanding（有据理解）、UI Transformation（界面变换）、Functional Implementation（功能实现）。

评分协议是另一个亮点。2331条验收标准由专家预先撰写但对模型隐藏，然后采用「judge-then-refute」双裁判流程：第一个AI裁判在浏览器里实测验收，第二个AI裁判对所有正判进行复核，专门寻找伪装和硬编码。在浏览器里跑不通的功能，一律不给分。 这直接堵死了「背题」「mock结果」这类评测作弊的老路。

26.4%意味着什么

具体数字比标题更残酷。

十个参测模型中，最强的 GPT-6 Astra 平均能满足每个任务约70%的验收标准，Claude Opus 5 和 Qwen3.8-Max 紧随其后。但在「任务完全正确」这个口径下，GPT-6 Astra 也只有26.4%——多模态赛道41%，仓库级赛道不到18%。

70%的完成度和26.4%的完全正确率，这组对照才是全文最锋利的一刀。它说明 Agent 失败的方式不是「什么都不会」，而是**「做了大部分，漏了一小块」**：提取了收据金额却忘了更新下游合计，改了布局却漏了一个交互状态。对用户而言，这种失败形态最昂贵——你不能直接扔掉重做，只能人肉收尾。于是「几乎每个任务都需要人来清理」成了使用这些工具的常态。

还有一个反直觉的发现：堆算力解决不了这个问题。GLM-5.2 在小型修改上烧掉了 GPT-6 Astra 近六倍的 token，得分反而显著更低。换需求场景的瓶颈不在思考深度，而在需求的持续追踪与全局一致性——这是当前推理范式结构性的短板。

更值得注意的是榜单排序的第三个变量。研究者把同一个模型放进不同的 harness（Agent读写执行代码的环境）里测试，Qwen3.8-27B 在大型重构任务上，换一个环境分数从56%跳到75%；两个模型的相对胜负也会随环境翻转。只列模型的排行榜，讲的是半个故事。 论文的建议很实在：模型和工作环境必须成对报告、成对评测。

评测范式的三次迁移

把 Co-Design Bench 放进行业脉络里，能看到编码评测正在经历第三次迁移。

第一代是单元测试时代：SWE-bench 及其变体用「测试通过率」度量。问题是测试只覆盖了需求的一部分，通过测试不等于满足需求。METR 去年的研究已经给出警告：AI 代码在 SWE-bench Verified 上的得分，比项目负责人实际接收率高出约24个百分点。

第二代是饱和与污染时代：当模型学会自己跑测试、自己修 bug，旧基准集体冲上99%，模型间的差异无法再被度量。榜单失效不是因为题目太简单，而是因为度量对象错了。

Co-Design Bench 代表的第三代，把度量对象换成了「需求覆盖率 + 完全完成率 + 遗留返工量」。它承认一个事实：真实的软件工程不是一次性写对，而是在含糊、多模态、相互纠缠的需求下逼近完整。任务里混合的修改类型越多（布局、设计、交互、内容），所有十个模型的成绩都同步下滑——而这恰恰是真实项目的常态。

对工程团队的三个启示

第一，公开榜单对选型的参考价值正在快速衰减。 26.4%对99%的落差意味着，你在榜单上看到的排名，和你自家场景里的表现可能毫无关系。正确的做法是像 Co-Design Bench 建基准那样建内部回归集：从自己的真实会话里挑出「反复返工」的那批请求，配上隐藏的验收标准，用它来评测「模型+harness」的组合，而不是单独的模型。

第二，把Agent的产出当成「草稿」而非「交付物」来管理。 70%完成度×26.4%完全正确率的组合，意味着 review 环节的信息密度远高于手写代码时代——审查者需要找的不是漏洞或风格问题，而是「那没做完的30%」。验收清单、浏览器实测、依赖视图的一致性检查，这些过去属于测试团队的技能，正在变成每个使用Agent的工程师的日常。

第三，harness是新的护城河。 同一模型在不同环境下分数相差19个百分点，这个效应量已经超过多数模型代际差。团队在「编排层」上的投入——上下文管理、需求拆解、变更传播策略——回报可能高于换一个更新的模型。但也要清醒：另一项近期研究显示，更花哨的harness最多多烧三倍token却几乎没有可测量的收益。harness的方向不是更复杂，而是更对症。

结语

Co-Design Bench 有它自己的局限：每任务只测一次固定请求，不模拟用户追问和任务中途纠偏；AI裁判本身也会犯错。它测的仍是一个切片，不是全景。

但它标定了一个行业的诚实时刻：Agent的能力上限在旧基准上早已「测满」，而它的真实上限藏在每个没做完的30%里。 当评测终于开始测量「完成度」而不是「通过率」，我们才第一次有机会看清，通往可靠工程协作的最后一公里，究竟还有多长——以及它不是被算力，而是被需求追踪与全局一致性卡住的。

这大概也是最值得记住的一句话：会做大部分工作的工具，和能交付完整工作的工具，中间隔着一次范式跃迁。

参考：Co-Design Bench 论文 | 项目主页 | The Decoder 报道