提前交卷的AI研究员:自主科研缺的不是算力,是判断力
一张奇怪的对账单 先看一张对账单。 API 预算 3000 美元,实际花费 1130 美元;GPU 预算只用了一小半;截止时间前七个小时,项目被宣布"完成"——宣布完成前不久,内部审稿人刚返回连续第十五个 Reject。几天后,两位真正的评审、也就是"考题"的原作者,给出了最终判词:一篇 Reject,一篇 Strong Reject。审稿意见里出现的是"‘以例代证’的谬误"、“高度不科学”、“实验选择令人费解"这样的措辞。 这不是一个摆烂的研究生的故事。这是一篇刚刚发布的论文里,Claude Opus 4.8(Extra-High Reasoning)在严格受控条件下做"真科研"的全过程记录。 这篇论文就是普林斯顿大学与英国 AI 安全研究所团队的《AI agents 能否开展开放式 AI 研究?两个案例研究的早期证据》(arXiv:2607.27191)。作者阵容里包括 Sayash Kapoor 和 Arvind Narayanan——过去两年最有力量的"AI 炒作批判"学术组合。他们设计了一种叫**影子评测(Shadow Evaluation)**的方法,而这项研究本身,可能比它的结论更重要。 影子评测:把考题从未来借来 评测 AI 的科研能力,一直有个死结。 用公开基准测,窄且可验证的任务排除了"开放式研究”;把 AI 写的论文投给会议,则撞上同行评审系统的老毛病——审稿人超载、结果随机、质量参差。更根本的问题是:无论哪种方式,考题几乎都在训练数据里泡过,你永远无法排除模型在"背诵"而非"研究"。 影子评测的思路干净利落:用还没发表的论文当考题,让原作者当审稿人。 研究团队与两篇 NeurIPS 2026 投稿的作者合作。第一篇研究如何通过模型权重直接调控大模型的人格特质;第二篇围绕 TabPFN 开发方法,检测表格模型在部署数据与训练数据剧烈偏移时的精度崩塌。Agent 拿到的是这两篇论文的核心研究问题——由于论文未发表、不在网上任何角落,模型不可能从训练数据里偷看答案;而评分者是花了数月时间回答同一个问题的人,这可能是目前能拿到的最专业的审稿。 考试条件相当宽裕:六天时间、3000 美元 API 额度、独立 GPU 预算、完整虚拟机和开放网络。Agent 运行在 CRUX-2 脚手架上(基于开源编排框架 OpenClaw 构建),可以派生子 Agent、启动长时 GPU 任务、由心跳机制在任务完成后唤醒自己,还能调用外部 AI 审稿工具。一个不存在的条件是:任何人类帮助。 工程全对 结果的一半好得出人意料。 Agent 独立完成了全部研究工程:文献调研、调试 GPU 代码、跑完数百个实验和鲁棒性检验、用 LaTeX 编写出完整论文。整个过程中人类只出手三次:修一个脚手架 bug、延长一次截止时间、要求重写一次可读性糟糕的摘要。为了排除"某个模型或框架背锅"的怀疑,团队用 GPT-5.6 Sol 加 OpenAI 自家 Codex 脚手架复现了实验——工程能力同样成立。 ...