1. 论文信息
| 项目 | 内容 |
|---|---|
| 日期 | 2026-11-04 |
| 论文 | Strategist: Evolving Reasoning with Agents |
| 作者 | Taiming Lu, Qi Xu, Zhigang Hua, Zhuang Liu |
| 机构 | (原文未标注；作者署名与 NeurIPS 2026 录用) |
| 链接 | https://arxiv.org/abs/2611.03618v1 |
| 代码 | 暂未放出 |
| 发表 | NeurIPS 2026 |
2. 一句话总结
把 agent 系统里"模型之外的那一半"——推理策略——从人工手写变成一个可跨任务累积的自动进化过程：策略以可执行蓝图的形式进入共享库，越用越强。
3. 解决什么问题
一个 AI agent 系统 = 模型 + 推理策略（prompt、推理流程、调用编排）。今天这一半几乎全靠人手工设计：写 prompt、试、调，一旦能用就冻结，而且一个任务上积累的经验完全带不到下一个任务。已有的自动策略搜索方法（ADEM、GEPA 等）也都是"每任务从零开始搜索"。论文的核心问题：能否让推理策略的设计本身变得自动化且可累积——像一个不断成长的代码库，每解决一个新任务都让下一个任务起点更高。
4. 核心方法
Strategy Blueprint（策略蓝图）：每个推理策略是一个 Python 程序，暴露统一接口 execute(llm, task) -> str，描述"调哪些模型、按什么顺序、用什么层级、怎么组合"，但不含任务特定 prompt。两条基础原语：chat（多轮对话）和 agent（带脚手架和工具）。因为接口统一，任何蓝图可以作为组件被另一个蓝图调用，形成无环、无重复、只允许向后引用的组合图。
多层级模型路由：每个推理步骤可以指定 fast/balanced/complex 三档模型 × thinking/nothink 两种模式（实验中对应 Qwen3-0.6B/1.7B/4B），不是每步都需要最强模型——这是策略能同时做到"准"和"省"的关键。
Strategist 元智能体（GPT-6 担任，只写策略不答题，全程不训练、模型冻结），四阶段迭代循环：
- Retrieve：用 TF-IDF + 嵌入混合检索，从蓝图库取相关蓝图和跨领域"灵感"蓝图——索引还包括测量卡片和前人写的经验笔记；
- Propose：每轮产 K=5 个候选，强制混合三种类型——new（全新）/ composed（包装扩展已有）/ reuse（直接复用配新 prompt），平衡探索与利用；
- Evaluate：数据切四份——训练集看完整 trace、验证集只看聚合分（防过拟合 trace 信号）、hidden 集用于跨迭代选优、test 集完全留出；
- Accumulate：入库的是蓝图（结构）而非策略——丢弃任务特定 prompt，这正是跨任务可迁移的原因；附带测量卡片和经验笔记，去重后入库。
5. 实验结果
- 30 个主基准（数学/代码/常识/多跳QA/知识/逻辑/推荐）对阵 18 个基线（CoT、ToT、Self-Consistency、Reflexion、AutoGen、MetaGPT 等）：24/30 胜出，平均准确率 74.7% vs 最强基线 74.0%，推理成本低 39%；
- 10 个留出基准（零搜索，仅检索库+配 prompt）：全部与最强基线差距 <2 分，8 个直接反超（77.8% → 81.4%），证明库里攒的是可迁移的结构性知识而非过拟合产物；
- 跨模型迁移：策略原封不动搬到 GPT-5 和 Gemini-2.5，仍胜过各自基线；
- 蓝图组合图随使用自然加深，库是复利式的。
6. 深层洞察
这篇的真正贡献是视角切换：过去提升 agent 的路径是改模型（训练）或改单点策略（prompt 工程/单任务搜索），Strategist 把"推理策略"升格为一等可进化资产——用软件工程的库复用机制（接口统一、组合、去重、版本化经验）来组织进化搜索的产出。它和 AlphaEvolve/AI-Scientist 一脉相承：用 LLM 跑 write-try-adjust 循环去进化程序，只不过进化的对象换成了推理流程本身。“AI 系统中只有模型能学习"这个长期不对称，被打破了。
7. 局限性
- 元智能体依赖 GPT-6 + Codex CLI，搜索成本（API 花费）在论文中着墨不多，小团队复制门槛高；
- 任务模型用的是 Qwen3-0.6B~4B 小模型，蓝图的省成本优势在超大模型上是否同样成立存疑；
- 蓝图图无环、只许向后调用，限制了某些递归式/动态自引用策略的表达；
- 评测以分类/短答案 QA 类基准为主，长程真实工具使用（如浏览器操作、SWE-bench 级任务）未覆盖；
- 检索靠 TF-IDF+嵌入，库极大时经验笔记的可信度与冲突管理未讨论。
8. 工程实践启示
- 把 prompt/工作流当代码库管理，而不是当配置管理：统一接口 + 可组合 + 测量卡片（何时有效/无效），任何团队的 agent 编排层都可以照搬这个组织方式；
- 强制 new/composed/reuse 三路候选是实用的探索-利用配比，比纯随机变异高效；
- 分层模型路由（简单步骤用便宜模型）是被低估的降本手段，39% 的成本节约主要来自结构而非更强模型；
- 结构入库、prompt 丢弃的分离，是让经验可跨任务复用的关键设计——值得任何做内部 prompt 资产管理的团队借鉴；
- 训练/验证/hidden/test 四级切分（尤其 hidden 防跨迭代过拟合）对任何自动搜索式优化都是干净的工程模板。