📌 系列导航:🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站

论文信息

项目内容
日期2026-11-18
论文EfficientSkill: Learning Skills for Token-Efficient Multi-Turn Agents
作者Deep Shah, Sanket Badhe, Nehal Kathrotia, Priyanka Tiwari
机构Google LLC, Purdue University
链接arXiv:2611.19823
代码未公开

一句话总结

先不设限地"学会"、再带精度护栏地"瘦身"——EfficientSkill用两阶段优化把多轮Agent的技能包压缩到最多80%的token节省,同时准确率全面持平或提升。

解决什么问题

反思式技能优化器(如EvoSkill)通过从失败轨迹中修订指令来提升多轮Agent表现,但只优化准确率会带来两个复合问题:

  1. 成本爆炸:输出token计费高达输入的5倍,且多轮API每轮重放增长的历史,累积输入token呈O(T²)增长;
  2. 提示过拟合:不断为边角案例打补丁,指令越来越臃肿,Agent反而陷入犹豫的重复检查循环和级联错误。

而从头施加token惩罚的单阶段方法又有冷启动问题——初始准确率低时,惩罚会压制探索,让优化停滞在起点附近。

核心方法

技能表示为 S=(I,T):自然语言指令 I(进上下文)+ 工作区可执行工具 T(放在工作目录)。把函数体移入T是关键设计——prompt里只留紧凑的调用签名,实现代码零prompt成本。

两阶段顺序优化:

  • 阶段1(发现/Repair):从最小种子 S0 出发,不带任何token惩罚地修复失败轨迹,得到锚点技能及其验证精度 A*;
  • 阶段2(剪枝/Prune):从 A* 热启动,在精度护栏 A(S’)≥αA*(α=0.90)下最小化每集输出token E_out:收紧措辞、限制轮数、把可复用代码卸载到经编译检查的工具 T’。检查点处若 E_out 下降≥δ=0.05 或Pareto改进则提交,否则回滚。

元优化器用Claude Opus 5.5,每批8个训练任务,最多10个epoch。

实验结果

4个模型(Claude Opus 5.5、Gemini 3.8 Flash、Grok 4.1 Fast、Gemma 4 26B)× 3个基准(MATH-500、ALFWorld、SpreadsheetBench),共12组:

  • 12组中11组输出token下降(最高-80%),且每个基准平均准确率都上升;
  • SpreadsheetBench上Gemini +14.3点(58.2→72.5)、Grok +17.5点(57.5→75.0)——把卡死循环换成紧凑工作流;
  • ALFWorld上Opus输出token -60%,准确率+4.3点(88.9→93.2);
  • 计费输入token降8–66%,服务成本在全部12组下降(无缓存-2567%,KV缓存下-3175%)。

深层洞察

token效率本身是正则化。臃肿的边角案例规则不只是贵,还诱发犹豫和循环;剪掉它们反而提升泛化准确率——“少即是多"在Agent技能上得到量化验证。其次,优化的起点顺序很重要:直接从种子剪枝会因找不到成功轨迹而停滞,必须先自由探索到可靠锚点再压缩。这与"先做对,再做快"的工程直觉完全一致。

局限性

  • 需要确定性二元验证器,难以直接迁移到开放式任务(如写作、研究);
  • 两阶段意味着双倍优化预算,虽然阶段2的边际开销可控但训练成本仍高于单阶段;
  • Gemma在SpreadsheetBench上准确率略降(-1.4点),护栏并非绝对;
  • 代码未开源,复现依赖其具体实现细节。

工程实践启示

  • 给Agent写技能时,把可复用代码下沉为工作区脚本,prompt里只留函数签名;
  • 技能指令要定期"瘦身”,删掉不再触发的边角规则,防止过拟合循环;
  • 自建Agent优化流水线时,采用"无约束探索→带精度下限的压缩"两段式,避免冷启动惩罚;
  • 减少轮数比压缩单轮输出更能降低O(T²)历史重放成本——KV缓存场景同样受益。