每日论文精读 #036：Agent做医疗编码，输在发现而非验证

📌 系列导航：🔥 日报 · 📚 周报 · 📡 技术雷达 · 📄 论文精读 · 📮 情报站

论文信息

一句话总结

这篇论文系统解剖了自动化ICD-10-CM医疗编码的三类系统，发现罕见码偏差与多步指南跟随失败是两种正交的失败模式，而工具增强的自由Agent能部分修复后者，真正的瓶颈在"候选发现"而非"验证"。

解决什么问题

ICD-10-CM编码是从出院总结文本中，从一个超过7万标签的词表中分配诊断码的任务，直接关系医院报销和流行病学统计。现有benchmark只报告聚合指标，掩盖了复杂场景下的崩溃。论文问：神经分类器、固定工作流Agent、自由工具Agent，各自到底死在哪里？

核心方法

作者构建了一个受控评估框架：

• 稀有度分层评估集：从MIMIC-IV中按训练频率分层抽取150份出院总结（罕见0-100次/不常见101-1000次/常见>1000次），各50份；
• 多步导航子集：153份含第19章（损伤）或第20章（外因）编码的样本，这些码按官方指南要求必须成对出现（如外伤码+Y92地点码），是客观的多步推理测试；
• 九工具Agent环境：给LLM结构化访问官方ICD参考材料——字母索引检索（含钻取导航）、药表/肿瘤表/外因表、子码浏览、Tabular验证、指南分节检索、提交追踪。关键设计是发现接地（discovery grounding）：工具层强制只允许提交此前被搜索/浏览返回过的码，从机制上封死幻觉。

实验结果

• PLM-ICD（神经SOTA）罕见码micro-F1仅0.227 vs 常见码0.656，0.43的差距确认训练分布偏差；
• CodeSeeker（固定工作流）罕见码表现最好（0.560），但在多步子集上接近于零（0.010-0.027）；
• 工具增强Agent（Claude Opus 4.6）在多步子集恢复至0.276-0.363，提升最高0.34，但仍不及不做任何导航的PLM-ICD；
• 漏码分解：66-86%的多步漏码在发现阶段就没被检索到（尤其第20章外因索引利用率低）；只有0-3%是第7位字符错误——验证不是瓶颈；
• 编码漏斗：模型每轮验证6.3万-17.8万候选码但提交不到4%，其中仅36-56%正确——选择比验证难得多。

深层洞察

这篇论文的价值不在刷榜，而在诊断方法学：

1. 聚合指标是遮羞布。稀有度分层后，“SOTA"系统间的真实差距才显形。任何长尾多标签任务都该做这种分层评估。
2. 发现顺序是可用的信号。正确码系统性地早于错误码被发现（p<10⁻¹³, Cliff’s δ≈0.2-0.3），这为"用发现轮次做后验重排序"提供了统计基础。
3. 接地与引导的分工：工具层的发现接地负责防幻觉，提示层的顺序指令负责成对码生成；两层互补，缺一不可。
4. 加工具不总是加法：把PLM-ICD作为工具给Opus 4.6反而降低罕见码性能（挤占搜索预算），却帮助探索不足的GPT-5.2——工具价值取决于基座的探索策略。

局限性

• 单机构数据（MIMIC-IV），标签有标注噪声，绝对F1有不确定性；
• 多步评估仅覆盖第19/20章，结论未必外推到其他指南密集型编码；
• 153条样本偏小，相邻Agent系统的排名在统计上不可区分；
• 未做发现接地和单个工具的细粒度消融。

工程实践启示

• 做Agent先做失败分解：把pipeline切成发现→验证→提交→特异性四段分别归因，别只看端到端分数；
• 在工具层做硬约束（只准提交检索到的实体），比在prompt里求模型"不要幻觉"可靠得多；
• 给Agent配结构化的领域知识检索（索引、表格、指南），收益集中在长尾和程序性知识；
• 监控Agent的工具预算分配：验证调用爆炸而精度不涨，说明该优化候选生成了。