📋 论文信息
| 项目 | 内容 |
|---|---|
| 日期 | 2026-08-21 |
| 论文 | Locally Deployable Small Language Models for Emergency Department Decision Support: A Systematic Benchmark of Fine-Tuning Strategies |
| 作者 | Qingfeng Zhang, Yuanxiong Guo, Yanmin Gong |
| 机构 | UT San Antonio / Texas A&M University |
| 链接 | arxiv.org/abs/2608.10273 |
| 发表 | AMIA 2026 Annual Symposium（已接收） |
| 代码 | 未公开 |
🎯 一句话总结
对8个开源小模型（1B-8B）在急诊科三大决策任务上系统对比零样本、Prefix Tuning、LoRA、全量微调四种策略，发现LoRA微调的SLM在分诊和转诊任务上反超Claude，但诊断预测仍是硬骨头。
❓ 解决什么问题
医院部署LLM做临床决策支持有两大障碍：
- 隐私合规：商用模型（GPT/Claude/Gemini）走云端API，患者数据必须出院，踩HIPAA/GDPR红线，还有持续成本、厂商锁定、网络延迟问题
- 策略缺失：此前没有研究系统比较过「多种微调方法 × 多个模型家族 × 多个急诊任务」的组合，到底哪种适配方法在性能和算力开销上最划算，没人说得清
这篇论文的答案很务实：用本地部署的开源小模型（1B-8B），配合合适的微调策略，能不能打过商用大模型？
🔬 核心方法
评测框架（复现并扩展Gaber et al.的基准）：
- 数据：MIMIC-IV-ED + MIMIC-IV-Note，清洗后2083个急诊病例，60/20/20切分。每例含主诉史（HPI）、人口学信息、初始生命体征
- 三大任务：ESI分诊分级预测（1-5级）、专科转诊推荐（top-3）、诊断预测（top-3）
- 模型池：Llama-3.2-1B/3B、Llama-3.1-8B、Qwen2.5-1.5B/3B/7B、Qwen3-4B、Mistral-7B共8个开源SLM，加上Claude Haiku 4.5和Sonnet 4.5做商用基线
- 四种适配策略：零样本提示 / Prefix Tuning（20个虚拟token，冻结主干）/ LoRA（r=16, α=32, 只加在q/k/v/o投影层）/ 全量微调
- 训练细节：4×A6000，AdamW，bfloat16，batch size 4，3个epoch，5个随机种子取均值±标准差
两个值得注意的评测设计：
- 分诊用「range accuracy」：允许高估一级（过度分诊）但不允许低估（分诊不足），因为漏掉危重病人的代价远大于多看一个病人
- 诊断评估用LLM-as-a-judge，但judge换成本地Llama-3.1-70B而非商用API——评测过程本身也不出院，这个细节很讲究
📊 实验结果
分诊（ESI）exact-match准确率：
- 🥇 Qwen3-4B + LoRA：65.98%，超过Claude Sonnet 4.5的62.68%和Haiku 4.5的57.89%
- Mistral-7B + LoRA（65.74%）、Qwen2.5-7B全量微调（65.57%）同样反超
- 但在range accuracy上Sonnet 4.5仍以82.54%居首，微调SLM在80%左右——多数错误只差一级
转诊推荐：微调SLM全面领先。Mistral-7B + LoRA的matched accuracy 75.24%、at-least-one 87.04%，均超过Sonnet 4.5（71.04% / 85.30%）
诊断预测：仍是开源短板。最好的Mistral-7B微调后68.84%，Sonnet 4.5为74.38%，差距约6个百分点
最有临床价值的发现（混淆矩阵）：33个最危重的ESI-1病例中，Claude Sonnet 4.5零样本一个都没识别出来（全部分到ESI-2/3），而LoRA微调的Mistral-7B识别出8个（灵敏度24.2%）。对急诊来说，「完全看不见最危重病人」比整体准确率低几更致命。
💡 深层洞察
为什么重要：这篇论文实证了医疗AI的一个转折点——在足够窄的临床任务上，微调后的开源小模型不只是「能用」，而是在关键指标上超过了顶级商用模型。这动摇了「医疗LLM必须依赖大厂API」的默认假设。更重要的是ESI-1检出这个案例：通用大模型面对极端类别（本数据集仅8.2%）时的保守偏置，恰恰是任务微调能修复的——分布外推能力买不来，但领域适配可以教。
方法论启示：聚合准确率会掩盖 clinically crucial 的失效模式。如果只看range accuracy，Sonnet 4.5是赢家；展开混淆矩阵才发现它对最高危患者完全失明。医疗AI评测必须做细分级别分析，这个教训适用于所有不平衡的临床任务。
⚠️ 局限性
- ESI分布严重不平衡（ESI-4仅12例、ESI-5为0），ESI-1检出率24.2%也只是「比0好」，离临床可用还远
- 转诊标签由Claude Sonnet 4.5生成（数据集本身无此标注），存在自评偏差风险
- 诊断评估依赖Llama-70B judge，评测器本身的误差未充分量化
- 单中心数据（MIMIC），无外部/前瞻性验证；未报告训练时长和显存开销，LoRA的「性价比」结论缺一块证据
🛠️ 工程实践启示
- LoRA是务实默认选项：跨模型家族、跨任务表现稳定，参数更新量小。除个别小模型全量微调略优外，LoRA基本不吃亏
- Prefix Tuning慎用：在这类多标签临床任务上明显弱于参数更新方法，省的那点算力不值
- 小模型+微调 > 大模型+零样本（窄任务上）：Qwen3-4B只有4B参数就能反超商用旗舰，垂直场景的性价比极高
- 评测链路也要本地化：用本地70B模型做judge，让整个「训练-评测」闭环都留在院内，这是隐私合规场景的完整参考架构
- 结构化输出很关键：所有prompt强制XML标签输出（
<acuity>、<specialty>），保证可靠解析——生产系统的基本功