论文信息
| 项目 | 内容 |
|---|---|
| 日期 | 2026-11-15 |
| 论文 | Specify Privacy Yourself: Assessing Inference-Time Personalized Privacy Preservation Ability of Large Vision-Language Models |
| 作者 | Xingqi Wang, Xiaoyuan Yi, Xing Xie, Jia Jia |
| 机构 | 清华大学、微软亚洲研究院 |
| 链接 | arXiv:2611.13997 |
| 代码 | github.com/achernarwang/specify-privacy-yourself |
| 发表 | ACM Multimedia 2025 (Brave New Ideas track) |
一句话总结
现有大型视觉语言模型（LVLM）几乎无法遵守用户在推理时用自然语言指定的个性化隐私边界（最好的o4-mini合规率仅23.74%），本文提出的SPY-Bench首次系统量化了这一缺陷，并用新的NCA-P对齐方法将合规率提升到96.88%。
解决什么问题
LVLM能从图片中高精度推断出敏感信息：地理位置、身份证号、信用卡号，甚至证件有效期。现有的隐私对齐建立在"隐私是普适的"这一假设上——比如信用卡号人人都该保护。但论文指出隐私本质上是个性化且依赖上下文的：
- 个人偏好：有人在意性别、年龄被提及，有人无所谓；
- 场景依赖：诊断影像在社交场景是高度隐私，但给医生看就不是。
论文据此提出新任务 ITP³（Inference-Time Personalized Privacy Protection）：用户在推理时用自然语言动态声明隐私边界，模型需要做到三点——严格遵守约束、上下文感知、保留非敏感信息的可用性。
核心方法
1. SPY-Bench 基准：32,700个样本，覆盖67个隐私类别、24个真实场景，每条样本是"图片+问题+个性化隐私指令"三元组。隐私类别分为两类：绝对隐私（证件号等，无论指令如何都必须拒答）和可定制隐私（由用户指令决定是否保护）。
2. 新指标：
- RtA（拒答率）衡量基本保护能力，并惩罚"一律拒答"或"一律回答"的两个极端；
- ICS（指令合规分）精确对照用户偏好与模型行为的一致性，是核心指标；
- HMS（调和均分）综合平衡保护与可用性。
3. NCA-P 对齐方法：作者的关键假设是——预训练模型分不清"类别c被声明为隐私"和"类别c被声明为非隐私"这两种指令的字面差异。因此把同一类别c的隐私/非隐私两种情形放进同一个对比损失里：
L_NCA-P 联合优化 -log[exp(r(y_e|c私有))/Σexp(r(·|c私有))] 和 -log[exp(r(y_e|c非私有))/Σexp(r(·|c非私有))]
强制模型显式感知指令中"私有/非私有"的翻转，而不是像SFT那样各自独立学习。
实验结果
- 21个SOTA LVLM（GPT-4o、Gemini、Claude、Qwen-VL、InternVL等）在SPY-Bench上全线溃败：多数模型ICS低于20%，最好的o4-mini仅23.74%；
- 即使prompt里明确写了"这张信用卡是隐私"，Gemini 2.0 Flash仍会泄露卡号；
- 模型规模增大（Qwen 2.5 VL系列）对ITP³能力提升有限；干扰指令越多，性能越差；
- 在Qwen2-VL 7B上做对齐实验：SFT/DPO/NCA都能把合规率拉到90%+，其中 NCA-P 达到 ICS 96.88%、HMS 88.11%（含干扰指令设定），同时SFT在通用能力（MMMU/OCRBench/MME）上退化最严重，NCA-P综合权衡最好；
- 案例分析：面对"地址标为隐私但场景是执法分析"的冲突案例，只有Self-Moderation和NCA-P能给出"告知大致位置"的平衡回答。
深层洞察
这篇论文的价值在于把隐私对齐从"静态类别清单"推向"动态用户契约"。它揭示了一个被忽视的真相：模型的隐私对齐学的是平均值意义上的人类偏好，而真实用户的需求是每个个体自己的边界——这两者几乎正交。ICS普遍低于25%说明现有对齐根本没教会模型"读用户的隐私指令"这件事。ITP³本质上是把指令遵循、上下文推理和隐私保护三者耦合在一个任务里，这也是为什么它如此困难。这个思路可以推广到一切"偏好因人而异"的对齐场景：语气、立场、敏感话题，都可复用"推理时语言声明边界+对比对齐"的范式。
局限性
- 对齐实验只在Qwen2-VL 7B上做，规模泛化性未知；
- 所有微调方法都有"对齐税"——通用能力有不同程度退化（NCA-P只是退得少）；
- SPY-Bench靠自动化数据合成管线构建，指令的自然度和多样性依赖模板，与真实用户随口的隐私表述有差距；
- 96.88%是SPY-Bench内的成绩，对分布外的隐私指令表述是否依然鲁棒未验证。
工程实践启示
- 如果你的产品让LVLM处理用户图片，不要假设模型会遵守prompt里的隐私要求——实测合规率可能不到25%，需要在管线里外挂确定性的隐私过滤器；
- “用户声明隐私边界"应作为一等公民的输入设计进产品协议，而不是塞进system prompt碰运气；
- 想自己做隐私对齐的话，NCA-P的思路很实用：把同一属性的"私有/非私有"样本成对喂进对比损失，比朴素SFT/DPO更能保住通用能力，训练配置论文已开源（TRL + DeepSpeed + Liger Kernel）。
本文由星月AI助手基于arXiv:2611.13997整理，转载请注明出处。订阅我的博客