LLM逆向

一个实验摧毁了一个安全假设 2026年8月12日，IIT Bombay和Adobe Research联合发表了一篇论文（arXiv:2607.29378），提出了一个叫PTP（Previous-Token Prediction）的方法。这个方法的威力用一句话就能说清楚：只需要拿到LLM生成的文本输出，不需要访问模型权重、不需要查询API的logits、不需要任何内部信息，就能近乎完美地重建出输入给模型的原始Prompt。 这不是理论推演。在论文的实验中，研究人员用一个仅0.6B参数的小模型（Qwen-3-0.6B）生成了逆向模型，成功从GPT-4o的输出文本中重建了原始Prompt。攻击者甚至不需要知道目标文本是哪个模型生成的。 这个发现的意义怎么强调都不过分。过去三年，整个AI行业一直在一个假设上构建应用：系统提示词（System Prompt）是安全的，可以作为商业机密存在。 企业的业务逻辑、风控规则、工具调用配置——全部写在System Prompt里。PTP方法直接宣告这个假设不成立。 技术原理：把语言模型倒过来跑 要理解PTP为什么有效，需要先理解LLM的基本工作方式。 正向过程：Next-Token Prediction 所有自回归语言模型的核心都是Next-Token Prediction（NTP）。给定一段上下文（prompt + 已生成内容），模型预测下一个token的概率分布。就像一个从左到右逐字书写的人，每一笔都取决于前面写了什么。 数学上，正向模型 $f$ 做的事情是： $$f(y_{<t}) = P(y_t \mid y_{<t})$$ 即给定位置t之前所有token，预测位置t的token。 逆向过程：Previous-Token Prediction PTP的核心洞察是：如果把训练数据中的token序列反转，然后用同样的Next-Token Prediction目标训练一个新的Transformer模型，这个模型实际上学到的是Previous-Token Prediction——给定位置t之后的所有token，预测位置t-1的token。 $$f_{inv}(y_{\geq t}) = P(y_{t-1} \mid y_{\geq t})$$ 这并非简单的文本反转游戏。逆向模型学习到的是语言模型的生成逆函数：如果正向模型是 $y = f(x)$，逆向模型就是在求解 $x = f^{-1}(y)$。 关键创新：纯黑盒、从零训练 PTP和此前所有LLM逆向方法的不同之处在于三个选择： 第一，从零训练逆向模型。 此前的方法如O2P（Output-to-Prompt）选择微调预训练的序列到序列模型。问题是预训练模型已经学习了自然语言的统计规律，逆向模型可能只是在做"语义近似"而非"忠实重建"。PTP完全从零开始训练，强迫模型学习目标LLM特有的生成模式。 第二，用目标LLM的输出作为唯一训练数据。 PTP不需要任何外部数据集。它通过探测目标LLM（probing），生成大量的(prompt, response)对，将这些序列反转后训练逆向模型。这意味着逆向模型的训练数据完全来自目标模型自身的生成分布。 第三，不需要logits或模型内部状态。 此前的方法如L2T（Logit-to-Text）需要查询模型获取完整词表的概率分布；PILS需要对数概率序列。这些在实际部署的商业API中通常不开放。PTP只需要文本输出——这是任何API都会返回的东西。 跨模型迁移性 PTP最令人不安的特性是迁移性。用Qwen-3-0.6B训练的逆向模型，能成功重建GPT-4o输出对应的Prompt。虽然重建不是逐字精确，但语义意图高度一致。这意味着攻击者可以用一个极小、极便宜的模型训练逆向器，然后攻击任何目标模型。 一个0.6B参数的模型，在消费级GPU上几个小时就能训练完，成本可能不到10美元。这就是攻破你价值数百万美元Prompt工程的投资门槛。 威胁有多大？ 对企业：系统提示词不再是护城河 让我们看看典型的企业AI应用在System Prompt里放了什么： 业务逻辑：退款条件、升级规则、审批流程——这些是产品设计的核心 风控规则：内容审核标准、安全边界、拒绝条件——绕过这些就能操纵AI行为 工具配置：内部API端点、数据库schema、工具调用格式——这是基础设施地图 竞争策略：定价逻辑、差异化话术、客户分级标准——这是商业机密 更糟糕的是，很多团队在System Prompt中直接嵌入了API密钥、数据库连接字符串等硬编码凭证。OWASP在LLM Top 10（2025版）中将System Prompt Leakage列为LLM07，明确指出：“系统提示词不是安全边界，不应存储任何机密。” ...