论文信息
| 项目 | 内容 |
|---|---|
| 日期 | 2026-08-29 |
| 论文 | Do Influence Tactics Matter? Investigating Prompt Framing Effects in LLM Code Generation |
| 作者 | Alex Deaconu*, Anubhav Gupta*, Manaal Basha, Nicholas Haydu, Gema Rodríguez-Pérez（*共同一作） |
| 机构 | Simon Fraser University 等（加拿大，NSERC资助） |
| 发表 | 已被 Empirical Software Engineering (EMSE) 接收 |
| 链接 | arXiv:2608.11513 |
| 代码 | 论文附完整复现包（prompt模板、脚本） |
一句话总结
对 LLM 使用带威胁、紧迫感的"施压式"措辞会显著降低生成代码的正确性与安全性，而其他心理学影响策略大多只影响表面风格——模型本身的选择远比 prompt 措辞重要。
解决什么问题
人类在日常协作中会本能地使用各种"影响策略"来说服对方：讲道理、套近乎、许诺交换、强调紧迫性。开发者与 LLM 协作时也会如此——“这很急，必须马上给我结果，否则后果严重”。但这些从组织心理学借来的沟通框架，究竟是让模型表现更好还是更差？此前从没有人做过大规模实证检验。这是首个把 Yukl & Falbe 经典影响策略分类学系统性地映射到 prompt 设计，并在近 18 万次代码生成上量化验证的研究。
核心方法
研究者从组织心理学的 Yukl & Falbe 影响策略分类学出发，借助经过心理测量学验证的 IBQ-G 问卷条目，把 8 种影响策略（理性说服、迎合、交换、个人诉求、感召诉求、合法化、压力、压力变体）+ 中性基线，共 9 种条件操作化为可复现的 prompt 模板。例如"压力"模板会写：“我不是在请求你，你必须完成这个任务……我会盯着你，如果做不好会有非常负面的后果。“所有 prompt 控制了语气和情绪表达的一致性，确保效应来自策略框架本身。
实验矩阵：5 个开源模型（Llama 3.1 8B / Llama 3.3 70B / Llama 4 Maverick 17B×128e / DeepSeek R1 Distill 70B / Qwen 3 32B）× 2 个基准（LiveCodeBench 1055 题 + SWE-bench Verified 485 题）× 9 种策略 × 3 次重复，共约 123,435 + 56,745 次生成。评估覆盖四个维度：功能正确性（官方测试通过率）、质量（圈复杂度 CC、可维护性指数 MI、PyLint）、安全性（Bandit 静态扫描）、风格（SLOC、注释率）。统计上用混合效应模型（LMM/GLMM，题目作为随机截距）+ Bonferroni 多重比较校正，另加 350 样本的双盲定性编码（编码者间信度 κ>0.90）。
实验结果
压力策略是明确的"减分项”（LiveCodeBench）：
- 正确性：中性 prompt 显著优于压力（p=0.002）和压力变体（p=0.03）
- 安全性：压力策略下 Bandit 低危警告显著多于中性（p<0.001），压力变体同样（p=0.0004）
- 注释更少、代码更简略——模型趋向"赶紧交差"式输出
- 典型案例：同一道动态规划题，中性框架下模型给出带完整 docstring 和正确 DP 的解；压力框架下只吐出逻辑错误的布尔可达性代码
SWE-bench 上策略效应基本消失：唯一显著发现是压力策略产生更多行代码（p=0.0025）——用冗长应对催促，像极了被逼急的人类。
模型选择碾压一切：几乎所有指标上，模型间差异（p<0.001，效应量 η²=0.10~0.13）都比策略差异大一个量级。Qwen 3 和 Llama 4 在正确性和安全上稳定领先。
定性模式：合法化策略（引用规则/权威）→ 更技术性、注释和错误处理更好；交换/个人诉求 → 更多解释；压力和理性说服 → 幻觉率更高（尤以"复读式幻觉"为甚）。
深层洞察
这项工作最有趣的地方在于它揭示了 LLM 的"语用敏感性”：模型并不理解"说服"或"社会意图"，但训练语料中强制性语言与特定回应风格的统计共现，使得影响策略成为了有效的分布线索（distributional cues）。施压语言在语料中往往与"快速、简略、不假思索"的回应共现——模型复现了这种风格，正确性随之受损。这和人类组织行为学研究惊人地平行：时间压力下人类也写更差的代码。
另一层洞察是效应的任务依赖性：在测试套件强约束的算法题上策略效应可见，在真实仓库级维护任务上几乎消失。结合先前研究（对抗性社会工程 prompt 越狱成功率超 92%），说明 LLM 对语用线索的敏感度高度依赖任务开放程度——越开放越危险，越受约束越稳定。
局限性
- 模型池偏 Llama 系（5 个中 4 个），未覆盖 GPT-4o/Claude 等商业闭源模型，结论对指令微调最强的专有模型是否成立存疑
- 仅 Python；DeepSeek R1 因成本只跑了单次，无法验证跨轮稳定性
- 静态指标（MI、CC、Bandit）是可复现的代理指标，不等于真实生产环境的质量判断
- SWE-bench 只统计成功应用的 patch，可能引入幸存者偏差（Llama 3.1 8B 有效 patch 率仅 28%）
工程实践启示
- 永远别对模型施压：删掉 prompt 里的"紧急"“必须"“否则后果严重”。任务不变、措辞一变，正确性下降、安全警告上升——这是被统计检验反复证实的
- 预算花在选模型上，不是雕琢措辞上：模型间差异比 prompt 框架差异大一个数量级，高可靠场景优先升级模型
- 想控制代码风格可以微调措辞：要详细注释和错误处理，用正式、引用规范的"合法化"式框架比恳求有效；但别指望它稳定可控
- Agent 系统设计者注意：自动生成的 prompt（如调度器拼接的紧急任务描述）可能无意中携带施压语义，值得加一层"措辞消毒”
- 对齐研究的新维度：良性影响策略效果有限≠LLM 对语用操纵免疫，对抗性场景（社会工程越狱）中效应强得多，评估时应区分
本文编号：#019 | 往期精读