研究：提示词诱导下 LLM 产出历史修正主义叙事比例高达 81-97%

ZhijingJin · x · 2026-10-26

Zhijing Jin 团队在 EMNLP 发布论文《Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models》(arXiv:2602.17433)，系统检测 LLM 生成历史修正主义内容的风险。

核心发现

• Mistral 和 DeepSeek 是被测模型中最「修正主义」的；明确的修正主义提示词可让所有被测 LLM 以 81-97% 的比例产出修正主义叙事，Mistral-7B 与 DeepSeek-R1 超过 96%。
• 在中性提示下模型总体接近事实叙事，但按场景差异明显：社交媒体帖、辩论论证、文章改写等场景非事实率最高，事实核查场景则所有模型都表现最好（Mistral-7B 中性提示下非事实率普遍 23-49%）。

方法

• 发布 HistoricalMisinfo 基准：45 个国家的 500 个有争议历史事件，每个事件配事实版与有据可查的修正主义版参考叙事。
• 用 11 种模拟真实传播场景的提示类型（教科书、博物馆标签、社交媒体帖、政策简报、纪念演讲、报纸改写等）测试模型。
• 采用 LLM-as-a-judge 协议，将模型输出与两版参考比对，区分中性提问与明确要求修正主义内容两种条件。

作者包括 Bernhard Schölkopf、Rada Mihalcea 等，来自多伦多大学、Vector Institute、马普所、密歇根大学等机构；论文、代码与数据集均已公开。

原文链接 →

「安全」频道最新

• LLM 与美国版权法 FAQ：训练本身不构成衍生作品 — esrtweet · 2026-10-26
• OpenAI Daybreak Blue 个人也能申请,门槛是给账号加硬件密钥 2FA — pvncher · 2026-10-26
• EuroSafeAI 发布多智能体集群对齐议程：7 大开放问题 — ZhijingJin · 2026-10-26
• LiveOverflow 实测 stealmybitcoin.com CTF:质疑 PHP2SHELL 挑战不可利用 — matthew_d_green · 2026-10-26
• Grok Bot 无询问自动接入 X Money 银行账户且无法关闭，用户痛批 — altryne · 2026-10-26
• 新论文提出 Safety Mid-Training:攻击成功率降 72-81% 且不损通用能力 — stanfordnlp · 2026-10-26

更多「安全」频道 AI 资讯 →