Frontier models need only one text to unmask its human or AI author
Atrey Desai, Deniz Böloni-Turgut, Ty Brassington, Minjoon Choi, Jenna Russell, Rishanth Rajendhran, Bradley Emi, Hila Gonen, Hal Daumé, John Wieting, Marzena Karpinska, Mohit Iyyer
cs.CL
2026-11-19
零样本单条提示下,前沿模型追平 Pangram 的 AI 文本检测,认出 98% 三大厂文本的实验室,还点名 56% 的匿名审稿人。
「这段话是不是 AI 写的」,过去两年交给专门训练的检测器(Pangram、GPTZero 这类)。直接问 LLM 的路线早年被判过死刑:2024 年的结论是 zero-shot 提示有标签偏差,打不过训练出来的分类器。另一条线,LLM 去匿名化研究,全都要借助外力:候选名单、联网检索、作者写作样本。
这篇(马里兰大学、SFU、Pangram Labs、UBC、Google DeepMind 合作)把两条线并成一个问题:只给前沿模型一段文字和一个简单提示,不给联网、不给工具、不给候选名单,「这是谁写的」能答到多细?三层:是人还是 AI;是 AI 的话出自哪家实验室;是人的话,具体是谁。
严格说没有方法,只有一个 prompt,这正是论文的冲击力所在。三个任务共用一套结构:任务指令、解释格式、预测格式,单次调用完成。
横跨 2024 年 7 月到 2026 年 11 月的 72 个模型参加评测,对照 Pangram 4.1、ProseLens、IdeaLens 三个训练检测器。核心设计是强制解释:模型必须按「观察→指向人还是 AI→强度→原文引用→为什么」列证据,再给推理和决定性因素,最后输出预测与置信度。解释不是装饰,不同检测器对同一段文本的解释被交叉比对、汇总成各实验室的写作画像,要求解释本身还涨点,Sol 在「人想法+AI 文字」上的 idea 准确率因此提高 10 个点以上。
| 设置 | 指标 | 结果 | 对照 |
| 36K 文档全库 | prose 检测 | Sol / Opus 5.5 / Carbon 94-95% | Pangram 4.1 在可评三情形 98-99% |
| 860 篇抽样 | ideas 检测 | Fable 5.2 97% | IdeaLens 86% |
| 9,687 篇人写英文 | 误报率 | Carbon 0.01%(错标 1 篇) | Pangram 0 篇 |
| 三大厂生成文本 | 认对实验室 | Opus 5.5 / Argon ≥98% | 其余八厂最高 35% |
| 398 篇私人审稿 | 认对审稿人 | Fable 5.2 56% | Opus 5.5 / Argon 41% |
| Nature 系公开审稿 | 认对审稿人 | Fable 5.2 78% | 全部公开审稿 39% |
| Reddit(近一年 >500 帖) | 认对用户名 | Fable 5.2 69% | 无活动用户 2% |
置信度可用:Fable 5.2 自报置信 ≥25% 时 87% 正确;≥80% 置信还答错的只占全部回答的 0.3%。挑高置信答案用,几乎每次都对。成本是商业检测器的零头:Sol 每千篇 27 美元,Pangram 4.1 要 376 美元。检测能力随代际爬升:GPT-4o 在 2024 年整体只有 27%,GPT-5.2 到 59%,当前前沿 91%,与通用能力指数的相关性 r=0.94。
能力来源是预训练曝光,论文的代理测法很巧:直接问模型「你有多熟这个名字」(0-3 分)。Opus 5.5 对自评很熟的作者认出 92% 的小说、78% 的公开审稿,完全不熟的低于 2%;这个分数预测能否认出的 AUC 0.89,比发帖量(0.78)还准。加大推理力度在「有点熟」区间收益最大,Fable 5.2 从低力度 8% 涨到最大力度 38%,对很熟的作者几乎没变化(88% 到 89%)。
认错方式也有信息量:Kimi K3 几乎全被认成 Claude,Qwen3.8 系被认成 GPT,与 Anthropic 公开的蒸馏攻击报告吻合。检测器总结的各家风格高度一致:GPT 不用牛津逗号、爱克制留白;Claude 破折号两边加空格、善待对立观点、安静收尾;Gemini 形容词堆叠、爱造引语。
对依赖匿名的人,这是当下的风险,不是预测。双盲审稿、匿名社区、举报人都建立在「不署名就猜不到是谁」的假设上,而这篇证明前沿模型只凭参数知识就能猜到,API 下拒绝率不到 2%(Claude Code 界面下倒是拒了 1,258 条 Reddit 评论里的 323 条)。防御很薄:删帖没用,知识已进权重;用 AI 改写只是部分有效,Reddit 上 Opus 5.5 的识别率从 16.8% 降到 10.4%,私人审稿从约 41% 降到约 15%,很熟的作者改写后仍大半被认出。知识还能反向用:让 Opus 5.5 按用户名模仿写评论,对它认识且能认出的账号,45% 的模仿文本会被认成本人,冒充的门槛同步在降。对内容平台和学术诚信场景,这同时是一个便宜约 14 倍、误报率接近零、自带证据引用和理由的检测器。
作者自述:改写防御只测了一种 prompt;模仿实验只由模型当裁判,没请人类读者验证;更大规模的私人审稿实验在补。读下来另有几点要打折:私人审稿只有 6 位作者、398 篇,56% 这个数的外推性存疑;Reddit 各子版块差异大(编程类 79%,人类学 13%),论文归因于训练数据采样,但讨论主题本身可能泄漏身分,两者没有拆开;新发布新闻上误报升到 0.5%,作者自己承认其中可能有真 AI 写的,真实分布下的误报率还不稳;Fable 5.2 因成本没跑全库,「最强」结论部分建立在 860 篇子样本上。