一段文字认出作者:Fable 5.2 点名 69% 活跃 Reddit 用户

Frontier models need only one text to unmask its human or AI author

Atrey Desai, Deniz Böloni-Turgut, Ty Brassington, Minjoon Choi, Jenna Russell, Rishanth Rajendhran, Bradley Emi, Hila Gonen, Hal Daumé, John Wieting, Marzena Karpinska, Mohit Iyyer

cs.CL

2026-11-19

零样本单条提示下,前沿模型追平 Pangram 的 AI 文本检测,认出 98% 三大厂文本的实验室,还点名 56% 的匿名审稿人。

这篇在解决什么

「这段话是不是 AI 写的」,过去两年交给专门训练的检测器(Pangram、GPTZero 这类)。直接问 LLM 的路线早年被判过死刑:2024 年的结论是 zero-shot 提示有标签偏差,打不过训练出来的分类器。另一条线,LLM 去匿名化研究,全都要借助外力:候选名单、联网检索、作者写作样本。

这篇(马里兰大学、SFU、Pangram Labs、UBC、Google DeepMind 合作)把两条线并成一个问题:只给前沿模型一段文字和一个简单提示,不给联网、不给工具、不给候选名单,「这是谁写的」能答到多细?三层:是人还是 AI;是 AI 的话出自哪家实验室;是人的话,具体是谁。

方法

严格说没有方法,只有一个 prompt,这正是论文的冲击力所在。三个任务共用一套结构:任务指令、解释格式、预测格式,单次调用完成。

横跨 2024 年 7 月到 2026 年 11 月的 72 个模型参加评测,对照 Pangram 4.1、ProseLens、IdeaLens 三个训练检测器。核心设计是强制解释:模型必须按「观察→指向人还是 AI→强度→原文引用→为什么」列证据,再给推理和决定性因素,最后输出预测与置信度。解释不是装饰,不同检测器对同一段文本的解释被交叉比对、汇总成各实验室的写作画像,要求解释本身还涨点,Sol 在「人想法+AI 文字」上的 idea 准确率因此提高 10 个点以上。

结果

设置指标结果对照
36K 文档全库prose 检测Sol / Opus 5.5 / Carbon 94-95%Pangram 4.1 在可评三情形 98-99%
860 篇抽样ideas 检测Fable 5.2 97%IdeaLens 86%
9,687 篇人写英文误报率Carbon 0.01%(错标 1 篇)Pangram 0 篇
三大厂生成文本认对实验室Opus 5.5 / Argon ≥98%其余八厂最高 35%
398 篇私人审稿认对审稿人Fable 5.2 56%Opus 5.5 / Argon 41%
Nature 系公开审稿认对审稿人Fable 5.2 78%全部公开审稿 39%
Reddit(近一年 >500 帖)认对用户名Fable 5.2 69%无活动用户 2%

置信度可用:Fable 5.2 自报置信 ≥25% 时 87% 正确;≥80% 置信还答错的只占全部回答的 0.3%。挑高置信答案用,几乎每次都对。成本是商业检测器的零头:Sol 每千篇 27 美元,Pangram 4.1 要 376 美元。检测能力随代际爬升:GPT-4o 在 2024 年整体只有 27%,GPT-5.2 到 59%,当前前沿 91%,与通用能力指数的相关性 r=0.94。

能力来源是预训练曝光,论文的代理测法很巧:直接问模型「你有多熟这个名字」(0-3 分)。Opus 5.5 对自评很熟的作者认出 92% 的小说、78% 的公开审稿,完全不熟的低于 2%;这个分数预测能否认出的 AUC 0.89,比发帖量(0.78)还准。加大推理力度在「有点熟」区间收益最大,Fable 5.2 从低力度 8% 涨到最大力度 38%,对很熟的作者几乎没变化(88% 到 89%)。

认错方式也有信息量:Kimi K3 几乎全被认成 Claude,Qwen3.8 系被认成 GPT,与 Anthropic 公开的蒸馏攻击报告吻合。检测器总结的各家风格高度一致:GPT 不用牛津逗号、爱克制留白;Claude 破折号两边加空格、善待对立观点、安静收尾;Gemini 形容词堆叠、爱造引语。

为什么重要

对依赖匿名的人,这是当下的风险,不是预测。双盲审稿、匿名社区、举报人都建立在「不署名就猜不到是谁」的假设上,而这篇证明前沿模型只凭参数知识就能猜到,API 下拒绝率不到 2%(Claude Code 界面下倒是拒了 1,258 条 Reddit 评论里的 323 条)。防御很薄:删帖没用,知识已进权重;用 AI 改写只是部分有效,Reddit 上 Opus 5.5 的识别率从 16.8% 降到 10.4%,私人审稿从约 41% 降到约 15%,很熟的作者改写后仍大半被认出。知识还能反向用:让 Opus 5.5 按用户名模仿写评论,对它认识且能认出的账号,45% 的模仿文本会被认成本人,冒充的门槛同步在降。对内容平台和学术诚信场景,这同时是一个便宜约 14 倍、误报率接近零、自带证据引用和理由的检测器。

局限与存疑

作者自述:改写防御只测了一种 prompt;模仿实验只由模型当裁判,没请人类读者验证;更大规模的私人审稿实验在补。读下来另有几点要打折:私人审稿只有 6 位作者、398 篇,56% 这个数的外推性存疑;Reddit 各子版块差异大(编程类 79%,人类学 13%),论文归因于训练数据采样,但讨论主题本身可能泄漏身分,两者没有拆开;新发布新闻上误报升到 0.5%,作者自己承认其中可能有真 AI 写的,真实分布下的误报率还不稳;Fable 5.2 因成本没跑全库,「最强」结论部分建立在 860 篇子样本上。

术语

原文与代码

社区讨论

相关论文

全部论文解读