Building Auditable AI Text Detectors with Sparse Autoencoders
Liam Dugan, Callum McDougall, Matthew Denton, Philip Pham, Christine Kaeser-Chen, Chris Callison-Burch
EMNLP 2026
cs.CL, cs.AI
2026-10-22
在Gemma残差流上训练SAE并只保留模拟分过线的特征,再以逻辑回归做检测,COLING测试集F1为92.2,比微调黑盒高出17分。
检测器已经用在审稿、作业、录取和内容审核里,一次输出会落到具体的人身上。分最高的是微调过的神经分类器,依据看不见。文体学分类器用标点、词性、依存和功能词,每条都查得到,和神经模型差一截,分布内也一样。LIME 和 SHAP 只标出哪些 token 重要,说不出这些 token 代表哪种语言习惯。
DeepMind 与宾夕法尼亚大学的流水线分四步。先把 gemma-2-2b 的语言模型头换成分类头,在检测任务上微调。再在残差流第 7、13、17、22 层训练稀疏自编码器。SAE 把稠密激活写成又宽又稀疏的向量,用来减轻神经元多义性。底座是 GemmaScope 的 JumpReLU SAE,宽度 16384。
每个特征由 gemini-3.1-flash-lite 写成不超过 20 个词的说明。校验只把说明交给模型,让它猜文档的激活分位,猜中程度用 Spearman 相关来记,这就是模拟分。低于全局阈值 τ 的特征全部掩掉。只删最难解释的那几条,保证不了余下每一条都忠实,全局阈值卡的是同一条线。
文档对每个特征做 max-pool,四层拼起来送进 L1 逻辑回归。稀疏来自 SGD 更新后的软阈值。惩罚按每篇大约 30 到 100 个非零特征来定。一次判定列出净贡献最大的特征、说明,以及 logit 加减。
BASE-SAE 不动预训练 SAE,只训线性头。FT-SAE 在域内基座激活上微调 SAE。FT-MODEL+SAE 先微调检测器,再让 SAE 去拟合微调后的激活。
开放域训练集是 COLING 英文共享任务,约 61 万篇、41 个生成模型。分布内看官方 dev,分布外看 devtest、test 和 RAID 非对抗集。封闭域 PRDB 是 2016 至 2024 年 NeurIPS 与 ICLR 的人类审稿 106413 篇,加上配对的模型审稿。
| 方法 | dev F1 | test F1 | RAID TPR@5%FPR |
| gemma-2-2b 微调 | 98.0 | 75.2 | 74.9 |
| gram2vec | 77.9 | 72.0 | 43.6 |
| Binoculars | 73.1 | 81.4 | 79.1 |
| BASE-SAE,τ>0.7 | 89.4 | 80.9 | 78.6 |
| FT-SAE,τ>0.7 | 91.0 | 92.2 | 84.4 |
| FT-MODEL+SAE,τ>0.7 | 96.8 | 75.4 | 64.5 |
分布内,FT-MODEL+SAE 贴着黑盒。无掩码时 dev F1 为 97.5,微调 Gemma 为 98.0;τ>0.7 时还有 96.8。分布外它跟着黑盒掉下去,test F1 为 75.4,微调 Gemma 为 75.2。
带走分数的是基座上的 SAE。FT-SAE 在 τ>0.7 时 test F1 为 92.2,比微调 Gemma 高 17 分,高于 gram2vec 的 72.0、Binoculars 的 81.4 和 ReMoDetect 的 86.7。不做掩码时这个 F1 也是 92.2。BASE-SAE 更吃掩码:test F1 从 88.9 掉到 80.9,和 Binoculars 几乎拉平;无掩码时 RAID 真正率有 86.4,微调 Gemma 是 74.9,gram2vec 是 43.6。同一 test 上,RoBERTa 的 F1 是 74.9,微调 Gemma 是 75.2。
PRDB 上训练过的分类器,包括 gram2vec,低假阳也接近满分,区分度被捷径吃掉了。FT-MODEL+SAE 在 τ>0.85 时,「加粗标题后的双冒号」出现在 11 篇人类审稿和 54293 篇 GPT-4o 审稿里,特征消零后 logit 平均移动 +0.672。Llama 一侧,列表开头的方括号是 7 对 22541。拉向人类的是句首第一人称 I,人类 78205 篇对 AI 10209 篇,logit 移动 -0.919,还有 seem,以及当参见用的 see。COLING 上,FT-SAE 的强特征打在 As an AI language model 这类推脱套话;BASE-SAE 的头部特征集中在 HTML 属性和许可证套话。
单特征改写用来核对说明是否真在起作用。Gemini 按说明只抹掉一条特征。重要性与 logit 变化的 Spearman 相关,PRDB 上是 0.69 到 0.81,符号一致率 89% 到 99%;COLING 上只有 0.36 到 0.62。τ 高于 0.7 后,FT-MODEL+SAE 的相关在 COLING 从 0.54 升到 0.62,在 PRDB 从 0.69 升到 0.80。文档级攻击改写 2500 篇 AI 文本,要求改动少于 30% 的 token。不给特征时最多翻掉 8.7%,经常是零。把活跃特征写进提示并迭代三次,主文写的翻转率是 60% 到 100%,改动 token 低于 40%。附录里 PRDB 上的 FT-SAE 是例外,三次后攻击成功率 21.8%,证据散在约 150 个密集特征上,十条列表盖不住。
审稿、课堂和合规里,能摊开的判定比分布内再高零点几分更有用。审核的人看到「双冒号,+0.672」,而不是一个裸概率。格式特征留不留,可以逐条定。Kantamneni 等人主张格式线索全部删掉。一种标点若在多个生成模型里都稳定出现,留着说得通。
更该改路线图的是基座模型。检测任务上没有微调,只训逻辑回归,分布外就超过专门的检测器,可训参数只剩线性头。预训练里已经有线性可分的 AI 文本方向。COLING 第 7 层上,微调 SAE 把未解释方差从 11.27% 降到 3.71%,分布外检测反而更差。
特征清单交出去,攻击者也拿到修改清单。可审计和更容易被绕开,用的是同一套接口。
自动解释偏召回、压精度。特征只在特定搭配里出现时,说明会漏掉条件,模拟分仍可满分。用正则去对照说明的非正式检查里,大约一半特征能到 99.5 以上 F1,另一半召回偏差轻重不一。模拟分由 gemini-3.1-flash-lite 打出,没有大规模人工评分,改写实验用的也是这个模型。
底座只测了 gemma-2-2b 和 GemmaScope。HTML、许可证、拒答套话拿掉之后还剩多少分,这组消融没有做。附录写明,COLING 训练和测试在 arXiv、Wikipedia、问答上有重叠,官方分布外不是干净的领域迁移。
PRDB 顶满了分,不能拿来证明审稿检测已经可靠。预处理把章节名包成加粗 Markdown,本意是人类稿和 AI 稿共用模板。排最前的线索仍是双冒号和方括号。模型癖好和数据残留,这两列数字分不开。