扫描 200 万词实测 Pangram:号称万分之一的误报率真的站得住吗

moultano · x · 2026-11-15

一位运营言情小说书评社区的博主为过滤 AI 作品，对 AI 检测工具 Pangram 做了大规模实测，将超过 200 万词文本灌入工具验证其宣称的「万分之一误报率」。作者还测试了 ChatGPT 发布前的 RoyalRoad 老小说，结果均未被误判，是探测器正常工作的积极信号。

最有趣的发现来自用从未上网的旧扫描书做的测试：一些段落被标记为「AI 生成」，但这并非误报——扫描所用 OCR 软件（Mistral）偶尔会幻觉出怪异内容（如中文表格），Pangram 正确地把这些幻觉段落识别为 AI 生成，同时把其余文本判为人类写作。这意味着高质量检测器甚至能抓出 OCR 幻觉，检测工具的准确度比上一代产品显著提升。