仅 40 篇人类文本,如何撑起 AI 检测器万分之一的误报率?

anpaure · x · 2026-09-03

anpaure 在与 emubrigadier、N8Programs 的争论中指出，某 AI 文本检测工具引用的同行评审论文仅用 40 篇人类撰写文本作为样本。他尖锐质疑：n=40 的样本在算术上根本不可能推断出「万分之一误报率（FPR 1 in 10,000）」这样的结论。

核心问题在于检测器的假阳性率宣传与其实验样本规模严重不匹配——按每篇文章的粒度统计 40 个样本，统计功效远不足以支撑如此小的 FPR 声称。这场争论触及 AI 文本检测工具宣传口径的可信度。