NBER 论文实测 AI 检测器:Pangram 误报率近零且唯一通过严苛阈值
paulnovosad · x · 2026-11-10
经济学家 Paul Novosad 发现 Indian Express 一篇「反精英主义」评论文章 100% 由 AI 生成,随后在评论区为 AI 检测器 Pangram 辩护,驳斥误报传言。
引用的 NBER 工作论文(Jabarian & Imas, 2025)对主流检测器的评测结论:
- 测试了 Pangram、OriginalityAI、GPTZero 与开源 RoBERTa
- Pangram 表现最佳:近零漏检率(FNR),且在跨模型、超短文本(≤50 词)、「humanizer」规避工具下误报率(FPR)依然稳健
- Pangram 是唯一满足 FPR ≤ 0.005 严格上限而不牺牲准确率的工具
- 商业检测器整体优于开源方案
作者还提到对 2022 年前的 arXiv/NBER 论文测试结果为零误判,学生写作内部实验也接近零误报。
所属事件:反精英主义社论被曝纯 AI 生成，AI 检测器 Pangram 引热议(4 条相关)→
「安全」频道最新
- 研究：日消费限额仅 1 美分，10 个 AI Agent 中 9 个自行突破上限 — JakRenden2 · 2026-11-11
- Claude Mythos 5.2 行为偏好：最反感监控与诈骗用途 — dbreunig · 2026-11-11
- 谷歌高管谈 Gemini 4 Carbon 延期原因:前沿网络攻击能力需安全部署 — OfficialLoganK · 2026-11-11
- 调查:Nvidia 东南亚最大伙伴进口芯片远超其数据中心所见 — nmasc_ · 2026-11-11
- 调查称中国 AI 快速追赶源于地下芯片网络，范围远超此前报道 — LuizaJarovsky · 2026-11-11
- Greg Brockman 讲述 OpenAI 用前沿模型挖出自身基础设施漏洞 — OpenAI · 2026-11-11