Emily Bender 预测Pangram高误报被打脸:悬赏只找到一首2006年诗
FlorianGallwitz · x · 2026-11-19
Byrne Hobart 撰文分析 AI 文本检测器 Pangram 的误报问题。Emily Bender 曾提出理论,认为 Pangram 这类统计检测器理应有大量误报;但现实几乎找不到已知误报案例。要点:
- 有人悬赏寻找「LLM 普及前可验证发表、却被 Pangram 判为 AI 生成」的 750 词以上文本,最终胜者只是一首 2006 年的搞笑诗,与人们抱怨的 AI 学生作文、播客脚本等毫无相似之处
- Hobart 认为 LLM 有可读的语言「指纹」(如 It's not X, it's Y、三段式排比),单个不致命,但少量组合即可像去匿名化一样锁定 AI 生成
- 他猜测检测器原理类似:统计 LLM 式句构、段构、用词的频率比值,比值高即大概率出自 LLM
- 他借此事批评 Bender 式论述:当事实可直接查证时,用动机推断来论证「检测不可能」是站不住的
文章结论:统计模型在检测统计模型输出上出乎意料地有效,理论预测需要被反例检验。
「模型」频道最新
- 隐性模型 Gestalt 登顶设计基准,领先第二名 Claude 214 分 — soleio · 2026-11-19
- Contralabs 上线设计基准,设计师仍胜过 AI,晒图赢 MacBook — yuwen_lu_ · 2026-11-19
- 医生观察:AI 竞争已按周计,GPT-6 两版仅隔 7 天 — ramos_casals · 2026-11-19
- 数据平台 micro1 上线泄漏检测模型,为基准分数保驾护航 — Exp_Mark · 2026-11-19
- 爆料:DeepSeek 本周或发新论文,11 月 11 日有排期 — teortaxesTex · 2026-11-19
- Gemini 4 Neon 开始灰度推送,界面曝光三大模型分层 — testingcatalog · 2026-11-19