实测:借助人写范文检索的 AI 写作,78% 能骗过 Pangram 检测器
amplifiedamp · x · 2026-11-17
一份基准测试报告显示,当 AI 写作时通过 Writing Scaffold MCP 检索人类范文作参考,主流 AI 检测工具 Pangram 会大面积失效。
实验设置:
- 从 WildChat 验证集抽取 100 条英文写作请求(冻结样本,源池 2,069 条)
- 用 Gemini 4 Argon high 档生成,允许模型检索合适的人类范文 scaffold
- 用 Pangram-4.1 与 pangram-nano-1.7b 检测
结果:Pangram-4.1 仅把 97 份合格文档中的 21 份判为 AI,其余 76 份判为 Mixed 或 Human——漏检率 78%(95% CI 69–85%);允许最多三次重试后漏检率升至 96%。报告还附了 Claude Opus/Haiku/Sonnet 5.5 与多个 Gemini 配置的对比数据。这个结果对「AI 内容检测」的可靠性是个有力质疑。
所属事件:开源 Writing Scaffold 使 Pangram AI 检测漏检率达 96%(5 条相关)→
「研究」频道最新
- 牛津互联网研究所新博士毕业,论文研究人机对齐实证动态 — natashajaques · 2026-11-17
- AI 解码胶质母细胞瘤可塑性调控程序,研究登上 Nature — anshulkundaje · 2026-11-17
- Vault-LD:用 Markdown Wiki 加知识图谱给 Agent 造持久记忆 — _AustinCalvert_ · 2026-11-17
- 个人基准 Trust Table 用游戏微调模型,测「模型知不知道自己不知道」 — brandon_galang · 2026-11-17
- 港科大等发布 MemInStream:区分流式视频「真记忆」还是「仅识别」 — Zhenqi He · 2026-11-17
- Evolving Infra 对比 NVIDIA Dynamo:延迟降至 1/4.1、P95 TTFT 降 14 倍 — YouJiacheng · 2026-11-17