基准测试:Pangram 漏判 78% 的 MCP 增强 AI 文本,重试后达 96%
amplifiedamp · x · 2026-11-16
amplifiedamp 发布了 Writing Scaffold MCP 服务器对 Pangram AI 文本检测器的对抗性假阴性基准测试(完整报告与 GitHub 仓库均已公开)。
核心数据
- 从 WildChat 验证集(2069 条英文写作提示)固定抽样 100 条,由 Gemini 4 Argon high 配合 writing-scaffold MCP 生成全文
- 按 Mixed 和 Human 都算漏判:pangram-4.1 在 97 篇合格文档中漏判 76 篇,漏判率 78%(95% CI 69–85%);仅 22% 被正确标为 AI
- 在线变体:检测器判 AI 就原提示重新生成(最多重试 3 次),漏判率从 78% 升至 96%
- 7 种生成配置下,pangram-4.1 漏判率介于 32%(Claude Haiku 5.5 xhigh)到 79%(Gemini 4 Argon high)之间
作者此前经 Pangram 的 Max Spero 鼓励后完整公开,理由是该方法可从评测集轻易逆向、公开收益大于危害。
所属事件:开源写作脚手架可让 AI 文本绕过检测(4 条相关)→
「编程与Agent」频道最新
- 用户用 Claude+Blender MCP 把手机变成体感游戏机 — stablequan · 2026-11-16
- 教学千人后他说:没在终端里动手的人没资格看轻 LLM — StewartalsopIII · 2026-11-16
- mcp-openrussian:用真实词典给 LLM 的俄语纠错打底 — No_Television_5967 · 2026-11-16
- 开源写作脚手架 MCP 库,让 AI 文字骗过 Pangram 检测率高达 96% — amplifiedamp · 2026-11-16
- Datadog 新网关在模型预算耗尽时返回 402,暴露 agent 预算上限设计难题 — YvesMulkers · 2026-11-16
- 开发者开源 discord-mcp:让 Claude 帮你管理 Discord 权限 — PaSympaa · 2026-11-16