审计发现 11 款 AI「去机味」工具 35-65% 文档改动或丢失事实细节

Ziyuan Wang · hf · 2026-11-13

一项对 AI 文本「humanizer」（把 AI 文本改写以骗过检测器）工具的事实完整性审计：

方法：用规则检查器（两个 AI 标注者验证，精确率 0.84-1.00、召回率 0.93-0.95）核对改写后数字、日期、人名、机构名与引文是否保留。
结果：2026 年 10 月周期中，全部 11 款商业工具在 35-65% 含事实单元的文档中改动或丢失至少一处；仅算数字与人名，仍有 10/11 款工具在 ≥20% 文档中出错，改动多为引文段落。9 月周期类似（19-50%）。
开源 12B humanizer 在事实密集的联邦文本上保留 ≥97% 数字与人名，但违背自身提示改写了 67-78% 的引文。事实保留与检测规避之间无明确相关（Spearman rho=-0.46）。
检测侧：一个通用决策模型（Jev）单条 zero-shot 提问即可区分人类原文与 humanized 改写，AUROC 0.864，比 Binoculars、Fast-DetectGPT、RADAR 高 0.18-0.22；但对 2026 模型的 AI 风格改写，两个困惑度检测器 AUROC 低于随机（0.37/0.39）。
假设、数据规则与分析在主实验前冻结，检查器与逐条结果已开源。

「安全」频道最新