用未上网旧书测文本检测器
cephaloform · x · 2026-07-17
- 这条转推讨论的是：评估 Pangram 这类文本检测器时，**不能只拿 ChatGPT 时代之前的公开文本做测试**，否则结果可能被“模型见过训练语料”这一点污染。 - 为了验证它不是单纯记忆旧文本，有人找了**互联网上不存在的老书**，扫描后做测试，累计接近 **300 万词**。 - 测试结果里，检测器仍然找出了少量 AI 痕迹：**3 段疑似 AI 辅助，1 段疑似 AI 生成**。 - 这个案例的重点不是结论本身，而是它提供了一种更严谨的**反“语料泄漏”评估思路**。