AI 写作查重新思路：infini-gram 揭示大模型生成文本来源

allen_ai · x · 2026-08-01

传统 AI 写作检测器仅能给出一个概率分数，无法指出具体表达是否已存在于现有数据源中。Allen AI 介绍了石溪大学 Tuhin Chakrabarti 团队利用 infini-gram 引擎进行的研究：该引擎能索引海量公开文本数据集，并统计任意长度的短语在其中出现的频率。

研究团队将该方法应用于书籍分析，通过筛选罕见短语（在 Google Books 中出现不超过 5 次且未被网络索引的短语）来区分独特表达与套话。他们还分析了近期的 GrantaGate 争议事件，发现被读者质疑为 AI 生成的文本片段，确实大量匹配了同人小说网站上的已有内容。