Slop Index:代码打分与 2621 次盲投人评在 70 个模型的 AI 味排名上明显分歧

penguinothepenguin · reddit · 2026-11-20

作者发布 The Slop Index 基准,用两种方式给 70 个模型、77943 条输出(邮件、Slack、社交帖、短文)打「AI 味」分数:纯代码的机械分(对照 2022 年前人类写作检测填充、模板化、句式节奏、已知 AI 痕迹,可复现),加上 40% 权重的盲评 arena Elo(2621 票)。

两个分数的分歧最有趣(仅统计 190+ 票的模型):

作者推断人类对机械指标没捕捉的东西(重复句式、「热心助手」姿态)反应强烈,这也是主要局限:机械分漏掉重复句式,且全是短文本、暂无小说。排行榜、方法论、开源数据集(Hugging Face)与代码均已公开。该基准源自作者为邮件客户端 Slashy 选模型的内部工作。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →