Slop Index:代码打分与 2621 次盲投人评在 70 个模型的 AI 味排名上明显分歧
penguinothepenguin · reddit · 2026-11-20
作者发布 The Slop Index 基准,用两种方式给 70 个模型、77943 条输出(邮件、Slack、社交帖、短文)打「AI 味」分数:纯代码的机械分(对照 2022 年前人类写作检测填充、模板化、句式节奏、已知 AI 痕迹,可复现),加上 40% 权重的盲评 arena Elo(2621 票)。
两个分数的分歧最有趣(仅统计 190+ 票的模型):
- Gemini 3.5 Flash:机械 #32,综合 #2——代码判平庸,读者却频繁选它「不像 AI」
- Qwen3.7 Max:机械 #25,综合 #65
- GPT-5.6 Sol:机械 #15,综合 #69
- Haiku 4.5:机械 #47,综合 #14
- 一致的是 Mistral Large:机械 #1 且综合 #5,即人机都认为最「AI 味」
作者推断人类对机械指标没捕捉的东西(重复句式、「热心助手」姿态)反应强烈,这也是主要局限:机械分漏掉重复句式,且全是短文本、暂无小说。排行榜、方法论、开源数据集(Hugging Face)与代码均已公开。该基准源自作者为邮件客户端 Slashy 选模型的内部工作。
「模型」频道最新
- Meta FAIR 开源可在双 Mac Studio 运行的前沿模型 Muse Spark Open — _dsevero · 2026-11-20
- ValsAI 榜单:Gemini 4 Neon 居 RSI Index 第4,谷歌反超 OpenAI — teortaxesTex · 2026-11-20
- ChatGPT 6.2 被指证明未解猜想并提出新猜想,沟通差是最大短板 — apples_jimmy · 2026-11-20
- Simon Willison 用「骑自行车的鹈鹕」可视化 Gemini 4 各档努力程度 — hugobowne · 2026-11-20
- OpenAI 高官称将公开更多研究数据,外界称其已成最透明实验室 — soumitrashukla9 · 2026-11-20
- 「gpt-5.1-codex-max」一周年:模型命名乱局依然没救 — heyneighbor · 2026-11-20