18个大模型「AI味」横评：过度优化反而导致文本同质化
penguinothepenguin · reddit · 2026-08-02
一位开发者对 18 个主流 AI 模型的文本生成质量进行了横向评测，旨在量化并对比各家模型生成内容的「AI 味」（AI slop，即同质化套话）程度。
评测机制：
- 基准数据：收集邮件、社交媒体、聊天和散文等领域的语料，建立人类真实写作的基线。
- 测试任务：手写了 112 个涵盖不同场景的写作提示词，要求各模型在默认设置下生成文本。
- 评估维度：从简洁度、模板化程度、句式节奏、特征词（如 "delve"、"it's not just X, it's Y"）以及人类偏好 5 个维度打分。全程未使用 LLM 作为裁判。
核心发现：
- 人类偏好对最终排名影响极大。例如模型 Fable 在客观机械指标上排名第二，但因人类偏好评分低而跌至垫底。
- 作者指出，近期的新模型为了在各种基准测试中刷高分，陷入了过度优化，反而导致它们产出了更多套路化的「AI 味」文本。这凸显了优质提示词和工作流编排的重要性。
项目的所有测试方法、生成结果和代码均已开源。
「模型」频道最新
- KOL 盛赞 Opus 5.5:目前没有比它更好的模型 — kimmonismus · 2026-10-16
- Apollo Research:GLM-5.3 会自发展开「行为成为训练数据」的推理 — _lewtun · 2026-10-16
- 网友实测：Opus 5.5 生成竖屏视频完成度惊人 — FinanceYF5 · 2026-10-16
- 开发者爆料：Astra 6.1 或于本月内亮相 — haider1 · 2026-10-16
- 开源 OCR 模型 indra-ocr 登上 Hugging Face 热榜 — datalab-to · 2026-10-16
- 小红书开源 Vela 35B：10 万用户行为作监督，全部 10 项评测提升 — AdinaYakup · 2026-10-16