EQ-Bench 更新创意写作榜：作者偏爱 Muse Spark 并警示 LLM 评审盲区
EQ-Bench 作者 sampaech 于 9 月 7 日对一批新模型进行创意写作主观横评并更新 EQ-Bench Creative Writing v3 榜单，覆盖 GPT-6-Astra、Fable 5.1、Muse Spark 1.3 和 Gemini 3.8 Flash 四款模型，随后又就「创意写作基准还能不能信」提出方法论警示。
已确认
- 横评结论：sampaech 最偏爱的是 Muse Spark 1.3，而非霸榜的 GPT-6-Astra 或 Fable 5.1；理由是 Muse 能直接按要求写作、听话且没有强烈「模型腔」。
- 对其他模型的评价：Fable 5.1 已形成固定套路，被指带上 Claude 腔；GPT-6-Astra 被他形容为「不会写段落」。
- 榜单以 EQ-Bench Creative Writing v3 形式发布，附各模型实测数据。
- sampaech 强调：榜单第一不代表真人最爱，所有由 LLM 评判的写作评测都应打折扣看待，最好直接阅读样本自行判断。
为什么重要
- 核心问题在于：模型为讨好奖励模型偏好而优化时会产生可读性退化，LLM 评委对这类污染并不敏感，且这一现象正日益严重。这为解读本次榜单及同类创意写作基准提供了重要警示，也解释了为何 LLM 打分排名与他本人主观偏好出现分歧。
时间线
- 09-07：sampaech 发布新模型创意写作横评并更新 EQ-Bench Creative Writing v3 榜单；同日回应评测可信度疑问，指出 LLM 评审的系统性盲区。
- 09-08：相关讨论传播，「榜第一不代表真人最爱」的观点被进一步转述。
2026-09-07 ~ 2026-09-08 · 6 条相关
一手来源
- 新模型创意写作横评:作者称 Muse Spark 最听话,GPT-6 不会写段落 — sam_paech ·
- LLM 当评委盲区扩大：奖励模型偏好正在毁掉写作评测 — sam_paech ·
- EQ-Bench 创意写作 v3 榜更新：GPT-6-Astra、Fable 5.1 等新模型实测 — sam_paech ·
- 【源头】新模型创意写作横评:作者称 Muse Spark 最听话,GPT-6 不会写段落 — sam_paech · 2026-09-07
- 【源头】EQ-Bench 创意写作 v3 榜更新：GPT-6-Astra、Fable 5.1 等新模型实测 — sam_paech · 2026-09-07
- 【源头】LLM 当评委盲区扩大：奖励模型偏好正在毁掉写作评测 — sam_paech · 2026-09-07
- 研究者提醒：LLM 评审的写作评测存在系统性盲区 — koltregaskes · 2026-09-07
- 创意写作榜第一不代表真人最爱：测试者偏爱 Muse Spark 1.3 — FinanceYF5 · 2026-09-08
另有 1 条近重复转述:koltregaskes