Dwarkesh 花两万美元让 AI 大模型互玩血染钟楼,OpenAI 反超 Anthropic
polynoamial · x · 2026-11-06
Dwarkesh Patel 自费 2 万美元 API 额度,让多家大模型互相对战社交推理游戏《血染钟楼》(Blood on the Clocktower,类似狼人杀),并做成了一套 Elo 排名 benchmark。
关键发现
- 今年以来,模型在临场策划、欺骗与伪装(scheming/bluffing)方面进步明显,团队协作推理、拆穿“阴谋”的能力也大幅提升。
- Elo 图显示:GPT-6 Astra(约 1860)居首,GPT-6.1 Sol、GPT-5.6 Sol 领先;Anthropic 阵营 Fable 5.1、Opus 5.5 在 1550-1600 一档。
- 作者明确结论:OpenAI 新模型在此游戏中明显强于 Anthropic。
- OpenAI 研究员 Polynoamial 转发称赞这套评测方法,还半开玩笑邀 Dwarkesh 去 OpenAI 做评测设计。
评测把“社交欺骗”这类难以量化的能力变成了可对比的 Elo 分数,方法论本身被认为颇具启发性。
所属事件:Dwarkesh 花两万美元让 AI 互玩血染钟楼(6 条相关)→
「模型」频道最新
- Antirez 与 mlpowered 争论:LLM 隐状态不只是预测下一个 token — rickasaurus · 2026-11-06
- NaceAI 开源 Drex 决策模型,单次前向输出校准概率分布 — nischay_twt · 2026-11-06
- 网友实测:Claude Opus 4.8「固执到连自己的系统都拦不住」 — repligate · 2026-11-06
- Miles Brundage 一句话点评:Inkling 2 Small 不错 — Miles_Brundage · 2026-11-06
- 用户观察:Claude 用官方 system prompt 反而不如空 system prompt — repligate · 2026-11-06
- Palisade 研究员:模型样样变强但仍不幽默,charisma 成短板 — JeffLadish · 2026-11-06