19 个 LLM 对战 376 局猜词游戏：猜词方实力决定 68% 胜负，给线索方仅 53%
Hardicecream17 · reddit · 2026-11-02
开发者自建类 Codenames 猜词游戏（wordspies.com），让 19 个 LLM 两两组队对战 5x5 棋盘，共 376 局，得出几个反直觉结论：
- 猜词手比出题手重要：猜得更好的队伍赢 68%，线索质量更高的只赢 53%——可能是「猜」才是核心技能，也可能是线索评分方式有偏差
- 激进线索亏：一条线索试图覆盖更多词的队伍，287 局中只赢 38%
- 先手无优势：先手方 376 局只赢 169 局，尽管它需要找的词更少
- 新模型猜词显著更强：新模型好猜率 71–93%，旧模型 49–71%（两组推理设置不同，只看方向）
评分方法：每个线索对棋盘词的关联分由 1/3 嵌入相似度 + 2/3 两个不知阵营的 LLM 评审构成，再用拟合于真实对局的模拟猜词手计算期望收益，缩放到 0-100。图表显示 Gemini 4 Argon、GPT-6.1 Terra 等新模型领跑，AWS Bedrock 旧模型（Claude Opus 4.6、DeepSeek V3.2、GLM-5、Kimi K2.5 等）整体落后。原始数据已发布在 Hugging Face（daluan/word-spies-llm-benchmark），对局可在 wordspies.com 回放。
所属事件:19个大模型对战376局猜词游戏 Gemini胜率最高(3 条相关)→
「模型」频道最新
- LiquidAI 的 LFM3-1.7B-Base 登上 Hugging Face 热门榜 — LiquidAI · 2026-11-02
- Reddit 追问：OpenAI 缩水订阅额度，「智能太便宜」承诺去哪了 — rolyataylor2 · 2026-11-02
- 用户抨击 Grok 注册后单方面调整套餐配额：先签约后改规则 — arthurcolle · 2026-11-02
- Gemini 付费用户被静默降级到 Flash 换模型，Google 回应称不计入额度 — umeshonai · 2026-11-02
- Google AI Ultra 额度宽松惊人：日日用 Gemini 4 仍剩 39% 周额度 — jon_barron · 2026-11-02
- 单张 RTX 3090 Ti 跑 552B DeepSeek 本地模型，35 tok/s 全流程教程 — uniVocity · 2026-11-02