19 个 LLM 打 376 局 Codenames 类游戏:猜词比出题更决定胜负
Hardicecream17 · reddit · 2026-10-31
Word Spies(类 Codenames 桌游)作者让 19 个 LLM 两两组队对打,共 376 局,得出几项反直觉结论:
- Gemini 和 GPT 系列出题与猜词都最强,猜对率 85-93%;Claude 系列出题明显偏弱,出乎作者意料。
- 猜得更好的队伍赢下 68% 的对局,而出题质量更高的队伍只赢 53%——猜测能力比出题能力更关键。
- 激进出 clue 会输:一方单条线索贪更多词时,287 局中只赢 38%。
- 先手无优势(还多一个要猜的词)。
出题质量评分用 embeddings 加两个不看答案的 LLM 评审(Llama 4 Maverick、Qwen3-VL),但评审模型弱于被评模型,作者因此更信任胜率而非评分。作者承认样本不均衡(每模型 18-152 局)且两组推理设置不同,只能组内比较,并提问如何改进评测、任务是否接近饱和。
「模型」频道最新
- 「Claude Fable 5」8TB 权重泄露疑云:技术分析指向伪造骗局 — AccBalanced · 2026-10-31
- NVIDIA 发布 DeepSeek-V4.1-Flash NVFP4 版,体积小 81GB 几乎无损 — AccBalanced · 2026-10-31
- 7 万粉 AI 大 V:质疑者预测失败后总能设新门槛,押注全是相关的 — teortaxesTex · 2026-10-31
- 网友论战:LLM 靠数据标注学打游戏,难以自主泛化到现实 — teortaxesTex · 2026-10-31
- Plus 用户吐槽 ChatGPT:Pro 额度翻倍,我花 20 美元只能看戏 — Intelligent-Pass6641 · 2026-10-31
- 两周日志实测:Qwen 27B 量化越狠思考死循环越多,成功率 92%→78% — Old_Ad_6033 · 2026-10-31