自建词联想基准 1300 局:Google 模型居首,OpenAI 次之,Anthropic 垫底
Hardicecream17 · reddit · 2026-11-05
一位开发者用「词联想」类游戏基准做了 1300+ 条线索的评级:一个模型给一词线索,队友模型猜词,按猜对己方词数/误触对方词评分,同规则同评分器互相配对对战。
平均线索得分(95% 区间):
- Gemini 4 Argon 67±3、Gemini 3.8 Flash 64.5±2
- GPT-6.1 Terra 64±4、GPT-6 Astra 63±2、GPT-6.1 Sol 61±2.5
- Claude Opus 5.5 58±2、Sonnet 5 57±4、Fable 5.1 56±3
误触对方词/刺客词的比例:Gemini 0–0.5%、GPT-6 0.8–1.9%、Claude 1.7–6%;关闭思考的低价档同样呈现 OpenAI > Anthropic(GPT-6 Luna 对 Claude Haiku 5.5 头对头 14:2)。
作者自列注意事项:单一任务、评分器部分依赖 LLM、老版付费 API 模型不符合该模式(Claude Opus 4.6 曾以 55 登顶)。他提出猜想:ChatGPT 和 Google 庞大的消费端用户数据是否让模型学到更多人类语言联想。
「模型」频道最新
- SkyPilot Tokens 首日上架 Kimi K3.1 Pro:104B 激活、1M 上下文、降价 40% — skypilot_org · 2026-11-05
- 全新美国开源 LLM 从零预训练完成，圈内热议 — annadgoldie · 2026-11-05
- OpenAI 十月开发者汇总:Decisions API、12小时缓存与 8 倍提速 — OpenAIDevs · 2026-11-05
- 「别再瞎搞哈希了」：网友吐槽纠正模型刻板行为的 RL 成本巨大 — generativist · 2026-11-05
- Gemini 4 Carbon 一次生成 4000 行代码，网友称告别偷懒时代 — theREALmarvin · 2026-11-05
- DeepSeek 单日独占 OpenRouter 53% token,开源权重阵营合计超 75% — Comfortable-Rock-498 · 2026-11-05