DiG-bench测试:闭源模型大幅领先,Agent框架未提升发现能力
jcrwhittington · x · 2026-08-12
研究团队公布了模型在 DiG-bench 基准上的具体表现：
- 模型差距明显：Opus 5 与 Fable 等闭源模型能力显著提升，但在最难的第 6、7 级游戏依然吃力；闭源模型（Opus 5）与开源模型（Kimi K3）之间存在巨大鸿沟，开源小模型（Qwen 3.6 27B）差距更大。
- Agent 框架无加成：使用 Prime 等智能体框架并未比基础测试环境取得更好的成绩。
- 规则发现是瓶颈：当直接以纯文本提供真实规则时，即使是最弱的模型也能接近满分，证明模型的应用能力没问题，真正的瓶颈在于「自主发现规则」。
所属事件:DiG-bench：70个文本游戏测出前沿AI发现短板(14 条相关)→
「模型」频道最新
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- 问 AI 要答案永远是 7：Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16
- 推ter脑筋急转弯：抠掉 Llama 3 全部权重矩阵还剩几个参数？ — Sauers_ · 2026-10-16
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- Claude 团队版一个席位被标记，全组织 5 个账号一并冻结 — RexDouglass · 2026-10-16
- Kimi K3 训后检查点表现出色，获赞预训练扎实 — SonglinYang4 · 2026-10-16