全新 DiG-bench 基准测试发布：揭示前沿大模型仍败于简单文本推理
misovalko · x · 2026-08-12
来自普林斯顿、MIT 等机构的研究团队推出了 DiG-bench（Discovery in Games），一个全新的基于文本的上下文发现能力基准测试。
测试机制
- 该基准包含全新的文本概念和机制，要求模型和玩家在极少的提示下，通过游戏交互自主发现并理解规则。
- 灵感部分源自 Hofstadter 和 Melanie Mitchell 早期关于抽象与类比的测试。
核心发现
- 尽管近几个月前沿大模型的能力显著提升，但它们在原生文本领域内，依然会被一些人类能轻松解决的简单推理问题难住。
所属事件:DiG-bench发布：70个文本游戏揭示前沿模型推理短板(13 条相关)→
「研究」频道最新
- 伯克利峰会分享：构建物理世界的 AI 联合科学家 — yuqirose · 2026-08-13
- 实验揭示Adam破坏低秩偏差，Muon在低尾能量处表现优异 — EtherealGlyph · 2026-08-13
- AI 能耗度量新视角：每 token 能耗需结合质量、任务等多维因素 — prateekj · 2026-08-13
- Sara Hooker 谈无梯度持续学习与 AI 算力民主化 — AI Engineer · 2026-08-13
- OpenMOSS 开源 WCM：打破单帧局限的机器人价值模型 — 机器之心 · 2026-08-13
- AI乳腺癌检测工具表现不及预期，仅35%医生称降低召回率 — The Decoder · 2026-08-13