全新 DiG-bench 基准测试发布：揭示前沿大模型仍败于简单文本推理
misovalko · x · 2026-08-12
来自普林斯顿、MIT 等机构的研究团队推出了 DiG-bench（Discovery in Games），一个全新的基于文本的上下文发现能力基准测试。
测试机制
- 该基准包含全新的文本概念和机制，要求模型和玩家在极少的提示下，通过游戏交互自主发现并理解规则。
- 灵感部分源自 Hofstadter 和 Melanie Mitchell 早期关于抽象与类比的测试。
核心发现
- 尽管近几个月前沿大模型的能力显著提升，但它们在原生文本领域内，依然会被一些人类能轻松解决的简单推理问题难住。
所属事件:DiG-bench：70个文本游戏测出前沿AI发现短板(14 条相关)→
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16