前沿大模型仍解不开简单谜题？DiG-bench 发布 70 个科学发现测试
jcrwhittington · x · 2026-08-12
研究团队发布了 DiG-bench，一个专门测试大语言模型「科学发现能力」的新基准。它包含 70 个纯文本交互游戏，要求模型通过实验探索来发现隐藏规则并通关。
由于环境是纯文本，排除了视觉理解的干扰，能精准测试模型在母语域的发现能力。测试表明，尽管前沿模型近期进步显著，但在面对一些人类首次尝试就能解开的简单问题时依然会卡壳。
所属事件:DiG-bench：70个文本游戏测出前沿AI发现短板(14 条相关)→
「研究」频道最新
- Sakana AI 科学家将在首尔大会演讲「自进化 AI」之路 — Stefania_druga · 2026-10-16
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16