DiG-bench：70 个文字探索游戏测试 AI 的科学发现能力
jcrwhittington · x · 2026-08-12
为了让 AI 真正具备科学发现能力，而不仅仅是组合现有工具，研究人员推出了 DiG-bench——一个包含 70 个手工制作的文字探索游戏基准测试集。
- 游戏机制：每个游戏都是一个独立的世界，规则和获胜条件被隐藏，AI 必须通过真实的实验和探索来发现。
- 难度分级：设有七个难度等级，专门针对前沿大模型进行校准。游戏具有挑战性但可通关，每个游戏至少有一名人类在首次尝试时成功通关。
- 数据划分：21 个游戏公开，其余 49 个保持私有以确保安全评估的准确性。
所属事件:DiG-bench：70个文本游戏测出前沿AI发现短板(14 条相关)→
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16