DiG-bench发布:70个文本游戏评估AI科学发现能力
jcrwhittington · x · 2026-08-12
研究团队正式发布了 DiG-bench（Discovery Games Benchmark），这是一个旨在测试 AI 科学发现能力的基准测试。
核心设计：
- 包含 70 个全新的交互式纯文本游戏，要求智能体通过实验发现每个游戏的未知规则并加以应用。
- 纯文本环境排除了视觉等干扰因素，直接测试大语言模型在原生域的探索发现能力。
- 人类与前沿模型在完全相同的界面、操作集和步骤限制下进行测试。
测试结论：
- 游戏分为 7 个难度等级，所有游戏人类首次尝试即可通关，但最好的 AI 模型在最高难度下依然挣扎。
- 闭源模型（如 Opus 5）表现远超开源模型（如 Kimi K3）。
所属事件:DiG-bench：70个文本游戏测出前沿AI发现短板(14 条相关)→
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核，其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench：语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS，定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测：作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic：跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16