DiG-bench：70个文本游戏测出前沿AI发现短板

普林斯顿、MIT 等机构的研究团队发布 DiG-bench（Discovery Games Benchmark），以 70 个手工制作的纯文本交互游戏评估大模型的科学发现与规则探索能力。测试显示，前沿模型近几个月能力显著提升，但在部分极其简单的文本探索问题上仍会失败；闭源模型明显领先开源模型，现有 Agent 框架也未带来提升。目前 21 个游戏已开放浏览器试玩与 API 接入。

已确认

• 基准设计：DiG-bench 包含 70 个互不相同的纯文本游戏世界，规则与获胜条件被隐藏，智能体需在极少提示下通过实验探索发现规则并通关。游戏均为手工制作且未在互联网上公开（21 个公开、49 个保留用于安全评估），分为 7 个难度等级；部分游戏被构建为极简的字符串世界，例如玩家以箭头形式在其中「行走」。
• 模型表现：前沿模型能力在过去几个月显著提升，但面对一些极其简单的文本探索问题依然会失败。Opus 5 与 Fable 等闭源模型显著领先，但在最难的第 6、7 级游戏面前依然吃力；闭源的 Opus 5 与开源的 Kimi K3 之间存在明显差距。
• 框架局限：测试结果显示，现有 Agent 框架未能有效提升模型的科学发现能力。
• 开放资源：21 个公开游戏支持浏览器直接试玩，并开放 API 接口，允许开发者接入任意模型测试；团队鼓励社区开发能通关所有游戏的新框架，或缩小小型开源模型与 SOTA 的差距。
• 相关讨论：AndrewLampinen 参与了基准发布后的讨论，就原帖提到的「每个游戏至少被一名人类首次」通关等表述作出回应。

为什么重要

• 研究者的出发点是：AI 若要真正做出科学发现、而不只是组合现有工具，必须先能在最简单的设定中证明探索能力。纯文本环境排除了视觉理解等干扰，直接探测大模型在其最擅长的自然语言域中的底层发现能力，揭示当前前沿模型在看似简单的逻辑与规则探索任务上仍存在明显缺陷，为评估 AI 的真实推理水平提供了新视角。

2026-08-12 ~ 2026-08-13 · 14 条相关

• 前沿大模型仍解不开简单谜题？DiG-bench 发布 70 个科学发现测试 — jcrwhittington · 2026-08-12
• 70个隐藏规则文字游戏：全新AI探索发现基准 DiG-bench — jcrwhittington · 2026-08-12
• DiG-bench 详解：纯文本环境如何测试 AI 的科学发现能力 — jcrwhittington · 2026-08-12
• DiG-bench发布：纯文本环境实测前沿大模型科学发现能力 — jcrwhittington · 2026-08-12
• 前沿大模型科学发现能力实测：70个游戏揭示AI短板 — jcrwhittington · 2026-08-12
• 【源头】DiG-bench基准测试:前沿大模型仍被简单文本探索题难倒 — jcrwhittington · 2026-08-12
• 【源头】DiG-bench测试:闭源模型大幅领先,Agent框架未提升发现能力 — jcrwhittington · 2026-08-12
• 【源头】DiG-bench开放21个浏览器游戏,邀开发者挑战AI短板 — jcrwhittington · 2026-08-12
• DiG-bench：评估前沿大模型「发现能力」的文本基准 — AndrewLampinen · 2026-08-12
• 新基准DiG-bench发布：前沿模型在简单发现任务上仍会卡壳 — AccBalanced · 2026-08-13

另有 4 条近重复转述:jcrwhittington · jcrwhittington · jcrwhittington · misovalko