DiG-bench基准发布：前沿大模型仍难解简单文本探索题

普林斯顿、MIT等机构联合发布了DiG-bench（Discovery Games Benchmark），一个包含70个纯文本交互游戏的新基准，专门测试大语言模型的科学发现与规则探索能力。测试表明，尽管前沿模型近期能力显著提升，但在面对极其简单的纯文本探索问题时依然表现不佳，暴露了AI在核心推理上的短板。

已确认

• 要点 基准设计：DiG-bench包含70个全新的交互式纯文本游戏，要求智能体在极少提示下通过实验探索发现未知规则并通关。环境为纯文本，排除了视觉理解等干扰，能精准测试模型在自然语言域中的发现能力。游戏均为手工制作且未公开（21个公开，49个保留用于安全评估），分为7个难度等级。
• 要点 模型表现差异：闭源模型（如Opus 5与Fable）与开源模型（如Kimi K3）之间存在显著差距，闭源模型能力大幅领先。但在最难的第6、7级游戏面前，即便是表现最好的模型依然感到吃力。
• 要点 框架局限性：测试结果显示，使用现有的Agent框架并未能有效提升模型的科学发现能力。
• 要点 开放资源：21个公开游戏现已支持浏览器试玩，并开放API接口，允许开发者接入任意模型进行测试，鼓励社区开发新框架或缩小开源模型与SOTA的差距。

为什么重要

• 要点 该基准直接探测了AI在母语域（自然语言）的底层发现能力，揭示了当前前沿大模型在脱离视觉等干扰后，面对看似简单的逻辑与规则探索任务时仍存在明显缺陷，为评估AI的真实推理水平提供了新视角。

2026-08-12 ~ 2026-08-12 · 12 条相关

• 【源头】前沿大模型仍解不开简单谜题？DiG-bench 发布 70 个科学发现测试 — jcrwhittington · 2026-08-12
• 70个隐藏规则文字游戏：全新AI探索发现基准 DiG-bench — jcrwhittington · 2026-08-12
• DiG-bench 详解：纯文本环境如何测试 AI 的科学发现能力 — jcrwhittington · 2026-08-12
• DiG-bench发布：纯文本环境实测前沿大模型科学发现能力 — jcrwhittington · 2026-08-12
• 前沿大模型科学发现能力实测：70个游戏揭示AI短板 — jcrwhittington · 2026-08-12
• 【源头】DiG-bench基准测试:前沿大模型仍被简单文本探索题难倒 — jcrwhittington · 2026-08-12
• 【源头】DiG-bench测试:闭源模型大幅领先,Agent框架未提升发现能力 — jcrwhittington · 2026-08-12
• DiG-bench开放21个浏览器游戏,邀开发者挑战AI短板 — jcrwhittington · 2026-08-12

另有 4 条近重复转述:jcrwhittington · jcrwhittington · jcrwhittington · misovalko