DiG-bench发布:纯文本环境实测前沿大模型科学发现能力
jcrwhittington · x · 2026-08-12
研究团队宣布推出 DiG-bench,这是一个用于测试 AI 科学发现能力的新基准。该基准通过一系列纯文本的交互式发现游戏来评估前沿模型。
由于测试环境是纯文本的,它直接探测大模型在其最擅长的自然语言域中的发现能力,排除了视觉等额外干扰。测试结果显示,尽管前沿模型近期取得了长足进步,但在面对一些极其简单的问题时依然会卡壳。
所属事件:DiG-bench:70个文本游戏测出前沿AI发现短板(14 条相关)→
「研究」频道最新
- Lean v4.35.0 自带四个已验证内核,其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- MP-Bench:语音 Agent 群聊插话判断仅与抛硬币相当 — solyarisoftware · 2026-10-16
- 对 Qwen3-8B 做神经元级 GWAS+PheWAS,定位安全相关神经元 — Sauers_ · 2026-10-16
- 770B 参数压进 214GiB:腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- 200 局国际象棋实测:作者认为上下文学习目前并不奏效 — akbirthko · 2026-10-16
- LARK-Lab 提出 Mosaic:跨会话的 Agentic 强化学习新范式 — LARK-Lab · 2026-10-16