GDP.xlsx 基准发布:70 个真实表格任务,最强 agent 仅得 38.3%
echen · x · 2026-10-01
继 GDP.pdf 之后,作者推出新基准 GDP.xlsx,模拟真实世界的电子表格工作场景。要点:
- 包含 12 个领域共 70 个真实任务,难点在于弄清工作簿的运作逻辑:哪个标签页过期、红色单元格含义、哪条评论解释了例外情况、财务部门实际信任哪张图表、Sheet 3 中的终止条款等。
- 目前最强前沿 agent 仅得 38.3%,作者称是 Gemini 4 Argon。
- 该基准强调表格数据的隐含上下文与跨表推理,对现有 agent 构成显著挑战。
所属事件:Surge AI 推出 GDP.xlsx 基准,最强 Agent 仅得 38.3%(2 条相关)→
「模型」频道最新
- Gemini 4 被 cua-bench 实测拖后腿:游戏操控表现「尖刺化」 — burny_tech · 2026-10-01
- Harvey 法律基准现数据打架:Argon 19.6% 对 25.42% — 3scorciav · 2026-10-01
- 爆料称谷歌 Gemini 4 Argon 已悄然上线，速度远超预期 — Dr_Singularity · 2026-10-01
- 3.6B 本地模型 TwIL-LM3-Pro 形式逻辑碾压 VibeThinker-3B 达 35% — rohanpaul_ai · 2026-10-01
- 实测：Sol 6.1 推理速度比 Opus 慢近 6 倍，但 token 效率更高 — RexDouglass · 2026-10-01
- AA 智能指数被质疑：Sonnet 5.5 竟高于 fable 5.1 — Ill_Distribution8517 · 2026-10-01