GDP.xlsx 基准发布:70 个真实表格任务,最强 agent 仅得 38.3%
echen · x · 2026-10-01
继 GDP.pdf 之后,作者推出新基准 GDP.xlsx,模拟真实世界的电子表格工作场景。要点:
- 包含 12 个领域共 70 个真实任务,难点在于弄清工作簿的运作逻辑:哪个标签页过期、红色单元格含义、哪条评论解释了例外情况、财务部门实际信任哪张图表、Sheet 3 中的终止条款等。
- 目前最强前沿 agent 仅得 38.3%,作者称是 Gemini 4 Argon。
- 该基准强调表格数据的隐含上下文与跨表推理,对现有 agent 构成显著挑战。
所属事件:Surge AI 推出 GDP.xlsx 基准,最强 Agent 仅得 38.3%(2 条相关)→
「模型」频道最新
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- Gemini 付费用户吐槽:让 AI 写 Three.js 动画全被拒,到底触了什么红线 — Necessary-Buy-7410 · 2026-11-16
- 28 个主流模型训练截止日期盘点:近半数不公布,Gemini 4 Carbon 发布即落后 8 个月 — Joozio · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16