Surge AI 发布 GDP.xlsx 基准:70 个真实任务考验 Agent 玩转复杂表格
echen · x · 2026-10-01
echen(Surge AI)发布 GDP.xlsx 基准,是 GDP.pdf 的兄弟版,专注测试前沿模型能否处理专业 Excel 工作簿。
- 规模与领域:70 个真实世界任务,覆盖金融、医疗、工程、制造、保险、房地产、法律、HR、农业、能源、物流、公共部门 12 个领域。
- 难点所在:真实表格不是整齐的数据表,而更像小型软件系统——哪个 tab 数据过期、红绿单元格代表什么业务规则、Sheet2!D18 的备注如何改变计算解释,重建工作簿逻辑才是关键。
- 任务形式:模型需用工具检查工作簿内容,跨 sheet 导航,理解公式、查找表、批注、格式(隐藏行、合并表头、小计),并进行计算,回答同事式的问题。
核心观点:判断哪个数据源权威、哪些汇总是陈旧的,是 Agent 使用表格的真正瓶颈。
所属事件:Surge AI 推出 GDP.xlsx 基准,最强 Agent 仅得 38.3%(2 条相关)→
「研究」频道最新
- 数学家自述用 Codex CLI+Claude Code 做 agentic 数学,代数几何新结果在即 — burny_tech · 2026-10-01
- 第一视角视频数据集 EgoPro 登上 Hugging Face 趋势榜 — LightwheelAI · 2026-10-01
- NVIDIA 博士奖学金开放申请:最高 6 万美元,10 月 30 日截止 — NVIDIAAI · 2026-10-01
- 众包本地模型榜单 airbench:一条 prompt 让你的 Agent 帮跑分 — dh7net · 2026-10-01
- 华盛顿大学 Allen 学院五名教师获 NSF CAREER 奖,覆盖量子密码到类脑学习 — lazowska · 2026-10-01
- GDP.xlsx 基准发布:70 个真实表格任务,最强 agent 仅得 38.3% — echen · 2026-10-01