Surge AI 发布 GDP.xlsx 基准:70 个真实任务考验 Agent 玩转复杂表格
echen · x · 2026-10-01
echen(Surge AI)发布 GDP.xlsx 基准,是 GDP.pdf 的兄弟版,专注测试前沿模型能否处理专业 Excel 工作簿。
- 规模与领域:70 个真实世界任务,覆盖金融、医疗、工程、制造、保险、房地产、法律、HR、农业、能源、物流、公共部门 12 个领域。
- 难点所在:真实表格不是整齐的数据表,而更像小型软件系统——哪个 tab 数据过期、红绿单元格代表什么业务规则、Sheet2!D18 的备注如何改变计算解释,重建工作簿逻辑才是关键。
- 任务形式:模型需用工具检查工作簿内容,跨 sheet 导航,理解公式、查找表、批注、格式(隐藏行、合并表头、小计),并进行计算,回答同事式的问题。
核心观点:判断哪个数据源权威、哪些汇总是陈旧的,是 Agent 使用表格的真正瓶颈。
所属事件:Surge AI 推出 GDP.xlsx 基准,最强 Agent 仅得 38.3%(2 条相关)→
「研究」频道最新
- NLP 学者 Nakov:LLM 生成的论文读起来像意大利语空话「supercazzola」 — preslav_nakov · 2026-11-16
- ICLR 审稿人未被打动仍提分:因相信论文对社区有价值 — MarkSchmidtUBC · 2026-11-16
- 手改0.2%权重加CPU训练100分钟,英语TTS模型变身18MB梵语语音 — kastnerkyle · 2026-11-16
- 为什么 AI 做化学必须懂手性:对映异构体在生物体内并不等价 — madeofAjala · 2026-11-16
- RSS 2027 投稿开启:两阶段评审 FAQ 澄清负面结果标准 — GeorgiaChal · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16