AI Agent 遗漏 1400 万美元条款,Surge AI 发布 Excel 基准 GDP.xlsx
echen · x · 2026-10-10
Surge AI 发布新基准 GDP.xlsx,用 70 个真实世界任务测试前沿模型能否驾驭专业 Excel 工作簿,任务横跨金融、医疗、制造、保险、房地产、法律等 12 个领域。
- 核心洞察:真实电子表格不是「表格」,而是小型软件系统——关键数字可能藏在第三个标签页的查找表里,颜色编码业务规则,注释会改变公式的解读方式;难点在于重建工作簿的逻辑
- 模型需要用工具检查内容、跨表导航、理解公式与格式,并判断「真相在哪个 sheet」、哪些汇总是过期的
- 案例名场面:一个 AI agent 找出了商业地产工作簿中所有即将到期的租金折扣,却漏掉了三个 break clauses,涉及约 1400 万美元预测租金——任务要求沿 15 个标签页的两条不同路径走,模型只走了一条就停下
结论:「知道任务何时才算完成」本身就是 agent 能力的关键部分,而这正是当前模型最缺的。
「编程与Agent」频道最新
- 实测 AI agent 订酒店翻车：预订失败还得手动填信用卡，不如自己订 — NielsRogge · 2026-10-10
- AI 代码占比达 52%,DX 研究员称其该当透镜而非 KPI — rseroter · 2026-10-10
- OpenAI 承诺 Codex 使用数据不会用于预测功能,即便测试期后也不行 — btibor91 · 2026-10-10
- Caps Lock 一键 1 秒总结屏幕任意内容：Flo Crivello 开源 Mac 小工具 Summarize — draecomino · 2026-10-10
- 全程不碰 Blender，纯 AI 搭建 3D 场景实测进行中 — RexDouglass · 2026-10-10
- Jev Router 深入解析:模型路由器的更多细节 — omarsar0 · 2026-10-10