Argo-Bench:235 表企业级仓库考数据 agent,最强模型仅 34.8% 任务达标
textql · hf · 2026-10-02
TextQL 发布 Argo-Bench,一个超越 text-to-SQL 的企业级数据 agent 评测框架,共 210 个数据科学与分析任务。
- 设计:基于公开数据、行业文献与监管文件,模拟一个纽约外卖平台(2024 年 8100 万订单),导出为 235 张表、75 亿行的 ERP 数据仓库(仿 Oracle E-Business Suite)。仿真器的真值状态对 agent 隐藏,任务需先在仓库中导航重建事实再行动。
- 超 text-to-SQL:agent 需执行动作(封禁欺诈账号、分配骑手激励预算、补发工资等),评分器依据动作在仿真器中的后果打分;每个任务附可执行参考解,证明仅靠仓库可解。
- 结果:14 个前沿与开源模型中,最强者仅在 34.8% 任务上拿到 95 分以上,平均 59.5 分,说明企业规模数据工作流仍远未解决。
「编程与Agent」频道最新
- Ptacek 分享 AI 编码心法:喂旧代码给新模型持续迭代 — nptacek · 2026-11-20
- CMU 十小时真人动捕重定向后免费开放,2067 段 GLB 上架 Hugging Face — nptacek · 2026-11-20
- Apple 三件套支持 MCP,Keynote 可让外部 AI 助手直接连接 — jedisct1 · 2026-11-20
- 开发者打造所见即所得画布,替代 agent 聊天界面 — round · 2026-11-20
- Overmind 融合 observability 与训练:从生产数据微调出你自己的小模型 — rohanpaul_ai · 2026-11-20
- 组合技:装 Antigravity CLI,用 Claude Code 里的 Opus 5.5 驱动 Gemini Neon — boringmarketer · 2026-11-20