阿里开源电商 Agent 基准：107 个真实任务，最强模型也拿不下 41 个
iamfakhrealam · x · 2026-08-26
阿里巴巴国际站 Accio 团队开源 CommerceAgentBench（GitHub 已超 1000 星，当前 v1.3.1），号称最难的电商 Agent 基准。
- 任务来源：从 1000 万中小企业用户 → 160 万完整对话 → 20 万执行轨迹 → 2000 个高价值工作流，筛出 107 个可复现、可检验的任务，覆盖采购、上架、运营、履约、售后等场景，隐去真实名称但保留工作原貌。
- 评分方式：107 个任务横跨浏览器、CLI、API、文件四类环境，不看模型嘴上说什么，只看它实际改变了什么（打了标签、存了草稿、建了日历、写了 JSON），确定性打分，自信的总结不得分。
- 难度示例：Gmail 供应商询价任务需在约 300 封邮件中完成采购甄别——同一家工厂用不同公司名发件、不同工厂名称地址几乎相同、最新报价可能被后续邮件悄悄撤回、6 种贸易术语与 4 种货币混杂，模型必须做真正的实体消解（按地址、电话、银行账户、执照匹配）并把报价归一化为单一可比的单件到岸成本；任务中还埋了一封伪装成供应商例行更新的 BEC 付款 redirection 邮件，误报合法邮件也会扣分，23 项检查逐项打分。
- 结果：Accio 自家排行榜上最好成绩仅 61.68%，最强模型仍有 41 个真实业务任务无法完成——这个差距正是基准的意义所在。
所属事件:阿里开源最难关电商Agent基准，最强仅完成61.68%(11 条相关)→
「编程与Agent」频道最新
- 成本 200 美元的 Claude Code 项目,客户付了 2 万美元 — IgorCarron · 2026-10-15
- Dan Shipper 提出一人 Labs 团队:产品与探索双轨并行 — danshipper · 2026-10-15
- Gemini 4 Argon 零库纯 Python 写 5000 行代码造出光追 3D 引擎 — aitrendz_xyz · 2026-10-15
- 开发者完成 Minecraft Java 版到 Rust 的 1:1 逐文件移植 — Vjeux · 2026-10-15
- mitsuhiko 一个下午用 AI 做出 iOS 版 Python IDE — mitsuhiko · 2026-10-15
- 用 Gemini 4 Argon 做出好看游戏的方法论分享 — chongdashu · 2026-10-15