阿里 Accio 开源电商 Agent 基准，最高分仅 61.7%
阿里 Accio 团队开源了电商 Agent 基准 CommerceAgentBench，用于评测 AI Agent 在真实电商工作流中的执行能力。该基准包含 107 个任务，覆盖采购、商品上架、运营、订单履行和售后等全流程，目前最高分仅 61.7%。
已确认
- 基准由 Accio（@futurecoded 称其基于阿里巴巴多年电商经验）发布并开源，包含 107 个电商任务；项目主张多数基准测「模型说什么」，此基准测「模型做什么」，任务取自真实运营混乱场景。
- 评分不看模型输出文字，而是基于 Agent 在模拟电商栈中留下的实际变更，如标签、草稿、上架列表、运单号等（@kimmonismus 强调其验证 Agent 真实改变、保存的能力）。
- 评测环境涵盖浏览器、邮件、API 等，包含 300 封夹杂钓鱼尝试的采购邮件、会拒绝错误输入的浏览器表单、人为注入 10 类错误的 12 天供应商行程，还包含实时货运平台、真实浏览器会话和实际预订 ID，并发布 14 个模拟服务，采用 Apache 许可（@testingcatalog、@futurecoded）。
- 最高分仅 61.7%（@testingcatalog）。
为什么重要
- @antharaai 指出，Agent 的真正考验不是单次回答正确，而是在 20 步以上的长链条工作流（研究、浏览文件、调用 API、改变系统状态）中持续不犯错；61.7% 的最高分说明现有 Agent 在复杂真实业务场景中仍有很大差距。
- 引入钓鱼邮件、错误输入等真实噪音，使基准更贴近生产环境，为 Agent 可靠性提供了更严格的一手评测标准。
2026-08-28 ~ 2026-08-30 · 6 条相关
一手来源
- Accio 开源 107 任务电商 Agent 基准，最高分仅 61.7% — testingcatalog ·
- Accio 开源 CommerceAgentBench：验证 Agent 真实工作 — kimmonismus ·
- 阿里 Accio 发布 CommerceAgentBench：107 个真实电商任务验证智能体执行 — future_coded ·
- 【源头】Accio 开源 CommerceAgentBench：验证 Agent 真实工作 — kimmonismus · 2026-08-28
- 【源头】阿里 Accio 发布 CommerceAgentBench：107 个真实电商任务验证智能体执行 — future_coded · 2026-08-28
- 【源头】Accio 开源 107 任务电商 Agent 基准，最高分仅 61.7% — testingcatalog · 2026-08-29
- Agent 基准引入真实噪音数据，含 300 封钓鱼邮件与 10 类错误 — testingcatalog · 2026-08-29
- AI Agent 真正的考验：20 步长任务完成度评测基准出炉 — anthara_ai · 2026-08-29
另有 1 条近重复转述:aftahi_ai