阿里开源最难关电商Agent基准，最强仅完成61.68%

阿里巴巴国际站 Accio 团队于 8 月 25 日在 GitHub 开源电商智能体基准 CommerceAgentBench（仓库 Accio-org/CommerceAgentBench，已获 1.2k star，当前版本 v1.3.1），号称史上最难的电商 Agent 基准。基准包含 107 个真实电商任务，考察 AI Agent 能否实际完成工作而非仅给出正确答案；目前表现最强的 Agent 仅完成 61.68% 的任务，失败任务超过 40 个，为行业衡量 Agent 真实执行力提供了新标尺。

已确认

• 基准于 8 月 25 日在 GitHub 上线开源，仓库为 Accio-org/CommerceAgentBench，1.2k star，版本 v1.3.1
• 共 107 个真实电商任务，环节覆盖采购、产品上架、运营、履约、售后
• 任务数据由阿里巴巴国际电商真实数据蒸馏而来，涉及 1000 万中小企业用户、160 万完整对话等；@iamfakhrealam 称其基于阿里多年积累的真实电商数据构建
• 与在模拟环境中测试不同，该基准在真实浏览器中运行，@aftahiai 转发介绍称，agent 的错误（如输入错误值、上传错误文件）会直接导致实时业务报错
• 评分不依据模型自述，而是检查 agent 在环境中留下的真实操作痕迹：标签是否正确应用、草稿是否真正保存、日历事件是否创建，以及商品上架、订单、运单号和跨系统数据是否一致
• 采购任务包含定价难题：供应商报价涉及不同币种、Incoterms 贸易术语、附加费、最小起订量、付款条款和交期，agent 须归一化为可比较的落地成本，否则账面最便宜的供应商未必真便宜
• 采购测试设定为接管约 300 封邮件的采购收件箱，混杂供应商报价、数量修改、交货条款、付款信息、已撤回报价和身份相似的供应商，要求重建事件、识别供应商并判断哪些信息真实有效、做出采购决策，而非简单总结邮件

为什么重要

• 传统基准关注模型能否给出正确答案，该基准转向考察 Agent 的实际执行能力，按操作结果判分更能反映真实工作场景的表现；@HeyAmit 转发的观点也呼应了这一点，指出电商领域真正的工作发生在处理 300 个邮箱、混乱的电子表格、实时浏览器表单、物流平台和欺诈检查之中，而非回答多选题
• 最强 Agent 完成率仅 61.68%、失败任务超 40 个，说明当前 Agent 在复杂真实电商流程中仍有大量提升空间，为行业提供了新的能力标尺

2026-08-26 ~ 2026-08-27 · 11 条相关

• CommerceAgentBench发布：测试AI Agent能否完成真实电商任务 — alifcoder · 2026-08-26
• 300 封邮件里找出真相:基准给 Agent 出采购决策难题 — alifcoder · 2026-08-26
• 多币种多条款报价如何比价:基准考 Agent 算落地成本 — alifcoder · 2026-08-26
• 不看你说了什么:新基准按环境操作痕迹给 Agent 判分 — alifcoder · 2026-08-26
• 【源头】最强 Agent 仅完成 61.68%:阿里电商基准上线 GitHub — alifcoder · 2026-08-26
• 【源头】阿里开源电商智能体基准：107 真实任务，顶尖模型失败率超 40% — iamfakhrealam · 2026-08-26
• Accio 开源 CommerceAgentBench 真实工作流评测 — HeyAmit_ · 2026-08-27
• CommerceAgentBench：真实浏览器环境下的智能体任务评测 — aftahi_ai · 2026-08-27
• 新基准 CommerceAgentBench 考验 AI 处理 300 封复杂采购邮件 — mhdfaran · 2026-08-27
• 阿里开源 CommerceAgentBench，模拟300封邮件测Agent — mhdfaran · 2026-08-27

另有 1 条近重复转述:iamfakhrealam