阿里开源电商智能体基准：107 真实任务，顶尖模型失败率超 40%
iamfakhrealam · x · 2026-08-26
阿里 Accio 团队发布了号称“史上最难”的电商智能体基准测试 CommerceAgentBench。
- 数据来源：基于阿里巴巴 27 年的真实电商数据构建，包含 107 个真实的业务任务。
- 任务特点：测试智能体执行长周期业务工作流的能力，而非简单的问答。
- 测试结果：目前排行榜上表现最好的模型准确率仅为 61.68%，意味着仍有 41 个真实业务任务无法完成。这揭示了当前 Agent 在实际商业落地中的巨大能力缺口。
- 开源贡献：团队呼吁社区贡献更多模拟环境和更难的任务集。
所属事件:阿里开源最难关电商Agent基准，最强仅完成61.68%(11 条相关)→
「编程与Agent」频道最新
- 独立开发者发布 Blob0：把 S3/R2 对象存储管成 Mac 本地文件夹 — yihui_indie · 2026-10-15
- 2026 AI 工程师六层技能栈：从向量库到 Agent 编排 — mdancho84 · 2026-10-15
- 用 ChatGPT 搭机械工程工作流：Agent 编排热固封头研究，却因重置中断 — burhop · 2026-10-15
- 开源 Harness 工程课爆火：19k 星教你让编码 Agent 干活可靠 — thisguyknowsai · 2026-10-15
- 6 人团队 3 个月：AI Agent 进驻医保预授权平台的落地实录 — alex_verem · 2026-10-15
- 92.7 万字符的 epstein.md：专门消灭 AI 味设计的 .md 文件走红 — karmay007 · 2026-10-15