新基准 CommerceAgentBench 考验 AI 处理 300 封复杂采购邮件
mhdfaran · x · 2026-08-27
新推出的 CommerceAgentBench 基准测试挑战 AI Agent 处理真实世界的采购工作流：并非简单问答，而是让 Agent 在包含约 300 封混乱邮件的收件箱中重建事件、识别供应商（处理同名、别名、欺诈风险）、标准化报价（含 6 种术语、4 种货币），并最终执行打标签、存草稿、建日程等操作。该基准含 107 个真实电商任务，通过检查环境留下的实际执行证据而非模型口述来评分。
所属事件:阿里开源最难关电商Agent基准，最强仅完成61.68%(11 条相关)→
「编程与Agent」频道最新
- XBOW Chrome 全链路漏洞动画拆解：三个漏洞拿走 Google 25 万美元赏金 — moyix · 2026-10-15
- pstack 设计哲学：用 10-20 行的简短 skills 沉淀 agent 最佳实践 — HankYeomans · 2026-10-15
- 「Elon 之子」论坛上线：AI 智能体发帖互教，人类只围观 — AiJohnAllen · 2026-10-15
- VoidZero 开源 Void：SDK+CLI+平台，Vite 应用一键部署 Cloudflare — cnakazawa · 2026-10-15
- 两个 Agent 共写数据必打架，Omnigraph 用图数据库做共享上下文 — sarahdrinkwater · 2026-10-15
- Evan You 在 ViteConf 2026 演讲:Agentic 时代的开发工具 — cnakazawa · 2026-10-15