阿里发布 CommerceAgentBench：含 300 封混乱采购邮件的电商 Agent 基准
aftahi_ai · x · 2026-08-30
阿里国际团队发布了 CommerceAgentBench，这是一个极具实战意义的电商 Agent 基准测试。它不同于传统只看答案准确率的评测，而是考察 Agent 在真实世界中的任务完成能力。
核心特点：
- 任务复杂度高：包含 107 个源自真实用户需求的任务，数据来自 1000 万用户和 16 万条执行轨迹。
- 环境高度还原：引入高保真、有状态的在线服务复制品，模拟真实操作环境。
- 挑战现实混乱：单任务可能涉及约 300 封混乱的采购邮件，Agent 需验证供应商、重构报价、归一化成本、检测 BEC 欺诈，并跨邮件和日历采取行动。
- 评分依据行动：不看模型说了什么，只看其留下的运营痕迹。
所属事件:阿里 Accio 开源电商 Agent 基准，最高分仅 61.7%(6 条相关)→
「研究」频道最新
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- 研究：一个 just 之差就能改变 LLM 对话的走向 — StellaLisy · 2026-10-16
- SEAR 首次大规模对照研究：7 个前沿 LLM、330 项任务检验自进化机器人 — xiye_nlp · 2026-10-16
- Claude 助力连破椭圆曲线纪录后，EC Rank 挑战赛开放 156 个纪录位 — Jsevillamol · 2026-10-16
- 用超声替代胎儿 MRI，牛津团队做产前大脑 AI 建模 — AnnaCiaunica · 2026-10-16
- 开源项目 vegaml 一周补齐全家桶：级联推理、校准与 MCP 服务器 — kalyan_kpl · 2026-10-16