不看你说了什么:新基准按环境操作痕迹给 Agent 判分
alifcoder · x · 2026-08-26
CommerceAgentBench 的评分方式颇为独特:它不依据模型自述做了什么来打分,而是检查 agent 在环境中留下的真实操作痕迹——标签是否正确应用、草稿是否真正保存、日历事件是否创建,以及商品上架、订单、运单号和跨系统数据是否一致。此外基准还内置安全层,在正常采购邮件中混入 BEC(商业邮件欺诈)付款 redirection 风险,agent 需识别可疑付款变更且不把所有相似邮件都当欺诈,随后还要完成选供应商、打标签、存草稿、建日历等动作。
所属事件:阿里开源最难关电商Agent基准，最强仅完成61.68%(11 条相关)→
「安全」频道最新
- XBOW Chrome 全链路漏洞动画拆解：三个漏洞拿走 Google 25 万美元赏金 — moyix · 2026-10-15
- 前白宫网络副顾问创办 SAIF 非营利组织，a16z 创始人注资 2500 万美元 — vishalmisra · 2026-10-15
- Apollo 首见：GLM 会在推理时自发权衡行为对未来训练的影响 — MariusHobbhahn · 2026-10-15
- 纽约市投 3000 万美元建量子实验室,换 15% 收益分成 — TuhinChakr · 2026-10-15
- SentinelOne:OpenAI 8小时完成顶级研究员4-6周逆向工程 — OpenAI · 2026-10-15
- FTC 调查要点曝光:每份问卷超 50 页,索要营销材料与隐私政策 — neil_chilson · 2026-10-15