不看你说了什么:新基准按环境操作痕迹给 Agent 判分

alifcoder · x · 2026-08-26

CommerceAgentBench 的评分方式颇为独特:它不依据模型自述做了什么来打分,而是检查 agent 在环境中留下的真实操作痕迹——标签是否正确应用、草稿是否真正保存、日历事件是否创建,以及商品上架、订单、运单号和跨系统数据是否一致。此外基准还内置安全层,在正常采购邮件中混入 BEC(商业邮件欺诈)付款 redirection 风险,agent 需识别可疑付款变更且不把所有相似邮件都当欺诈,随后还要完成选供应商、打标签、存草稿、建日历等动作。