300 封邮件里找出真相:基准给 Agent 出采购决策难题
alifcoder · x · 2026-08-26
CommerceAgentBench 的采购测试设定:agent 接手一个约 300 封邮件的采购收件箱,里面混杂供应商报价、修改后的数量、交货条款、付款信息、已撤回报价和身份相似的供应商。任务不是「总结这些邮件」,而是判断哪些信息真实有效、缩小可选范围,并依据人类设定的业务规则支撑最终采购决策。
所属事件:阿里开源最难关电商Agent基准，最强仅完成61.68%(11 条相关)→
「研究」频道最新
- Hannah Fry 专栏：OpenAI 解题潮让数学界陷入存在危机 — AnnaCiaunica · 2026-10-15
- 观察：AI 评测正从离线走向在线 — vboykis · 2026-10-15
- StartLux-Decision 发布:RL 训练的校准决策模型,27B 得分 72.8 — startlux-models · 2026-10-15
- 9 个月内三分之一的数学预印本由 AI 参与写作 — IgorCarron · 2026-10-15
- AAAI/ACM AIES 论文:访谈 15 名从业者揭示负责任 AI 实践何以难持续 — ChinasaTOkolo · 2026-10-15
- Schmidt Sciences 投 1000 万美元资助 19 个 AI 人文研究团队 — OdedRechavi · 2026-10-15