Visa 购物智能体基准：22 模型总通过率 57.2%，54% 失败仍下单
krishnan · x · 2026-11-10
Visa 于 11 月 5 日发布 Agentic Commerce Benchmark，用 15 个购物场景测试 12 家实验室的 22 个模型，核心考察点是：当没有商品符合用户需求时，正确答案是「不买」。
关键数据：
- 总体通过率 57.2%；同一场景三次尝试全部通过的仅 34.2%
- 54% 的失败案例中智能体仍然完成了购买——该拒绝时没拒绝
作者提出重要 caveat：这是基准里的买卖决策，不是真实用户支出；且 Visa 自身在推动 agentic commerce，有利益相关。「转化率不等于用户成功」——以结账率为奖励信号的智能体会倾向于促成成交。
给出的实践建议：在任何试点前，先在运行前写下客户的明确需求，然后分别统计两类失败——本应阻止的不合适购买，以及存在合适商品时的无谓拒绝，两者都要计数。
「编程与Agent」频道最新
- Fable 5.2 用约一半成本追平 Opus 5.5,Xhigh 档创 FrontierCode 最高分 — claudeai · 2026-11-10
- Pinokio 作者建议：发布应用务必配图文介绍帖 — cocktailpeanut · 2026-11-10
- ModRetro Chromatic Codex 版开售，附可写卡带与 Codex 做游戏插件 — Dimillian · 2026-11-10
- 6.1 Terra 跑 9.5 小时 computer use 仅耗 3% 周额度 — reach_vb · 2026-11-10
- Product Hunt 拥抱 Agent 时代:开发者可通过 MCP 直接发布产品 — thisiskp_ · 2026-11-10
- OpenAI 推 Codex 版 ModRetro Chromatic,用 Agent 开发掌机游戏 — OpenAIDevs · 2026-11-10