Visa 实测 22 个 AI 模型 15 项购物任务,失败率约 43%
Thick_Mulberry_2235 · reddit · 2026-11-11
Visa 上周让 22 个模型完成 15 项购物任务,失败率约 43%。更值得警惕的是:超过一半的失败案例中,agent 找不到正确的商品却照样买了一个——就像人在店里找不到合适的电视会走人,agent 却会付钱买错的那台。而这只测试了「挑选」环节,结账与支付尚未测试。作者提出一个被普遍忽视的评测维度:大家都在测 agent 能否完成任务,却很少有人测它是否知道何时该停下来。帖子在 r/agentdevelopers 征集「何时停止」的测试方法。
所属事件:Visa 发布购物智能体基准：22 个模型失败率约 43%(2 条相关)→
「编程与Agent」频道最新
- Gemini 4 Carbon 开发指南：何时用 Carbon、如何设思考等级 — rseroter · 2026-11-11
- LaunchDarkly 发布 Release Autopilot,已有 20% PR 由 agent 直达生产 — annetgriffin · 2026-11-11
- Mercor 专家日结超 500 万美元，押注 RL 环境训练垂直模型 — ccerrato147 · 2026-11-11
- Mercor收购Deeptune：数百个模拟应用供AI智能体练习 — ccerrato147 · 2026-11-11
- Peter Yang 用 Fable 开发一上午卡丁车游戏：这次不是一次性糊弄货 — petergyang · 2026-11-11
- 分析：Anthropic 真正的赌注是 MCP 连接器，把 HubSpot、Adobe 嵌入 Claude — petrusenko_max · 2026-11-11