Qwen 发布 E-CommerceBench:10 万本金经营网店一年,18 个模型仅 2 个学会压价
千问大模型 · wechat · 2026-09-03
通义千问团队联合淘天集团发布 E-CommerceBench,让 Agent 以 10 万元本金在模拟真实电商环境中经营网店 365 天,评估长程商业决策能力。
环境设计
- 真实脱敏数据:6,886 个商品、60 品类、576 家供应商(152 家欺诈)、12 种店型、全年 10 个市场事件与 8 场促销。
- 时间预算:每天 600 分钟,每次工具调用都扣时间;三账户结算(收入发货后 9 天到账)还原真实现金流压力。
- 关键设计:供应商谈判由确定性内核驱动,LLM 只负责渲染对话——保证可复现,且无法靠越狱把价格砍穿成本线。
核心结果(18 模型 × 5 轮)
- GPT-5.6Sol 年末资产 143 万(14.31 倍)居首,但反欺诈仅排第 16;Qwen3.8-Max-Preview 是开源最佳(4.16 倍),前四名均为闭源模型。90 次评测中 10 次破产,多为 1 月压货导致现金流断裂。
- 谈判:ClaudeOpus4.7 砍价分 0.811 最佳;无模型能压到供应商成本底线。
- 反欺诈差距最大:流向欺诈供应商的采购占比最高与最低相差超 160 倍(0.12% vs 20.11%),分水岭在「聊完后下不下单」。
- 长程学习:18 个模型中仅 Qwen3.8-Max-Preview 的 AnchorRatio(0.88)显示能持续压低进货价,其余模型一年下来反而买得更贵。
- 七维度无模型全绿,前三名各有维度掉出前十;单一总资产指标掩盖真实短板。
团队总结:确定性内核 + LLM 渲染是长程任务评测保持可复现的通用思路;基准远未饱和。
所属事件:Qwen 发布电商智能体基准 全年模拟无一模型全面领先(4 条相关)→
「研究」频道最新
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- SFT 阶段配方公开:指令/推理/代码/数学混训,不做多 epoch — TimDarcet · 2026-10-21
- 训练中期阶段揭秘:扩到 131k 上下文,「不要 logit,只要 token」 — TimDarcet · 2026-10-21
- 数学家 Daniel Litt 认输后谈 AI：能解题，但自动化不了数学研究 — ziv_ravid · 2026-10-21
- AI 制药真实现状：不是一句话治癌，而是海量结合筛选加毒性过滤 — burny_tech · 2026-10-21
- PyTorch 官方详解 IBM Spyre 后端：KTIR 与数据流调度器如何跑通 AI 加速器 — PyTorch · 2026-10-21