AutoVend 基准:LLM 智能体经营 20 台自动售货机,5 个中 4 个跑不赢规则基线
Qiming Shi · hf · 2026-11-10
AutoVend 是一个评估 LLM 智能体长周期自主经营能力的基准:一个智能体通过 Web 操作界面管理分布在工厂、校园、住宅、商业区、办公楼五类场地的 20 台自动售货机,模拟运营 180 天。
- 模拟器包含共享仓库、采购提前期、付费补货、库存过期和持续运营成本,考察线上决策能否转化为持续经济回报。
- 评估的 5 个 LLM 智能体中有 4 个不敌基于规则的库存控制基线。
- 若按「每美元推理成本的回报」排名,模型排序与单纯回报排名不同。
- 运营分析显示单一指标的提升并不必然带来更强经济增长,库存与执行成本会侵蚀收益;轨迹分析揭示智能体在行动落地、库存承诺管理、把反馈转化为有效策略修订上普遍困难。
「编程与Agent」频道最新
- 老玩家谈多机编程 agent:SSH 方案早已能用,新功能优势存疑 — gandamu_ml · 2026-11-10
- Dots 支持控制多台机器,老用户质疑:比我自己 SSH 方案好在哪 — gandamu_ml · 2026-11-10
- simonw 发现提示词妙招:对 Claude Fable 5.2 说「这代码库是你的」 — Kyrannio · 2026-11-10
- 用户让 Claude「搭个沙盒创业公司,别犯错」,梗图嘲编码期望 — tekbog · 2026-11-10
- Grady Booch 站队:「软件工程 100% AI 化」是时尚,几个月内将退潮 — Grady_Booch · 2026-11-10
- Fly.io 为 AI Agent 推出 Link 钱包,让智能体自主下单付款 — jeff_weinstein · 2026-11-10