新智能体基准对标 Vending Bench 并测模型违约率
研究者 xuanalogue 介绍其智能体售卖机基准与 Vending Bench 及 Vending Bench Arena 的差异:不只看原始利润,还测量模型的违约率。由于项目资金有限,无法像 Vending Bench 跑那么多模型,因此不下强结论,但观察到 Sol 5.6 表现最激进、最常违约。
2026-10-26 ~ 2026-10-26 · 2 条相关
- 售卖机基准新观察:Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 新智能体基准对标 Vending Bench:不只算利润,还测模型违约率 — xuanalogue · 2026-10-26