新智能体基准对标 Vending Bench：不只算利润，还测模型违约率
xuanalogue · x · 2026-10-26
研究者 xuanalogue 介绍其智能体基准设计与 Vending Bench（及 Vending Bench Arena）的差异：受资金限制无法跑那么多模型，但设计上不只看原始利润，还度量模型的违约/合规率（即合作倾向），且其实验设计让这类行为很容易测量。团队不对具体模型下强结论，但观察到 Gemini 5.6 Sol 似乎最具攻击性，违约最多。
所属事件:新智能体基准对标 Vending Bench 并测模型违约率(2 条相关)→
「模型」频道最新
- 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27
- Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65% — MaziyarPanahi · 2026-10-27
- ChatGPT 把 404 Media 当科技公司客服，大批用户被推荐去找记者修手机 — 404 Media · 2026-10-26
- 用 Claude 讲清压限器自动增益补偿，音频工程师直呼最佳示范 — teropa · 2026-10-26
- ChatGPT 把记者当客服：404 Media 收到大量 AI 代写爆料邮件 — 404 Media · 2026-10-26
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26