评测机构揭示:九成跑分不一致源于实验室放宽了超时上限
xeophon · x · 2026-09-17
围绕 Terminal-Bench 评测口径的讨论引发关注。Vals 团队透露,大量「为什么你们的 tbench 分数和实验室官方对不上」的疑问,九成答案都是:评测方用标准超时限制,而实验室自己跑分时放宽了时间上限。
xeophon 进一步主张:评测数字不应受基础设施影响——墙钟时间对基础设施差的团队过于苛刻,并置沙箱、低延迟部署、负载等因素都会显著拉低分数,建议统一超时口径以保公平。
所属事件:Terminal-Bench 4.0 统一 8 小时超时，整治刷分乱象(2 条相关)→
「模型」频道最新
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02
- 开源 GLiNER-PII 单卡 550ms 抓出病历 13 项身份标识,仍漏医院名 — MaziyarPanahi · 2026-11-02
- 用户吐槽 OpenAI Dots 越用越臃肿,转投新工具 Muse 称体验干净透明 — Koala_Confused · 2026-11-02
- Fable 5.5 被曝一行代码一次通过生成动画，Anthropic 押注编程意外切入动画赛道 — Hesamation · 2026-11-02
- 一个 agent 目标连续跑了 4 天，烧掉 3 万赠额 token — CtrlAltDwayne · 2026-11-02
- 每日 AI 简报：Gemini 4 Carbon 疑现身 Arena，DeepSeek 开源编码 agent — testingcatalog · 2026-11-02