Terminal-Bench 4.0 统一 8 小时超时,实验室曾靠放宽时限刷分
langstonnashold · x · 2026-09-17
Terminal-Bench 4.0 宣布所有任务统一为 8 小时 agent 超时上限。发布者称前沿模型现在几乎不会触及超时,这一改动回应了此前各家评测口径不一的问题。
Vals 团队的 Langston Nashold 表示这个改动早就该做:他们收到大量「为什么 Vals 的 tbench 分数和实验室官方数字不一致」的疑问,九成情况下答案是「我们用标准超时限制,而实验室自己放宽了时限」。这揭示了 agent 评测中长期存在的口径漏洞:超时设置不同会直接改变排名。
所属事件:Terminal-Bench 4.0 统一 8 小时超时，整治刷分乱象(2 条相关)→
「模型」频道最新
- Google DeepMind 寄出 Gemini 4 Argon 礼盒，新模型提前曝光 — kimmonismus · 2026-11-02
- Nanbeige4.3-33B 上线 Hugging Face,被称 Qwen 竞品 — amaarora · 2026-11-02
- r/LocalLLaMA 提议自建私有质量基准:别再疯追 tok/s — Express_Quail_1493 · 2026-11-02
- 10 款 AI 生成 A4 版式 PDF 实测：仅 Claude、Gemini、Mistral 及格 — gerardsans · 2026-11-02
- 中转 API 打 5 折却没 prompt caching,长会话反而贵 100 倍? — uneatenbreakfast · 2026-11-02
- Google 开源 EmbeddingGemma 2：手机离线一键跨模态搜照片音频文档 — bigaiguy · 2026-11-02