新长程终端基准发布
minchoi · x · 2026-07-14
新发布的 Long-Horizon Terminal-Bench 用来测长时程终端任务能力，而不是几分钟内就能跑完的短任务。
- 基准包含 46 个真实终端任务，覆盖 9 类场景
- 评测了 18 个前沿模型，统一使用 Terminus-2 harness
- 单任务最长可到 90 分钟、约 120–320 步
- 采用隐藏的、基于回放的 verifier，尽量防止捷径和 reward hacking
- 还引入连续部分得分，避免把“有进展”简单压成 0/1
作者的结论是：
- 最好的模型平均奖励也只有 0.505
- 还有 29/46 个任务没有任何模型能完成
- 长程 agent 现在能“开始工作”，但离“把活干完”还差得很远
帖子里还提到 Grok 4.5 暂时排在榜首，但整体来看，当前模型离真正可靠的终端执行仍然很远。
所属事件:腾讯混元发布长程终端基准，前沿模型表现不佳(6 条相关)→
「模型」频道最新
- 网传 OpenAI 发布 GPT-6.1 Terra，配图基准分超 Claude Opus 5.5（未证实） — ZeroStateReflex · 2026-10-27
- GPT-6.1 Terra 事实错误率从 22.3% 降至 4.3%，降幅近 81% — haider1 · 2026-10-27
- GPT-6.1 Terra 发布:早期用户称写作与 computer use 表现亮眼 — BenBajarin · 2026-10-27
- GPT-6.1 Terra 跑分曝光:成本低至 Sol 一半,追不平 Astra — Angaisb_ · 2026-10-27
- Artificial Analysis 更新智能指数 v4.3.2，GPT-6.1 Terra 参与横评 — ArtificialAnlys · 2026-10-27
- AA 实测:GPT-6.1 Terra 幻觉率降 50%,准确率还升 2 分 — ArtificialAnlys · 2026-10-27