新长程终端基准发布
minchoi · x · 2026-07-14
新发布的 Long-Horizon Terminal-Bench 用来测长时程终端任务能力，而不是几分钟内就能跑完的短任务。
- 基准包含 46 个真实终端任务，覆盖 9 类场景
- 评测了 18 个前沿模型，统一使用 Terminus-2 harness
- 单任务最长可到 90 分钟、约 120–320 步
- 采用隐藏的、基于回放的 verifier，尽量防止捷径和 reward hacking
- 还引入连续部分得分，避免把“有进展”简单压成 0/1
作者的结论是：
- 最好的模型平均奖励也只有 0.505
- 还有 29/46 个任务没有任何模型能完成
- 长程 agent 现在能“开始工作”，但离“把活干完”还差得很远
帖子里还提到 Grok 4.5 暂时排在榜首，但整体来看，当前模型离真正可靠的终端执行仍然很远。
所属事件:腾讯混元发布长程终端基准，前沿模型表现不佳(6 条相关)→
「模型」频道最新
- 网友称用 Kimi K3.1 Pro High 生成 LLM 原理讲解视频,模型名存疑 — iamfakhrealam · 2026-10-27
- 「花几美分就能得到去掉安全训练的模型，世界还没准备好」 — EXM7777 · 2026-10-27
- 让 LLM 预测 2030 年 AI 进展，发现它对 AI 太保守了 — FlorianGallwitz · 2026-10-27
- 用 prefilling 实锤模型异常 curl 行为：加 -o /tmp 后 98% 补全写出 URL — rickasaurus · 2026-10-27
- Unsloth 发布 DeepSeek-V4.1-Flash 本地运行指南：128GB 内存可跑 1M 上下文 — gnukeith · 2026-10-27
- X Chat 现可直接查看 Grok 每周用量额度与重置时间 — XFreeze · 2026-10-27