Terminal-Bench 上的长程 Agent 进展
tetsuoai · x · 2026-07-14
帖子在对比 Terminal-Bench 的长时程 agent 表现：
- 早前论文结论认为该基准仍有很大提升空间：15 个模型里最好只完成 46 个任务中的 7 个，平均大约 2 个。
- 现在作者声称 Grok 4.5 已做到 13 个任务，Fable 5 做到 12 个，意味着两个月内 agent 的长程执行能力显著提升。
- 还给出成本与执行特征：单个任务约耗 990 万 tokens、231 个 episodes、85 分钟墙钟时间。
- 作者分析：Grok 4.5 的“4.2x 输出 token 效率”其实低估了收益，因为这类 benchmark 的主要成本在于输入重放；如果模型用更少步骤完成任务，累积上下文更少，整体输入成本会明显下降。
- 末尾推测 Grok 4.5 的提升可能来自与 Cursor 相关的训练数据，即大量真实的 agentic 编辑轨迹。
所属事件:Grok 4.5 登顶终端代理基准测试(3 条相关)→
「编程与Agent」频道最新
- 用 Opus 5.5 逆向改造大疆无人机，手机端全程本地安防追踪 — alexcovo_eth · 2026-10-27
- 微软研究院：ForkPilot 让 Agent 决策回溯的算力开销最高降 59% — EliasEskin · 2026-10-27
- Cursor 发布 Agent SDK:Markdown 写提示词,TypeScript 定义工具 — soleio · 2026-10-27
- 形式化方法黑客松 Vibecheck 满员:在旧金山给真实软件做形式化验证 — spikedoanz · 2026-10-27
- 医疗 AI agent 输出如何验证?开发者征求单元测试与 LLM 评审之外的方案 — Practical_Green5775 · 2026-10-27
- AI 智能体或成运行代码的唯一方式：鲁棒性远超传统方法 — IgorCarron · 2026-10-27