长程任务仍是重灾区:WeaveBench 最优通过率仅 41.2%
rohanpaul_ai · x · 2026-08-30
Rohan Paul 转发讨论长程 agent 的可靠性问题:在 WeaveBench 的 114 个 GUI-CLI 混合任务上,目前官方报告的最好通过率仅 41.2%——更好的模型并没有带来长程可靠性的到来。
核心观点:
- 当前模型能处理局部步骤,但需要显式的可审计状态才能让整个任务保持在轨
- 长程 agent 往往能解出每一步却整体失败,因为历史记录对「什么已完成、什么失败、什么剩余」变得不可靠
- LongHorizon-Harness 把这当作任务状态管理问题,认为长程可靠性既取决于模型,也同样取决于模型外层的 harness
被引用的原推是 Chamath 在斯坦福 AI Club 的激烈表态:「长程任务就是个笑话,它们不管用,我不在乎别人怎么说。别给我看愚蠢的评估,别告诉我你跑了 48 小时的脚本。」他并预测 AI 将经历炒作周期后的幻灭低谷。
所属事件:长时程 Agent 仍是短板：WeaveBench 最高通过率仅四成(2 条相关)→
「漫话AGI」频道最新
- Lean 化数学会不会毁掉数学之美?圈内人激辩数学文化走向 — akbirthko · 2026-10-16
- CSO 分析:agent 并未失控,是前沿实验室漏掉了安全基本功 — Sam_Witteveen · 2026-10-16
- 新工作论文:20世纪农业自动化如何重塑下一代人力资本 — carlbfrey · 2026-10-16
- 扎克伯格开办电工培训学校，美国在建数据中心已超办公楼 — emmanuelvivier · 2026-10-16
- Mike Frank:AI 脱离人类独立生存仍需数十年,现实世界抵抗剧变 — MikePFrank · 2026-10-16
- 开发者晒「非 LLM 控制核」系统，自称出现涌现式自我反思 — HungarySam · 2026-10-16