长周期任务仍是笑话:论文揭示 Agent 跨步失败率高
rohanpaul_ai · x · 2026-08-29
引用 Long-Horizon-Terminal-Bench 论文指出,17 个前沿模型在 46 个长周期终端任务上的平均通过率仅为 6.4%。在严格评分下,10 个模型解决零任务,79% 的失败是因为超时。即使最好的模型完成率也仅为 28.3%。模型能执行局部合理的步骤,但无法可靠地将数百个步骤转化为最终结果。Chamath 亦评论称长周期任务目前根本行不通。
所属事件:Chamath 斯坦福开炮:AI 长程任务仍是笑话(5 条相关)→
「模型」频道最新
- Nat Lambert 炮轰 Meta Muse 开源许可证:一纸空文 — natolambert · 2026-10-16
- Google 发布 Gemini 4 Argon:强调物理理解与 3D 建模 — ShikharMurty · 2026-10-16
- Google 向 X 用户开放 Argon 早期测试,不止限企业 — lyraxana · 2026-10-16
- Grok Voice 3.0 登顶 Design Arena 语音榜,超上代 7.4 分 — XFreeze · 2026-10-16
- 16 项任务实测机器人 LLM:GPT-6 Astra 成功率 17.2% 力压 Fable 5.1 — pabbeel · 2026-10-16
- Meta 开源 816B 多模态模型 Muse Spark,评论称仅次于 DeepSeek — bindureddy · 2026-10-16