CLI 编程智能体失败轨迹研究
dair_ai · x · 2026-07-14
这篇研究把 CLI coding agent 的失败过程拆成了三段：
- onset：任务开始出错的时间点
- evolution：错误如何逐步累积
- irrecoverable point：何时已经无法挽回
作者指出，传统可靠性评估通常只看最终成败，忽略了中间轨迹；而这项大规模研究的价值在于，它能回答两个更关键的问题：失败到底从哪一步开始，以及如果提前介入，哪些任务其实还能救回来。对于构建或监督编程智能体的人来说，这类分析比单纯的通过率更能指导 checkpoint、监控与干预策略。
「编程与Agent」频道最新
- 开发者正训练「看门模型」：专门拦截提示注入与记忆投毒 — gnukeith · 2026-10-27
- Mirendil 发布首个模型 Fern：上下文窗口达 1000 万 token — shayan_ · 2026-10-27
- 旧金山 Code Engineering 大会聚焦从编码 agent 到软件工厂 — LangChain · 2026-10-27
- 用 Claude Code 当 iPhone 取证器:挖出「已删」照片的 30 天隐藏副本 — alex_verem · 2026-10-27
- 用 Claude Code 审计 iPhone 备份，揪出被删照片的全部藏身处 — alex_verem · 2026-10-27
- Yuchen Jin：手机不是移动 IDE，而是 agent 舰队的控制台 — Yuchenj_UW · 2026-10-27