CLI 编程智能体失败轨迹研究
dair_ai · x · 2026-07-14
这篇研究把 CLI coding agent 的失败过程拆成了三段：
- onset：任务开始出错的时间点
- evolution：错误如何逐步累积
- irrecoverable point：何时已经无法挽回
作者指出，传统可靠性评估通常只看最终成败，忽略了中间轨迹；而这项大规模研究的价值在于，它能回答两个更关键的问题：失败到底从哪一步开始，以及如果提前介入，哪些任务其实还能救回来。对于构建或监督编程智能体的人来说，这类分析比单纯的通过率更能指导 checkpoint、监控与干预策略。
「编程与Agent」频道最新
- 开发者用 GPT-6 Astra 搭配 Hyper3D Rodin 做出交互式 3D 产品展示 — nikola_mr64990 · 2026-09-11
- Codex 用户实测：Sol 搭配 Astra/Luna 子代理更省额度 — pvncher · 2026-09-11
- 开源 Agent Skill 2.3k 星:生成 MVP 蓝图并审计重构 agentic harness — tom_doerr · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11