CLI 编程智能体失败轨迹研究
dair_ai · x · 2026-07-14
这篇研究把 **CLI coding agent** 的失败过程拆成了三段： - **onset**：任务开始出错的时间点 - **evolution**：错误如何逐步累积 - **irrecoverable point**：何时已经无法挽回 作者指出，传统可靠性评估通常只看最终成败，忽略了中间轨迹；而这项大规模研究的价值在于，它能回答两个更关键的问题：**失败到底从哪一步开始**，以及**如果提前介入，哪些任务其实还能救回来**。对于构建或监督编程智能体的人来说，这类分析比单纯的通过率更能指导 checkpoint、监控与干预策略。