实测 4 个开源 Agent:进程中断重试全都重复扣款或卡死

merlinofthewater · reddit · 2026-10-09

作者对 4 个已发布 Agent 代码库在固定 commit 上做中断重试实验,发现共同根因:没有记录哪些动作已完成,重试进程带着空历史重做一遍。

引用一项 25,930 个 Agent episode 的 arXiv 研究:Agent 在实际重复了效果的 episode 中 90% 自报成功——即不能问 Agent 自己做了什么,按自报 trace 评分的 benchmark 会把「重复且谎报」判为通过。作者也坦承无法修复「动作落地与记录提交之间死亡」的窗口,因为效果与记录分属不同系统;benchmark 若报零重复,很可能是只在已提交边界崩溃。实验 harness 与原始 ledger 开源在 GitHub,全部走本地 fake 服务,无需 API key。

所属事件:实测四个开源 Agent 中断重试全部重复已完成的动作(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →