新工具用轨迹差分抓住模型切换后的 Agent 回归
Impossible-Alarm-738 · reddit · 2026-07-22
- 作者是在一次模型切换静默破坏了 agent 行为之后做出这个工具的：表面上回复都正常、现有 eval 也都通过，但 cancelsubscription 工具调用其实已经不再发生，导致用户被告知“已取消”而实际没有取消。
- whatbroke 的思路不是看文本 diff，而是对比两次运行的 JSONL 轨迹：调用了哪些工具、参数是什么、顺序如何、耗时和成本多少、最终输出是什么，从而抓住真实行为变化。
- 它还提供代理模式 whatbroke record，可以不改代码地抓取任意语言的 trace；并考虑到 agent 非确定性，支持同一场景多次记录，用 flap rate 区分“本来就不稳定”的行为和真正的回归。
- 工具是离线、确定性的，MIT 许可，且可以在 CI 里通过退出码 1 直接拦住破坏性变更。
所属事件:开发者推新工具检测模型切换引发的Agent回归(2 条相关)→
「编程与Agent」频道最新
- Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量 — minnesotanlp · 2026-10-27
- 开发者吐槽 Claude 烧 token：同样工作 GPT 省 3 倍用量更便宜 — haider1 · 2026-10-27
- InfoWorld：别把模型当地基，Agent 架构必须做到 48 小时可换模型 — rseroter · 2026-10-27
- 便宜模型跑 Agent 反而更贵：线性往返堆爆上下文窗口 — vasuman · 2026-10-27
- 5 千行 Rust 单二进制看板 Kanzo：给 Claude Code 当任务板 — allmudi · 2026-10-27
- 「人类审批就安全」是幻觉：approval fatigue 与 Agent 风险设计 — Efistoffeles · 2026-10-27