模型切换悄悄破坏取消订阅，开发者做了行为差分工具
Impossible-Alarm-738 · reddit · 2026-07-22
模型切换后，作者的 agent 悄悄不再调用 cancelsubscription 工具，文本评测却全都没发现问题，于是他做了一个专门比较 agent 行为轨迹 的工具 whatbroke。
- 它不是比对文本，而是比对 JSONL 轨迹：工具调用、参数、顺序、耗时、成本和最终输出。
- 提供 whatbroke record 代理模式，只要把 base URL 指过去，就能从任意语言记录 trace。
- 支持同一场景多次采样，并计算 flap rate，把本来就不稳定的行为降权，避免误报。
- 工具完全离线、确定性运行，不需要 API key 或账号，MIT 许可；作者还把它设计成可直接接入 CI 的破坏性变更检查。
所属事件:开发者推新工具检测模型切换引发的Agent回归(2 条相关)→
「编程与Agent」频道最新
- Astra 分镜+Minimax H3 分镜逐帧生成，视频创作成功率大增 — Hailuo_AI · 2026-09-11
- Codex 用户实测：Sol 搭配 Astra/Luna 子代理更省额度 — pvncher · 2026-09-11
- 开源 Agent Skill 2.3k 星:生成 MVP 蓝图并审计重构 agentic harness — tom_doerr · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- 首届 Three.js 大会落地巴黎，AI 正缩短从想法到原型的距离 — OdinLovis · 2026-09-11
- 观点：Agent 真正的瓶颈是企业数据工程能力 — dhruv2038 · 2026-09-11