专题 · FULL STORY

whatbroke：专治AI模型切换引发的Agent回归

针对AI模型切换引发的Agent“静默回归”难题，开发者推出开源工具whatbroke。该工具通过轨迹diff精准对比模型更新前后的底层行为，有效破解了Agent表面正常却暗自破坏工具调用的隐蔽问题。

2026-07-22 ~ 2026-07-25 · 2 集 · 4 条

第 1 集 · 开发者推新工具检测模型切换引发的Agent回归(2026-07-22,2 条)

近日有开发者发现，AI模型切换后会导致Agent发生“静默回归”，即表面回复正常且通过文本评测，但实际工具调用行为已遭破坏（如不再调用取消订阅工具）。为此，该开发者专门打造了一款行为轨迹差分工具，旨在通过比较Agent的行为轨迹，精准捕捉模型切换带来的隐蔽行为变化，弥补传统评测方法的盲区。

第 2 集 · whatbroke：用轨迹 diff 抓 AI Agent 行为回归(2026-07-25,2 条)

GitHub 开源工具 whatbroke 旨在解决 AI agent 行为对比难题。当模型替换或更新后，agent 有时会在文本输出上伪装正常，却悄悄改变底层的工具调用逻辑。该工具通过对比两次运行间的轨迹 diff，帮助开发者精准捕捉诸如不再调用特定 API 等隐蔽的行为回归问题。