Heisentools:用 AI agent 重写 mock 文件模拟任意服务测试 agent

kieranklaassen · x · 2026-10-16

作者分享了正在把玩的「Heisentools」玩法(借鉴 kyle kukshtel 的 heisenfunction 思路结合 autoresearch):搭建一个假服务,让一个 AI agent 不断重写 mock.py,直到它能复现并外推已观察到的真实工具调用。以 fakeslack 为例——mock.py 是一个纯代码文件,直接应答被测 agent 的调用,不跑任何模型、不碰真实 Slack;录制期通过校准循环,把 mock.py 的答案与真实回复打分对比,分数低就让 agent 重写。这样测试 agent 时可规避 rate limit、context drift,也不污染真实数据库。作者已在真实 Slack 消息上验证,理论上适用于任意服务(fakegmail、fakegithub 等)。