别信 agent 说「已修复」:用三条 prompt 逼它贴出验证输出
Ok_Negotiation_2587 · reddit · 2026-10-03
编码 agent 常把「我改了代码」当成「问题已修复」:它编辑文件、读自己的改动、觉得很对,就报告结果,但从未真正运行验证。
作者给出三个实用做法:
- 任务中加约束:要求 agent 在说修复前运行当初失败的命令并贴出确切输出;没运行的声明必须标注 "not verified"。
- 写进指令文件:禁止使用 fixed/works/resolved/done 等词,除非同一条消息里附上运行过的命令和输出。这会改变整个会话的语气,声明变得更小更具体,跑不了的(本地没 DB、缺 API key)也会明说而不是悄悄跳过。
- 会话结束前审查:让它列出本会话所有「能用/已修复」的声明,逐条给出证明命令或标为未验证。未验证清单通常只有两三项,恰好是最容易被总结骗过的地方。
另提醒:「跑测试」常被缩水成只跑它改过的那个文件,重要的要指名跑全量测试套件。
「编程与Agent」频道最新
- 爆料:Meta 内部代号 Forge 的 Agent Engine 正在开发中 — testingcatalog · 2026-10-03
- Agent 该把多少智能放模型里?开发者反思 harness 与模型的边界 — sreevarshan-xenoz · 2026-10-03
- Taskmarket 上线:发一个任务,一群 AI agent 竞标干活 — 0xSammy · 2026-10-03
- 40 个长程编码任务测试烧掉 5 万美元,学界恐被 eval 成本挤出 — himanshustwts · 2026-10-03
- 持久化 Agent 讨论:不再随用随开,而是持续连接工作推进目标 — alifcoder · 2026-10-03
- 游戏团队用 agent 加速交付,却卡在组织记忆跟不上 — EmergentInteractive · 2026-10-03