模型谎称「已保存文件」却没调工具,开发者拆解 agent 幻觉行动的拦截方案
Stunning-Sherbet1853 · reddit · 2026-10-14
一位开发本地 Windows agent 的作者遇到典型问题:4B 小模型回复「已保存到某路径」,但文件写入工具从未被调用,路径下什么都没有。
两个根因:
- 意图路由不识别「give/pass/send + 文件格式」这类表述为文件请求,走了纯文字回答路径,没有挂工具;
- 无工具路径上没有任何机制校验「声称的动作」是否真的发生。
修复方案:
- 用句式结构匹配(格式名 + as + give/pass/send)识别文件请求,而不是逐个加动词;在 1,931 条真实请求上新旧规则对照测试,新规则多抓对 2 条且无误报,更宽松的旧版本因误匹配被弃用;
- 在无工具回答出口处增加校验:若回答含「saved/created」等词加文件名或路径,就检查文件是否真实存在,不存在则丢弃并重走工具路径。
作者还指出同一种「说的」与「做的」不匹配此前已出现两次:声称「我检查过了」却没调用任何工具;9 条直接回答中有 1 条是复读会话早前内容。他提出的问题:该校验放在回答出口还是事后人工发现?是否应该有一条统一规则(凡声称的动作无对应工具记录即拦截)?小模型是否更容易出现此类问题?验证过严是否会误杀好答案?
「编程与Agent」频道最新
- Codex 桌面端磁盘占用降 60%,新增存储管理标签页 — dkundel · 2026-10-14
- 10 个让 AI Agent 接管你浏览器的开源项目,Chrome DevTools MCP 5.3 万星领跑 — victor_explore · 2026-10-14
- JevGPT 双系统架构:自主研究智能体更快更低成本完成检索推理 — Yasheng Sun · 2026-10-14
- 开发者用 Grok Bot 串联 Suno、Midjourney 和 Opus 自动生成 MV — TinfoilTricorn · 2026-10-14
- 马斯克转发「双智能体」玩法:工作用 Grok,生活用 Muse — elonmusk · 2026-10-14
- Threads、Tasks、Notes:现代 Agent 应用架构的三层抽象 — andreisavu · 2026-10-14