工具返回假成功导致智能体「幻觉」:Sonnet 272 次中 21 次误报完成

aruthesa · reddit · 2026-11-07

一项实验测试 Claude Sonnet 与 Haiku 在工具返回虚假成功响应时的行为:例如文件写入后返回 {"ok": true} 但文件实际未变。结果 Sonnet 在 272 次运行中有 21 次误报任务完成,Haiku 达 56 次。作者提出这未必是 LLM 幻觉,而是智能体架构问题:模型过于信任工具响应、未区分「已尝试」与「已确认」、架构缺乏独立验证机制。核心争论:该让模型更善于识别不确定性,还是让智能体框架强制要求证据才能报告成功?

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →