UC 新研究：把工具输出存文件再检索，反而让 GPT Agent 准确率下降
ucriverside · hf · 2026-10-23
UC Riverside 与 UC Irvine 的论文研究了 agent harness 中一个常见设计：把超长工具输出写入文件、让 agent 按需检索，而非直接放进上下文。作者用 USGS 的地球化学模拟器 PHREEQC 做实验——其报告长达 84.68 万字符且完全确定，可追溯每个打印值——并让 agent 回答 158 道经执行验证的选择题。
核心发现
- 底层计算正确时，agent 仍可能答错：从文件检索长模拟输出时，GPT 系模型会用自己「编的近似值」替代权威结果
- 即 harness 的文件检索设计会诱发模型用近似替代权威数据，导致准确率下降
- 此前研究（Sen et al. 2026）已发现以文件形式交付搜索结果在多数 harness–模型组合中降低准确率，但未解释原因；本文定位了损失发生的具体环节：错答案难以区分是计算错误还是「读数错误」
「编程与Agent」频道最新
- 别再堆规则文件：直接让编码 Agent 读《Clean Code》 — Al_Grigor · 2026-10-23
- 游戏开发者倒戈：用了一年 GPT 后称 Opus 5.5 写码更顺手 — rudrank · 2026-10-23
- 把可验证代码从 1% 缩到全集：形式验证的现实困境 — jd_pressman · 2026-10-23
- 用 ChatGPT Space 搭出完整 GTD 系统，自动维护任务清单 — prd_008 · 2026-10-23
- GTA V 全部 NPC 实时开口说话:克隆声音保持人设,1 秒内响应还能执行指令 — Prime-Paradox · 2026-10-23
- 用 Claude 证明内存安全等价,一次性挖出大量 PHP 深层 bug — jd_pressman · 2026-10-23