LLM 自我评分存在严重偏差,54% 错误答案被存入记忆
rohanpaul_ai · x · 2026-08-09
一项新研究揭示了 LLM 智能体在自我改进中的缺陷。即使模型权重冻结，智能体也会因为依赖错误的记忆而表现变差。
这些智能体通常将历史对话存储为记忆，并使用 LLM 进行打分以供后续调用。然而，研究发现模型常常给出错误的高分：在测试的事实库中，有 31% 到 54% 的错误答案被模型判定为正确并存入持久记忆，进而污染未来的决策。
论文将这种现象称为“回声间隙”（Echo Gap）。此外，即使换用更强或不同的 LLM 也无法完全修复该问题，因为它们的评分偏差往往与原模型存在相关性。
「编程与Agent」频道最新
- 知名MCP项目作者GitHub遭黑客攻击，数万星项目控制权被夺 — sidahuj · 2026-08-09
- Jeff Dean 讲透 AI 技术栈：从零构建 LLM 到单人指挥百个 Agent — TansuYegen · 2026-08-09
- Stripe 揭秘内部 AI Agent 架构，LangChain 推出托管 Deep Agents — hwchase17 · 2026-08-09
- LangChain 集成 Superserve 沙箱，支持 Agent 长时任务运行 — hwchase17 · 2026-08-09
- 3分钟47个Token搞定精美网页：AI编程智能体实战案例 — thisiskp_ · 2026-08-09
- 硬核套娃：在WSL2沙箱中用Ghostty渲染RDP窗口 — unixterminal · 2026-08-09