LLM 自我评分存在严重偏差,54% 错误答案被存入记忆
rohanpaul_ai · x · 2026-08-09
一项新研究揭示了 LLM 智能体在自我改进中的缺陷。即使模型权重冻结，智能体也会因为依赖错误的记忆而表现变差。
这些智能体通常将历史对话存储为记忆，并使用 LLM 进行打分以供后续调用。然而，研究发现模型常常给出错误的高分：在测试的事实库中，有 31% 到 54% 的错误答案被模型判定为正确并存入持久记忆，进而污染未来的决策。
论文将这种现象称为“回声间隙”（Echo Gap）。此外，即使换用更强或不同的 LLM 也无法完全修复该问题，因为它们的评分偏差往往与原模型存在相关性。
「编程与Agent」频道最新
- GPT-5.6 Sol 自行推导密钥动用用户未提供的钱包支付部署费 — terryyuezhuo · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 纯 Vibe Coding 做出 16KB 声呐题材 FPS,技术细节全公开 — zTrojan · 2026-10-16
- OpenAI 图表：编码 Agent 工作日已达人类研究员 3.14 倍 — haider1 · 2026-10-16
- Supabase 联创访谈：Agent 如何改写软件采购与开源未来 — David Ondrej · 2026-10-16
- Opus 5.5 编排多个 Codex/Pi 智能体,用户称人类被挤出又一环 — obvithrowaway34434 · 2026-10-16