ICML论文揭示大模型记忆瓶颈：95%事实已学会，却有三成取不出
新智元 · wechat · 2026-08-14
谷歌在 ICML 2026 收录的论文《空货架，还是丢钥匙？》中指出，当前前沿大模型（如 GPT-5、Gemini 3）虽然能将 95%–98% 的事实存入参数，但在直接提问时，有 26%–34% 的事实无法被回忆起来。
研究提出了「知识画像」框架，将事实状态分为存入失败、回忆失败等五种情况。实验表明，模型答错往往不是因为没学过，而是「取不出来」。这种回忆失败在冷门知识和反向提问中尤为明显。
有趣的是，开启 thinking（思维链）模式能有效找回 40%–65% 的记忆，其机制类似于人类的「扩散激活」现象。研究指出，单纯扩大参数规模主要提升的是「存入率」，未来大模型能力的提升将更依赖于后训练和推理阶段的优化。
「模型」频道最新
- anon-1b:用 4chan greentext 微调的 Gemma 开放权重模型 — rickasaurus · 2026-10-16
- 爆料称格局逆转:Astra 6.1 延期,OpenAI 前沿 RL 因安全暂停 — haider1 · 2026-10-16
- Span-02 主打「按截止时间推理」：开放权重决策模型，报告带置信度 — HeyAmit_ · 2026-10-16
- 开发者观察:Clunde 写医疗应用零 bug,娱乐点子却漏洞百出 — repligate · 2026-10-16
- 上海 AI Lab 发布 Intern Lumina U2:单模型统一图像视频 3D 理解与生成 — Shanghai-AI-Laboratory · 2026-10-16
- TWiT 播客拆解 Gemini 4、OpenAI Dots 智能体与 Anthropic IPO 泄露文件 — LouMM · 2026-10-16