Transformer 没有记忆:先验只是穿过注意力层的向量
gerardsans · x · 2026-11-19
一场关于 Transformer 是否存在「记忆」的技术争论。作者的核心论点:
- 所谓先验(prior)只是能穿过注意力层和下一 token 采样存留下来的向量;Transformer 对每个 token 一视同仁,指令、观察、状态、示例、记忆这些区分都是人贴的标签,不是模型的底层原语。
- 单次前向传播不会因为把某种行为叫「记忆回忆」就真的变成记忆;Transformer 不是数据库也不是大脑,里面没有记忆、自我或认知,把这些拟人化只是叙事投射而非技术现实。
对理解上下文窗口与「记忆」产品宣传的差异是有价值的冷静视角。
「模型」频道最新
- NVIDIA 发布 Qwen3.5-4B 草稿模型,为 Qwen3.8-27B 加速投机解码 — nvidia · 2026-11-19
- 医生称 NotebookLM 彻底改变工作,Ethan Mollick:三大厂近两月发布足够让人满意 — stevenbjohnson · 2026-11-19
- 「烧铜味」梗:Numerai 式调侃 DeepSeek R1 的思维风格被新模型继承 — aiamblichus · 2026-11-19
- 爆料称 Google 将于一小时内发布 Gemini Neon,号称 Opus 5.5 级但更便宜更快 — imjustnewatai · 2026-11-19
- ChatGPT 桌面版用 computer use 操控了自己,名场面引热议 — SimonBalmain · 2026-11-19
- 语音模型 Phonic-1 工具调用准确率 97.5%,居 Cekura 榜首 — graceisford · 2026-11-19