Neel Nanda:「随机数据」才是 LLM 记忆化的大头，必然依赖叠加存储
livgorton · x · 2026-10-18
Neel Nanda 在讨论中提出，模型的记忆化大部分对象其实是「随机数据」：现实本身充满歧义，比如给出「Michael Jordan 打的运动是」，即使上下文大幅缩小范围，模型最终仍需记住「篮球」这一任意事实并能在需要时复述，这要求把大量任意信息存进有限的神经元里。
他因此认为记忆化必然依赖叠加（superposition）。原帖作者 livgorton 由此追问：如果 MLP 神经元是单语义/单功能的，是否意味着模型能「知道」的实体数量会被神经元总数硬性约束？这是一个关于记忆容量与可解释性的开放技术问题。
所属事件:MLP 神经元单义性之争：模型知识量是否被神经元数封顶(8 条相关)→
「模型」频道最新
- 12 个模型被问「对人类最尖锐的看法」,35 个答案里 29 个指向同一件事 — MoonL88537 · 2026-10-23
- Anthropic 用 Claude 为 100+ 开源库写下汇编级安全形式化证明 — AnthropicAI · 2026-10-23
- 模型处于"恐怖谷"?研究者提醒:别大意,Agent 仍会删库跑路 — danielrock · 2026-10-23
- 社区发布 Qwen 3.8 Flash Next 去审查量化版，4-bit 附 Strata 全套文件 — jjusko20 · 2026-10-23
- 爆料称 Anthropic 正训练对标 OpenAI 内部模型的新模型 — imjustnewatai · 2026-10-23
- AI 研究者：Claude 替我完成了多年前放弃的繁琐研究任务 — MikePFrank · 2026-10-23