COLM 2026 论文:LLM 事实存储达信息论最优率的闭式构造法
HazyResearch · x · 2026-10-07
Hazy Research 团队(含 jerrywliu、garctrob 等)的 COLM 2026 论文揭示一个惊人发现:LLM 的事实存储密度达到了信息论最优速率,存储于 MLP 权重中。
- 团队展示了如何在不训练的情况下,以闭式(closed-form)方法构造出能以信息论最优速率存储事实的 MLP。
- 这些 MLP 可直接嵌入 Transformer 结构中完成事实回忆任务,为理解与手工编写模型中的知识存储提供了新路径。
「研究」频道最新
- Chrome 偷偷内置 425KB 神经回声消除模型,回声抑制多 5.4dB — chadwallacehart · 2026-10-08
- Snorkel 开放基准资助扩至 3000 万美元，并组建红队查基准漏洞 — ajratner · 2026-10-08
- 研究者分享用 AI 定理证明器做硬件形式化验证的 REBASE 2026 演讲 — satnam6502 · 2026-10-08
- 1985 年亲历者发声：反向传播史不是美国叙事那一套 — SchmidhuberAI · 2026-10-08
- NVIDIA 提出 PivotOPD：让多轮智能体学会从关键错误中恢复 — NVIDIAAI · 2026-10-08
- Scott Aaronson 发文「数学末日论」:AI 时代数学教育与研究的走向 — TMWNN · 2026-10-08