改一条学习规则让 Hopfield 网络记忆容量提升逾 10 倍
bravo_abad · x · 2026-11-12
Blümel 等在 Nature Communications (2026) 发表新研究：只需改变学习规则，经典 Hopfield 网络的存储容量可提升 10 倍以上。
- Hopfield 网络是一种「神经记忆」：存储模式并从初始线索中召回，但模式间会互相干扰，限制容量。
- 新方法的核心：训练时每个神经元接收两路信号——要存储的模式和来自其他神经元的活动。新目标函数最大化这两路信号对该神经元响应的共享信息（信息冗余 Πred）。
- 在随机模式基准上，新规则达到约 每神经元 1.59 个存储模式，而经典 Hebb 规则仅 0.14，提升超过 10 倍（见配图中容量极限 α 从 αH 右移到 αC）。
- 方法论洞见：目标函数来自分析成功存储的共同特征——高信息冗余。作者总结的可借鉴思路是：把「模型为何有效」的可测量解释转化为训练目标。
「研究」频道最新
- MIT 教授批「formal-washing」:Signal 协议验证只完成了一部分 — tegmark · 2026-11-12
- Signal 形式化验证达 80%，MIT 教授称 Wired 报道夸大其词 — tegmark · 2026-11-12
- 「物质何时在计算?」:用波记忆与计算闭包界定自主物理计算 — neurovium · 2026-11-12
- 范畴论视角下的物理计算:什么时候一个物理系统才算在计算? — neurovium · 2026-11-12
- Radical Numerics 将基因组大模型 Omnii-1 部署到边缘设备实时检测生物威胁 — exnx · 2026-11-12
- LessWrong 长文拆解「可验证 vs 模糊任务」:这个二分法本身有问题 — dfrsrchtwts · 2026-11-12