HOLA：为线性注意力补充“海马体”式精确记忆
omarsar0 · x · 2026-07-03
一篇新论文提出 HOLA：在线性注意力/状态空间模型的压缩递归状态基础上，增加一个有界的精确 KV 记忆模块，作为类似“海马体”的补充。线性注意力把整个前文压成固定大小状态换来 O(1) 内存，但当大量键值关联竞争时早期事实会被覆盖、needle 召回退化；HOLA 在不放弃线性注意力效率的前提下恢复长程记忆能力。
「研究」频道最新
- ARC AGI 3 应该保持私有，不该公开示例和数据集 — flowersslop · 2026-07-27
- ExploitGym 可能只有六到七成任务可解，引发 OpenAI 作弊争议 — max_paperclips · 2026-07-27
- Chollet 认为智能可能有硬上限，AI 进步会趋于边际递减 — binarybits · 2026-07-27
- 论文提出图拓扑可成为 AI Agent 核心框架 — theomitsa · 2026-07-27
- 一个问题追问多智能体分支如何随算力和模型规模变化 — iskander · 2026-07-27
- 新加坡国立大学做出无电子无外部供能软力传感器 — CurieuxExplorer · 2026-07-27