论文：HOLA——为线性注意力加一个「海马体」式精确记忆
Thrumpwart · reddit · 2026-07-07
论文 HOLA（Hippocampal Linear Attention）受互补学习系统启发，为线性注意力/状态空间语言模型补充一个有界精确 KV cache，解决前缀压缩导致早期事实被覆盖、needle 召回下降的问题。在 340M 参数、15B SlimPajama tokens 上，Wikitext 困惑度从 27.32 降至 22.92（-16.1%），低于全注意力 Transformer++（26.88）；并在 32k（16 倍训练长度）RULER needle-in-haystack 召考上显著优于 GDN 等基线。