HOLA：为线性注意力补充“海马体”式精确记忆
omarsar0 · x · 2026-07-03
一篇新论文提出 HOLA：在线性注意力/状态空间模型的压缩递归状态基础上，增加一个有界的精确 KV 记忆模块，作为类似“海马体”的补充。线性注意力把整个前文压成固定大小状态换来 O(1) 内存，但当大量键值关联竞争时早期事实会被覆盖、needle 召回退化；HOLA 在不放弃线性注意力效率的前提下恢复长程记忆能力。
「研究」频道最新
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- Bug Hunt Bench 放榜:105 个真实埋 bug 横评前沿编码模型 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11