讨论:HOLA架构或实现近线性长上下文

R_Duncan · reddit · 2026-07-07

一位研究者分析 HOLA 架构的影响:KV 缓存极小(约1GB 可能支撑5-10M 上下文),困惑度比全注意力还改善约16%。相比之下 MTP/DFlash/DTree 宣称的6倍加速实际运气好才有150%。他不解为何社区热衷这些噱头加速方案,却忽视线性注意力加海马体精确机制这类更扎实的进展。