ALHR 稀疏注意力：二叉树路由实现 O(NlogN) 长上下文推理

Reddit 开发者发布 ALHR（Adaptive Learnable Hierarchical Routing），一种基于静态二叉树的稀疏注意力系统。它通过可学习函数对键进行层级路由，每个查询只需读取约 30 个键，实现 O(NlogN) 的推理复杂度，KV 缓存可压缩约 35 倍，同时保持约 97% 的准确率，为长上下文推理提供了更省显存的新方案。

2026-10-09 ~ 2026-10-11 · 2 条相关

• ALHR 稀疏注意力:每查询仅读 30 个键,KV 压缩 35 倍保住准确率 — Alarming-Emotion-894 · 2026-10-09
• O(NlogN) 树式注意力长上下文保 97% 精度，显存更省 — Alarming-Emotion-894 · 2026-10-11