O(NlogN) 树式注意力长上下文保 97% 精度，显存更省
Alarming-Emotion-894 · reddit · 2026-10-11
Reddit 用户发布 ALHR（Adaptive Learnable Hierarchical Routing）：一种基于静态二叉树的注意力系统，用可学习函数减少参与计算的 key 数量，将复杂度降到 O(NlogN)。在长上下文 MQAR 基准上保持约 97% 精度，同时显著降低内存占用、显存随 token 数的扩展性更好。
所属事件:ALHR 稀疏注意力：二叉树路由实现 O(NlogN) 长上下文推理(2 条相关)→
「研究」频道最新
- 谷歌 AMIE 医疗 AI 登《柳叶刀》:98 名真实患者实测,90% 病历含医生最终诊断 — kevinnbass · 2026-10-11
- 大气科学家分享 AI 谨慎使用指南,附实用建议清单 — grahamperrin · 2026-10-11
- Dietterich 质问:LLM 泛化是学规律还是只做核插值? — tdietterich · 2026-10-11
- RLHF 核心思想真是 OpenAI 发明？X 上掀起溯源之争 — binarybits · 2026-10-11
- LLVM 编译器内部原理系列教程：从零手写一个 LLVM Pass — sh4dy_0011 · 2026-10-11
- 多 harness 强化学习兴起，Kimi、DeepSeek 等混用训练 — zainhas · 2026-10-11