自研 O(NlogN) 树形注意力:KV 压缩 550 倍仍保 79% 精度

Alarming-Emotion-894 · reddit · 2026-10-13

Reddit 用户发布其长上下文注意力系统 ALHR(Adaptive Learnable Hierarchical Routing)的更新:基于静态二叉树 + 可学习函数来减少需要读取的 key 数量,声称在 MQAR 任务上长上下文仍保持约 97% 准确率,且显存占用随 token 数扩展性更好。

从附图结果表看:上下文 4096 时,KV 读取压缩 126 倍(每 token 仅读 32 个 key),Top-1 准确率 93.3%(稠密基线 95.4%);上下文 16384 时压缩 550 倍,准确率降至 79.2%。作者称在 tiny stories 测试上有希望,但因缺乏资金资源暂无法给出更完整的可展示结果。