Zyphra 提出树形索引稀疏注意力 ZHA, attention 复杂度降至亚二次
yacineMTB · x · 2026-11-03
Zyphra 发布论文《Subquadratic Attention with a Hierarchical Tree-Structured Indexer》，提出 Zyphra Hierarchical Attention（ZHA）：在 KV cache 上构建递归压缩的树形 key 摘要索引，查询自顶向下遍历以检索稀疏 key 子集，使总成本（含路由与最终 attention）随序列长度亚线性增长，整体实现亚二次（但仍超线性）的注意力扩展。
关键点：
- 现有方案要么表达力不足（滑窗/固定状态线性注意力），要么 indexer 本身仍是二次复杂度，ZHA 试图同时绕开这两类缺陷
- 可低成本套用到已有预训练模型：仅需在数十亿 token 上做短程 KL 蒸馏
- 在长上下文检索、推理、数学与 agentic coding 评测上保持性能，且对极深树形结构稳健
作者称在 1 亿+ token 规模下，检索需求的增长远慢于全上下文，层级化方法是通向这一平衡的可行路径。
所属事件:Zyphra 推出树形索引稀疏注意力 ZHA(3 条相关)→
「模型」频道最新
- 网传 astra6.2 灰度测试：20 分钟做出 3DS 风马里奥赛车 — lxfater · 2026-11-03
- 有用户感叹：Sonnet 5.5 好像不如以前聪明了 — nlarusstone · 2026-11-03
- Apple Intelligence 12 月登陆中国，用阿里 Qwen 替代 ChatGPT — winer666 · 2026-11-03
- 研究发现新模型已学会「权重手术」，训练数据暗示行业转向贝叶斯先验 — Tkaraletsos · 2026-11-03
- Victor Taelin 疑指前沿实验室用模型自改权重替代反向传播 — arthurcolle · 2026-11-03
- 投资人 Bindu Reddy：垂直微调模型已超越前沿模型，成本仅 1/20 — bindureddy · 2026-11-03