Zyphra 发布 ZHA 树状稀疏注意力,35B 模型只查 1-6% KV 缓存
burny_tech · x · 2026-11-08
Zyphra 发布新论文,提出层级树状稀疏注意力方法 Zyphra Hierarchical Attention(ZHA),旨在突破注意力二次方扩展对长上下文的限制。
核心思路
- 在 KV 缓存上递归压缩 key 摘要,构建一棵树;查询自顶向下遍历,逐步缩小需要真正注意的 token 范围
- 由于路由加最终注意力的总成本随序列长度次线性增长,整体达到次二次方(但仍超线性)的扩展
关键结果
- 只需 10 亿 token 的 KL 蒸馏即可附加到现有预训练模型上
- 35B 参数模型上,在 256K 上下文的 RULER 评测中达到 93.3%(全注意力为 96%),但只 attend 约 1-6% 的 KV 缓存
- 在长上下文检索、推理、数学和 agentic 编码任务上保持性能
- 对树几何结构高度鲁棒,最深可到 6 层;性能模型显示超过 100 万 token 上下文后大幅领先竞争方法
作者称该方法有望把有效上下文窗口扩展到数亿甚至数十亿 token。
「Infra」频道最新
- 端侧 AI 2026 全景:119 家公司 14 层,Mistral 估值超 210 亿欧元 — FinanceYF5 · 2026-11-08
- 缓存感知路由实测：共享前缀流量首 token 延迟从 6.88s 降至 0.31s — shoumikgoswami · 2026-11-08
- 卡林顿级太阳风暴或摧毁多数太空数据中心，存活率恐不足 50% — johnseach · 2026-11-08
- tszzl 呼吁全面对华禁售芯片、云训练与制造设备 — tszzl · 2026-11-08
- nanoGPTJAX 作者预告大改版：拆分硬件内核、瞄准 NVFP4 — A_K_Nain · 2026-11-08
- llama.cpp 合并新 PR:MoE 未命中专家可直接在 CPU 上跑 — QuixiAI · 2026-11-08